Bei der heutigen Meta Connect-Veranstaltung stellte Mark Zuckerberg eine Reihe neuer Funktionen auf der Flaggschiff-Plattform seines Unternehmens vor Meta Ray-Ban Smart-BrilleDie neuen Verbesserungen der Lebensqualität, die die Brille als „den perfekten Formfaktor für KI“ bezeichnen, konzentrieren sich auf die multimodale KI der Brille für natürlichere Interaktionen (ähnlich dem, was wir bei Googles Gemini und ChatGPT 4o gesehen haben).
Außerdem: Alles, was auf der Meta Connect 2024 angekündigt wurde: erschwingliches Quest 3, AR-Brillen und mehr
Aber über die verbesserte Kommunikation hinaus ermöglicht die multimodale KI in diesen Brillen einige interessante neue Interaktionen und gibt ihnen die Möglichkeit, zu „sehen“, was Sie sehen, und zu „hören“, was Sie hören, ohne dass für den Benutzer weniger Kontext erforderlich ist.
Eine der nützlichsten Funktionen der Brille ist die Fähigkeit, sich Dinge für Sie zu „merken“ – indem sie bestimmte Zahlen oder visuelle Indikatoren notiert, um sie für die spätere Verwendung zu speichern. Hier finden Sie eine Übersicht über alles, was demnächst veröffentlicht wird.
1. Schnelle Übersetzung
Ähnlich wie andere Live-Übersetzungstechnologien, die dieses Jahr auf den Markt kamen, wird Meta Ray-Bans eine Live-Übersetzungsfunktion erhalten, die so konzipiert ist, dass sie in Echtzeit (oder zumindest nahezu in Echtzeit) mit Spanisch, Französisch und Italienisch funktioniert. Während der Veranstaltung demonstrierte Zuckerberg ein Gespräch mit einem Spanisch sprechenden Menschen, und die Brille übersetzte in Sekundenschnelle das, was jeder Sprecher sagte und hörte, vom Spanischen ins Englische.
Natürlich sind nicht bei allen Gesprächen zwei Benutzer mit einer Smart-Brille beteiligt, daher ermöglicht das Unternehmen den Benutzern, die Ergebnisse ihrer Gespräche mit der begleitenden Meta-App zu synchronisieren und dabei Smartphones zu nutzen, um Übersetzungen anzuzeigen.
Außerdem: Meta Ray-Ban Smart Glasses Review: Die beste KI-gestützte AR-Brille, die Sie derzeit kaufen können
Zusätzlich zu den neuen Funktionen der Brille stellt Meta auch sein neues KI-Übersetzungstool für Instagram Reels vor, das Audio automatisch ins Englische übersetzt und dann mithilfe von KI die Mundbewegungen des Sprechers synchronisiert, um sie an die englische Übersetzung anzupassen. Das Ergebnis ist – zumindest in der Demo – ein natürlich aussehendes Video auf Englisch mit Samples der eigenen Stimme des Sprechers.
Bisher befindet sich diese Funktion noch in einem frühen Stadium und ist derzeit nur auf Spanisch auf Instagram und Facebook verfügbar, während Meta die Technologie weiterhin testet.
2. Brillen können sich jetzt Dinge „merken“.
Die Demo demonstrierte auch das „fotografische Gedächtnis“ der Brille, indem sie ein Problem löste, das wir alle kennen: sich daran zu erinnern, wo man parken soll. Der Nutzer sieht eine Nummer auf einem Parkplatz und sagt: „Merken Sie sich meinen Parkplatz.“
Wenn man dann die Brille fragt: „Hey Meta, wo parke ich?“ AI antwortet mit der Parkplatznummer. Diese Art der schnellen „Archivierung“ von Wissen ist ein Beispiel für die Ausnutzung dessen, was KI am besten kann: sich bestimmte Daten in einem vorgegebenen Kontext zu merken. Wir müssen selbst testen, wie zuverlässig die Funktion für weniger visuell implizierte Informationen ist.
Beispiele für zusätzliche Verwendungsmöglichkeiten dieser Funktion sind leicht vorstellbar, wenn man sich alles anschaut, von Einkaufslisten über Veranstaltungstermine bis hin zu Telefonnummern.
3. Erweiterte Multimodalität
Bisher mussten Sie „Hey Meta“ sagen, um die Brillen-KI aufzurufen, und dann auf einen Befehl warten, um Ihre Frage zu starten. Jetzt können Sie einfach in Echtzeit Fragen zu Ihrer Brille stellen, sogar während der Fahrt, und dabei die multimodale KI der Brille nutzen, um zu analysieren, was Sie sehen oder hören.
Außerdem: Metas neues Quest 3 512 GB-Angebot ist möglicherweise das bisher beste VR-Headset-Angebot
Eine Demo zeigte einen Benutzer, der eine Avocado schälte und fragte: „Was kann ich damit machen?“, ohne anzugeben, was „das“ war. Eine andere Demo zeigte einen Benutzer, der in einem Schrank wühlte und mehrere Kleidungsstücke auf einmal herausholte, wobei er die KI bat, in Echtzeit beim Ordnen der Kleidung zu helfen. Wie bei anderen beliebten Sprachassistenten, die entwickelt wurden, können Sie Meta AI während der Konvertierung jederzeit unterbrechen.
Ebenso gehen die multimodalen Fähigkeiten dieser Brille über die bloße Analyse des Gesehenen im statischen Sinne hinaus. Die Brille erkennt Dinge wie URLs, Telefonnummern, die Sie anrufen können, oder QR-Codes, die Sie sofort mit der Brille scannen können.
4. „Be My Eyes“-Partnerschaft
Schließlich demonstrierte Zuckerberg die fortschrittlichen neuen Barrierefreiheitsfunktionen der Brille. Blinde und sehbehinderte Menschen können die Brille nutzen, um das, was sie sehen, einem Freiwilligen am anderen Ende zu übermitteln, der ihm detailliert erklären kann, was sie sehen. Sei meine Augen ist ein bestehendes Programm, das sehbehinderte Menschen per Live-Video mit virtuellen Freiwilligen verbindet.
Die Demo zeigt eine Frau, die eine Partyeinladung mit Datum und Uhrzeit betrachtet. Die realen Einsatzmöglichkeiten hierfür können jedoch grundsätzlich alles sein, vom Lesen von Schildern über den Einkauf von Dingen des täglichen Bedarfs bis hin zur Nutzung technischer Geräte.
Außerdem: Google-Mitbegründer spricht über die Zukunft tragbarer KI-Geräte (und sein Bedauern über Google Glass)
Schließlich präsentierte Zuck mehrere neue Designs, darunter eine neue Ray-Ban in limitierter Auflage mit einem klaren und transparenten Rahmen sowie die Einführung neuer Übergangsgläser, die ihren Nutzen sowohl als Sonnenbrille als auch als Korrektionsbrille effektiv verdoppeln.
Das Meta-Ray-Ban-Sonnenbrille ab 300 $ und in neun verschiedenen Rahmendesigns und einem neuen transparenten Stil in limitierter Auflage erhältlich.
