Auf der Meta Connect-Veranstaltung Anfang dieser Woche stellte Mark Zuckerberg eine Menge neuer Funktionen im Flaggschiff seines Unternehmens vor Meta Ray-Ban Smart-Brille. Diese neuen Verbesserungen der Lebensqualität werden als „der perfekte Formfaktor für KI“ bezeichnet und konzentrieren sich auf die multimodale KI der Brille für natürlichere Interaktionen (ähnlich dem, was wir bei Google Gemini und ChatGPT 4o gesehen haben).
Außerdem: Alles, was auf der Meta Connect 2024 angekündigt wurde: Erschwinglicher Quest 3, AR-Brille und mehr
Aber zusätzlich zu den Verbesserungen der Kommunikation ermöglicht die multimodale KI in diesen Brillen einige interessante neue Interaktionen und gibt ihnen die Möglichkeit, zu „sehen“, was Sie sehen, und zu „hören“, was Sie hören, ohne dass der Benutzer einen Kontext benötigt.
Eine der nützlichsten Funktionen der Brille ist die Fähigkeit, sich Dinge für Sie zu „merken“ – indem sie bestimmte Zahlen oder visuelle Indikatoren notieren, um sie für später zu speichern. Hier ist eine Aufschlüsselung von allem, was bald eingeführt wird.
1. Übersetzen Sie schnell
Ähnlich wie bei anderen Live-Übersetzungstechnologien, die wir in diesem Jahr gesehen haben, wird Meta Ray-Bans eine Live-Übersetzungsfunktion erhalten, die so konzipiert ist, dass sie in Echtzeit (oder zumindest nahezu in Echtzeit) mit Spanisch, Französisch und Italienisch funktioniert. Während der Veranstaltung demonstrierte Zuckerberg ein Gespräch mit einem Spanisch sprechenden Menschen, und die Brille übersetzte in Sekundenschnelle das, was jeder Sprecher sagte und hörte, vom Spanischen ins Englische.
Natürlich werden nicht bei jedem Gespräch zwei Benutzer eine Smart-Brille tragen, daher ermöglicht das Unternehmen den Benutzern, ihre Ausgabe mit der Begleit-App von Meta zu synchronisieren und dabei Smartphones zu nutzen, um Übersetzungen anzuzeigen.
Außerdem: Meta Ray-Ban Smart Glasses Review: Die derzeit beste KI-gestützte AR-Brille, die man kaufen kann
Zusätzlich zu den neuen Funktionen der Brille stellt Meta auch sein neues KI-Übersetzungstool für Instagram Reels vor, das Audio automatisch ins Englische übersetzt und dann mithilfe von KI die Mundbewegungen des Sprechers synchronisiert, um sie an die englische Übersetzung anzupassen. Das Ergebnis ist – zumindest in der Demo – ein natürlich aussehendes englischsprachiges Video, das Samples der eigenen Stimme des Sprechers verwendet.
Bisher befindet sich diese Funktion noch in einem frühen Stadium und ist derzeit nur auf Spanisch auf Instagram und Facebook verfügbar, während Meta die Technologie weiterhin testet.
2. Die Brille kann sich nun Dinge „merken“.
Die Demo demonstrierte auch das „fotografische Gedächtnis“ der Brille, indem sie ein Problem löste, mit dem wir alle konfrontiert sind: sich daran zu erinnern, wo wir geparkt haben. Benutzer sehen eine Nummer auf einem Parkplatz und sagen einfach: „Merken Sie sich, wo ich geparkt habe.“
Dann fragte die Brille: „Hey Meta, wo parke ich?“ fordert die KI auf, mit der Parkplatznummer zu antworten. Diese Art der schnellen „Archivierung“ von Wissen ist ein Beispiel für die Nutzung dessen, was KI am besten kann: sich bestimmte Daten in einem vorgegebenen Kontext zu merken. Wir mussten selbst testen, wie zuverlässig die Funktion für Informationen ist, die optisch weniger sichtbar sind.
Beispiele für zusätzliche Verwendungsmöglichkeiten dieser Funktion sind leicht vorstellbar, wenn man sich alles anschaut, von Einkaufslisten über Veranstaltungstermine bis hin zu Telefonnummern.
3. Multimodalität der nächsten Stufe
Bisher mussten Sie „Hey Meta“ sagen, um die Brillen-KI zu rufen, und dann auf eine Aufforderung warten, um mit Ihren Fragen zu beginnen. Jetzt können Sie einfach in Echtzeit Fragen zu Ihrer Brille stellen, sogar während der Fahrt, und dabei die multimodale KI der Brille nutzen, um zu analysieren, was Sie sehen oder hören.
Außerdem: Metas neues Quest 3 512 GB-Angebot ist derzeit möglicherweise das beste Angebot für VR-Headsets
Eine Demo zeigt einen Benutzer, der eine Avocado schält und fragt: „Was kann ich damit machen?“, ohne anzugeben, was „das“ ist. In einer anderen Demo ging ein Benutzer durch einen Kleiderschrank, holte mehrere Kleidungsstücke auf einmal heraus und bat die KI, in Echtzeit beim Ordnen der Kleidung zu helfen. Wie bei anderen beliebten Sprachassistentenentwicklungen können Sie Meta AI bei der Konvertierung jederzeit beeinträchtigen.
Dementsprechend gehen die multimodalen Fähigkeiten dieser Brille über die bloße Analyse des Gesehenen im statischen Sinne hinaus. Die Brille erkennt Dinge wie URLs, Telefonnummern, die Sie anrufen können, oder QR-Codes, die Sie sofort mit der Brille scannen können.
4. „Be My Eyes“-Partnerschaft
Schließlich demonstrierte Zuckerberg die intelligenten neuen Barrierefreiheitsfunktionen der Brille. Blinde und sehbehinderte Menschen können über Brillen das, was sie sehen, an Freiwillige am anderen Ende übertragen, die ihnen dann im Detail erklären können, was sie sehen. Sei meine Augen ist ein bestehendes Programm, das sehbehinderte Menschen per Live-Video mit virtuellen Freiwilligen verbindet.
Die Demo zeigt eine Frau, die eine Partyeinladung mit Datum und Uhrzeit betrachtet. Ihr praktischer Einsatz kann jedoch grundsätzlich alles sein, vom Lesen von Schildern über den Lebensmitteleinkauf bis hin zur Navigation in technischen Geräten.
Außerdem: Google-Mitbegründer über die Zukunft tragbarer KI-Geräte (und sein Bedauern über Google Glass)
Schließlich präsentierte Zuck mehrere neue Designs, darunter neue Ray-Bans in limitierter Auflage mit klaren und transparenten Rahmen sowie die Einführung neuer Übergangsgläser, die ihren Nutzen als Sonnenbrillen und Korrektionsbrillen effektiv verdoppeln.
Das Meta-Ray-Feld Der Preis beginnt bei 300 US-Dollar und ist in neun verschiedenen Rahmendesigns und einem neuen transparenten Stil in limitierter Auflage erhältlich.
