Als Zeichen dafür, dass die Technologiebranche immer seltsamer wird, plant Meta bald die Veröffentlichung eines großen Updates, das die Ray-Ban Meta, ihre Videokamerabrille, in ein Gerät verwandelt, das nur in Science-Fiction-Filmen zu sehen ist.
Nächsten Monat wird die Brille mithilfe einer neuen KI-Software in der Lage sein, die reale Welt zu sehen und zu beschreiben, was Sie gerade sehen, ähnlich wie der KI-Assistent im Film „Her“.
Die Brillen, die es in verschiedenen Fassungen ab 300 US-Dollar und Gläsern ab 17 US-Dollar gibt, werden hauptsächlich zum Aufnehmen von Fotos und Videos sowie zum Musikhören verwendet. Aber mit neuer Software für künstliche Intelligenz können sie unter anderem zum Scannen berühmter Sehenswürdigkeiten, zum Übersetzen von Sprachen sowie zur Identifizierung von Tierrassen und exotischen Früchten eingesetzt werden.
Um die KI-Software zu nutzen, muss der Träger nur sagen: „Hey, Meta“, gefolgt von einer Aufforderung wie „Schau mal und sag mir, was für ein Hund das ist.“ Die KI antwortet dann mit einem computergenerierten Ton, der über kleine Lautsprecher auf der Brille abgespielt wird.
Das Konzept eines Programms für künstliche Intelligenz ist so neu und seltsam, dass Brian X. Chen, ein Technologie-Kolumnist, der Ray-Ban rezensiert Letztes Jahr Mike Isaac, der Meta abdeckt und eine Datenbrille trägt Eine Kochshow produzieren -Ich habe davon gehört und wir wollten es unbedingt ausprobieren. Die Meta hat uns einen frühen Zugriff auf das Update ermöglicht und wir haben in den letzten Wochen mit der Technologie experimentiert.
Wir trugen die Brille im Zoo, in Lebensmittelgeschäften und im Museum, während wir die KI mit Fragen und Wünschen belästigten.
Das Ergebnis: Wir genossen gleichzeitig die Fehler des virtuellen Assistenten – zum Beispiel die Verwechslung eines Affen mit einer Giraffe – und bewunderten, wenn er nützliche Aufgaben erledigte, wie zum Beispiel die Feststellung, dass eine Packung Kekse glutenfrei war.
Ein Meta-Sprecher sagte, dass die KI nicht immer alles richtig mache, weil die Technologie noch neu sei, und dass dieses Feedback die Brille im Laufe der Zeit verbessern sollte.
Die Meta-Software generierte außerdem Transkripte für unsere Fragen und die Antworten der KI, die wir in Screenshots festhielten. Hier sind die Highlights unseres Monats „Leben mit Meta Assistant“.
Haustiere
Brian: Das erste, an dem ich Metas KI ausprobieren musste, war natürlich mein Corgi Max. Sie sah den dicken Hund an und fragte: „Hey Mita, was schaue ich da?“
„Ein süßer Corgi sitzt auf dem Boden und streckt seine Zunge heraus“, sagte der Assistent. Stimmt, vor allem der Teil, in dem es darum geht, nett zu sein.
Mike: Metas KI hat meinen Hund Bruna korrekt als „schwarz-braunen Berner Sennenhund“ identifiziert. Ich hatte halb damit gerechnet, dass das KI-Programm denken würde, es sei ein Bär, ein Tier, das die Nachbarn ständig falsch verstehen.
Zoo Tiere
Brian: Nachdem die KI meinen Hund richtig erkannt hatte, war der nächste logische Schritt, es an Zootieren auszuprobieren. Deshalb besuchte ich kürzlich den Oakland Zoo in Oakland, Kalifornien, wo ich zwei Stunden lang etwa ein Dutzend Tiere anstarrte, darunter Papageien, Schildkröten, Affen und Zebras. Ich sagte: „Mita, schau mal und sag mir, was das für ein Tier ist.“
Die KI lag die meiste Zeit falsch, auch weil viele der Tiere in Käfigen und weit weg waren. Sie verwechselten unter anderem fälschlicherweise Primaten mit Giraffen, Enten mit Schildkröten und Erdmännchen mit Großen Pandas. Andererseits war ich beeindruckt, als die KI eine Papageienart namens Blau-Gold-Ara sowie Zebras korrekt identifizierte.
Das Seltsamste an dieser Erfahrung war, mit dem KI-Assistenten über die Kinder und ihre Eltern zu sprechen. Sie taten so, als hörten sie der einzigen anderen Person im Park nicht zu, während ich offenbar vor mich hin murmelte.
Essen
Mike: Ich hatte auch eine seltsame Zeit beim Lebensmitteleinkauf. Es war etwas unangenehm, in Safeway zu sein und mit mir selbst zu reden, also versuchte ich, meine Stimme leise zu halten. Ich bekam immer noch einige Seitenblicke.
Als die KI der Meta funktionierte, war es magisch. Ich nahm eine seltsam geformte Packung Oreos und bat sie, sich die Packung anzusehen und mir zu sagen, ob sie glutenfrei sei. (War es nicht). Es beantwortete Fragen wie diese etwa in der Hälfte der Fälle richtig, obwohl ich nicht sagen kann, dass es im Vergleich zum Lesen des Etiketts Zeit gespart hat.
Aber der Hauptgrund, warum ich mir diese Brille überhaupt gekauft habe, war, meine eigene Brille zu gründen Kochprogramm auf Instagram – Witzige Art zu sagen: Ich zeichne auf, wie ich das Essen für die Woche vorbereite, während ich mit mir selbst rede. Diese Brille machte dies viel einfacher als die Verwendung eines Telefons mit einer Hand.
Auch in der Küche kann der KI-Assistent einige Hilfe leisten. Wenn ich wissen muss, wie viele Teelöffel in einem Esslöffel sind und meine Hand zum Beispiel mit Olivenöl bedeckt ist, kann ich sie bitten, es mir zu sagen. (Ein Esslöffel enthält drei Teelöffel, nur zur Information.)
Aber als ich die KI bat, sich eine Reihe von Zutaten anzusehen, die ich hatte, und ein Rezept auszuarbeiten, gab sie kurze Anweisungen für Eiercreme – was nicht gerade hilfreich ist, wenn ich den Anweisungen in meinem eigenen Tempo folgen möchte.
Einige Beispiele zur Auswahl wären hilfreicher gewesen, aber das hätte Änderungen an der Benutzeroberfläche und vielleicht sogar einen Bildschirm in meinen Objektiven erfordert.
Ein Meta-Sprecher sagte, Benutzer könnten Folgefragen stellen, um von seinem Assistenten härtere und hilfreichere Antworten zu erhalten.
Brian: Ich ging zum Lebensmittelladen und kaufte die exotischste Frucht, die ich finden konnte – die Cherimoya, eine grüne, schuppige Frucht, die wie ein Dinosaurier-Ei aussieht. Als Metas KI mehrere Gelegenheiten erhielt, sie zu identifizieren, kam sie jedes Mal zu einer anderen Vermutung: eine mit Schokolade überzogene Pekannuss, eine Steinfrucht, ein Apfel und schließlich Durian, der ein enger Verwandter, aber keine Banane war.
Denkmäler und Museen
Mike: Die Fähigkeit der neuen Software, Wahrzeichen und Denkmäler zu erkennen, scheint zuzunehmen. Als Metas KI ein Wohnhaus in der Innenstadt von San Francisco mit einer hoch aufragenden Kuppel betrachtete, antwortete sie richtig: „Rathaus.“ Das ist ein toller Trick und könnte für Touristen nützlich sein.
In anderen Fällen war es ein Glücksfall. Als ich von der Stadt zu meinem Haus in Auckland fuhr, fragte ich Mita, auf welcher Brücke ich sei, während ich vor mir aus dem Fenster schaute (natürlich beide Hände am Lenkrad). Die erste Reaktion war die Golden Gate Bridge, was falsch war. Bei meinem zweiten Versuch stellte ich fest, dass ich mich auf der Bay Bridge befand, und fragte mich, ob es nicht einer klareren Aufnahme der hohen weißen Hängepfosten auf dem neueren Abschnitt bedarf, um korrekt zu sein.
Brian: Ich besuchte das Museum of Modern Art in San Francisco, um zu prüfen, ob Metas KI die Aufgabe eines Reiseleiters übernehmen könnte. Nachdem ich etwa zwei Dutzend Gemälde fotografiert und einen Assistenten gebeten hatte, mir zu sagen, welches Kunstwerk ich betrachtete, konnte die KI die Bilder und Medien beschreiben, die zur Erstellung des Kunstwerks verwendet wurden – etwas, das für eine Kunst großartig wäre Geschichtsstudent – der Künstler oder Titel konnte jedoch nicht identifiziert werden. (Ein Meta-Sprecher sagte, dass ein weiteres Software-Update, das nach meinem Besuch im Museum veröffentlicht wurde, diese Fähigkeit verbessert habe.)
Nach dem Update habe ich versucht, auf meinem Computerbildschirm Bilder berühmterer Kunstwerke, darunter der Mona Lisa, anzusehen, und die KI konnte sie korrekt identifizieren.
Sprachen
Brian: In einem chinesischen Restaurant zeigte ich auf einen auf Chinesisch geschriebenen Menüpunkt und bat Meta, ihn ins Englische zu übersetzen, aber die KI sagte, dass er derzeit nur Englisch, Spanisch, Italienisch, Französisch und Deutsch unterstütze. (Ich war überrascht, dass Mark Zuckerberg Mandarin lernte.)
Mike: Sie hat einen Buchtitel sehr gut aus dem Englischen ins Deutsche übersetzt.
Minimum
Die KI-gestützte Brille von Meta bietet einen interessanten Einblick in eine scheinbar weit entfernte Zukunft. Die Mängel verdeutlichen die Einschränkungen und Herausforderungen bei der Entwicklung dieser Art von Produkten. Wenn die Kamera eine höhere Auflösung hätte, wären Brillen wahrscheinlich besser in der Lage, Zootiere und Früchte zu erkennen, aber ein besseres Objektiv würde mehr Volumen mit sich bringen. Egal wo wir waren, es war unangenehm, in der Öffentlichkeit mit einem virtuellen Assistenten zu sprechen. Es ist unklar, ob das normal aussehen würde oder nicht.
Aber als es funktionierte, funktionierte es gut und wir hatten Spaß – und die Tatsache, dass die KI von Meta Dinge wie das Übersetzen von Sprachen und das Erkennen von Orientierungspunkten durch eine modern aussehende Brille tun kann, zeigt, wie weit die Technologie fortgeschritten ist.