Blog

Aug 11, 2023

Meta Research verwandelt jede Oberfläche in eine virtuelle Tastatur

Meta zeigte Forschungsergebnisse, die jede flache Oberfläche in eine virtuelle Tastatur verwandeln. Mark Zuckerberg hat auf seinem persönlichen Instagram-Profil ein Video gepostet, das Clips von sich und Meta-CTO Andrew Bosworth beim Versuch zeigt

Meta zeigte Forschungsergebnisse, die jede flache Oberfläche in eine virtuelle Tastatur verwandeln.

Mark Zuckerberg hat auf seinem persönlichen Instagram-Profil ein Video gepostet, in dem er und Meta-CTO Andrew Bosworth Ausschnitte zeigen, wie sie eine virtuelle Tastatur mit Oberflächensperre in einem Quest 2-Headset ausprobieren.

Zuckerberg behauptet, er habe rund 100 Wörter pro Minute geschafft, während Bosworth sagt, er habe 119 Wörter pro Minute erreicht.

Der durchschnittliche Mensch tippt auf einer herkömmlichen Tastatur etwa 40 Wörter pro Minute, während professionelle Schreibkräfte je nach Fähigkeitsniveau zwischen 70 und 120 Wörter pro Minute erreichen.

Die Texteingabe in VR und AR ist heute umständlich und deutlich langsamer als auf PCs und Smartphones. Bei schwebenden virtuellen Tastaturen müssen Sie Ihre Hände umständlich hochhalten und jeweils eine Taste drücken, was kein haptisches Feedback liefert und Sie daran hindert, Ihr Handgelenk auszuruhen. Quest-Headsets unterstützen das Koppeln einer physischen Bluetooth-Tastatur für das Tippen mit voller Geschwindigkeit. Einige Modelle sind auch mit Tracking ausgestattet. Dies bedeutet jedoch, dass Sie ein separates Gerät mit sich herumtragen müssen, das größer als das Headset selbst ist.

Wenn zukünftige Headsets jede flache Oberfläche in eine virtuelle Tastatur verwandeln könnten, würde dies ein teilweises haptisches Feedback bringen und es Ihnen ermöglichen, Ihre Handgelenke wie bei physischen Tastaturen auszuruhen, ohne eine physische Tastatur mit sich herumtragen zu müssen.

Technisch gesehen können Entwickler bereits heute auf Quest oberflächengesperrte virtuelle Tastaturen erstellen, indem sie die Handverfolgung nutzen und den Benutzer dazu bringen, auf die Oberfläche zu tippen, um deren Position zu kalibrieren. Doch in der Praxis führt bereits die geringste Abweichung der virtuellen Oberflächenhöhe von der realen Oberfläche zu falschen Tastendrücken.

Meta hat noch nicht genau mitgeteilt, wie seine Forschung dieses Problem löst. Allerdings sind im Clip Passmarkierungen auf dem Schreibtisch zu sehen. Wenn das System mit den genauen Abmessungen dieser Markierungen vorprogrammiert ist, kann es als robustes dynamisches Kalibrierungssystem fungieren.

Quest 3 wird zum ersten Mal einem Meta-Headset einen Tiefensensor hinzufügen, und ein durchgesickerter Setup-Clip zeigt, wie das Headset ein 3D-Netz seiner Umgebung erzeugt. Wenn dieses Netz präzise genug ist, könnte Quest 3 möglicherweise irgendwann diese Art von virtueller Tastatur unterstützen. Im Moment beschreibt Meta dies jedoch lediglich als Forschung und nicht als Demonstration eines kurzfristigen Produkterlebnisses.

Meta wird wahrscheinlich mehr von seiner VR- und AR-Forschung auf der Meta Connect präsentieren, die am 27. September dieses Jahres beginnt.