Blog

Aug 28, 2023

Warum VR/AR immer weiter in den Fokus rückt – MatthewBall.co

Moderne Bemühungen zur Entwicklung von Extended-Reality-Geräten (XR), also dedizierten virtuellen Geräten

Moderne Bemühungen, Geräte für die erweiterte Realität (XR) zu bauen – d. h. dedizierte virtuelle Realität (VR), dedizierte erweiterte Realität (AR), hybride gemischte Realität (MR) – begannen vor mehr als einem Jahrzehnt. Magic Leap wurde 2010 gegründet, im selben Jahr, in dem Microsoft mit der Entwicklung seiner HoloLens-Plattform begann. Das erste Modell wurde 2016 veröffentlicht, das zweite kam 2019. Der erste Google Glass-Prototyp entstand 2011, die erste Explorer Edition kam 2013 und die Enterprise Edition 2 erscheint erst 2019; Ein neu konzipiertes Modell wurde im Jahr 2022 in der Praxis getestet. Googles Cardboard VR-Plattform und das Software Development Kit (SDK) kamen 2014 auf den Markt, die Daydream VR-Plattform folgte zwei Jahre später. Sony PlayStation begann 2011 mit der Entwicklung seiner VR-Plattform, die dann 2016 auf den Markt kam. Oculus wurde 2012 gegründet, Facebook übernahm das Unternehmen 2014 und die Oculus Rift kam 2016 auf den Markt, gefolgt von vier weiteren Modellen bis 2022 2014 erwarb Snap Vergence Labs, ein 2011 gegründetes AR-Brillen-Start-up, das als Grundlage für die Snap Spectacles diente, die 2016 Premiere feierten und drei Updates erlebten. Trotz des Scheiterns des Fire Phone, einem 3D-fähigen Smartphone, das über vier Frontkameras gleichzeitig verfügte, während die Smartphones jeweils nur eine oder höchstens zwei auf der Vorder- und Rückseite hatten, begann Amazon irgendwann mit der Entwicklung seiner Alexa-basierten AR-Brille im Jahr 2016 oder 2017. Die ersten Echo Frames wurden 2019 veröffentlicht, die zweite Auflage folgte zwei Jahre später.

Wenn wir den Zustand von XR im Jahr 2023 beobachten, kann man mit Recht sagen, dass sich die Technologie als schwieriger erwiesen hat, als viele der am besten informierten und finanziell am besten ausgestatteten Unternehmen erwartet hatten. Als es Google Glass vorstellte, deutete Google an, dass der Jahresumsatz bis 2015 mehrere zehn Millionen erreichen könnte, mit dem Ziel, die fast 80 % der Menschen anzusprechen, die täglich eine Brille tragen. Obwohl Google weiterhin AR-Geräte baut, war Glass ein berüchtigter Flop mit Verkäufen in die Zehntausende (das AR-Gerät des Unternehmens aus dem Jahr 2022 verwendet nicht mehr die Marke Glass). In den Jahren 2015 und 2016 wiederholte Mark Zuckerberg seine Überzeugung, dass „normal aussehende“ AR-Brillen innerhalb eines Jahrzehnts Teil des täglichen Lebens sein könnten und die Notwendigkeit ersetzen würden, ein Smartphone herauszuholen, um einen Anruf entgegenzunehmen, ein Foto zu teilen oder im Internet zu surfen Web, während ein Großbildfernseher in eine 1-Dollar-AR-App verwandelt würde. Nun sieht es so aus, als würde Facebook bis 2025 kein spezielles AR-Headset auf den Markt bringen – geschweige denn eine Edition, die sich Hunderte Millionen Menschen wünschen könnten.

Im Jahr 2016 prognostizierte Tim Sweeney, Gründer und CEO von Epic Games, nicht nur, dass wir innerhalb von fünf bis sieben Jahren nicht nur über VR-Geräte in PC-Qualität verfügen würden, sondern auch, dass diese Geräte zu Sonnenbrillen im Oakley-Stil zusammengeschrumpft sein würden. Sieben Jahre später scheint dies bestenfalls noch sieben Jahre entfernt zu sein. Jüngsten Berichten zufolge wurde die Einführung der AR-Brille von Apple, deren Debüt ursprünglich für 2023 geplant und dann auf 2025 verschoben wurde, auf unbestimmte Zeit verschoben. Snap's Spectacles wurde mit langen Schlangen und viel Tamtam auf den Markt gebracht, bis 2021 sollen drei weitere Editionen auf den Markt kommen. Im Jahr 2022 wurde die Abteilung weitgehend geschlossen, und das Unternehmen konzentrierte sich wieder auf Smartphone-basierte AR. Amazon hat noch keine Echo Frames mit einem Bildschirm und nicht nur mit integrierter Alexa auf den Markt gebracht. Googles VR/AR-Chef ist direkt CEO Sundar Pichai unterstellt, obwohl der nächste (d. h. vierte) Schritt des Unternehmens bei XR frühestens 2024 erwartet wird. Im Jahr 2019 sammelte Magic Leap 300 Millionen US-Dollar bei einer Post-Money-Bewertung von 7 Milliarden US-Dollar . Zwei Jahre später sammelte das Unternehmen 500 Millionen US-Dollar bei einer Post-Money-Bewertung von 2,5 Milliarden US-Dollar, ein Rückgang um 66 %, was auch bedeutete, dass das Unternehmen 30 % weniger wert war als die 3,5 Milliarden US-Dollar an Barmitteln, die es bisher gesammelt hatte. Im Januar 2022 tauchten Berichte auf, dass der Staatsfonds Saudi-Arabiens nach einem 450-Millionen-Dollar-Eigenkapital- und Schuldendeal die Mehrheitskontrolle über das Unternehmen übernommen hatte, was darauf hindeutet, dass die Bewertung des Unternehmens auf weniger als eine Milliarde Dollar, möglicherweise sogar auf eine halbe Milliarde, gesunken war Milliarde. Seit der Veröffentlichung des Consumer-Geräts Oculus Rift im Jahr 2016 betragen die kumulierten Lieferungen für alle VR-Marken (z. B. Samsung Gear, ByteDance Pico, Valve Index, PlayStation VR) weniger als 45 Millionen (einige dieser Geräte werden von ihrem Hersteller nicht mehr unterstützt) und sind monatlich aktiv Die Zahl der Nutzer dürfte im niedrigen einstelligen Millionenbereich liegen

In den letzten rund 13 Jahren gab es erhebliche technische Fortschritte. Und wir sehen einen zunehmenden Einsatz. Heute wird XR gezielt im Bauingenieurwesen und Industriedesign, in der Filmproduktion, an Fließbändern und in Fabrikhallen eingesetzt. Manche Schulen nutzen zeitweise VR in einigen Klassen – und der Nutzen eines virtuellen Klassenzimmers mit virtuellen Bunsenbrennern und virtuellen Fröschen zum Sezieren, alles unter der Aufsicht eines verkörperten Lehrers, während Sie daneben sitzen und Augenkontakt mit Ihren Mitschülern herstellen, liegt auf der Hand. Auch für Sicherheitsschulungen am Arbeitsplatz erfreut sich VR immer größerer Beliebtheit, insbesondere in risikoreichen Umgebungen wie Bohrinseln; Dem Personal beizubringen, wie, wann und wohin Menschen schauen, hat bereits lebensrettende Anwendungen. Und was die Rettung von Leben angeht: Johns Hopkins verwendet seit mehr als einem Jahr XR-Geräte für Operationen an lebenden Patienten, beginnend mit der Entfernung von krebsartigen Tumoren der Wirbelsäule. Wenn Sie ein High-End-VR-Headset wie das Varjo Aero verwenden (das ebenfalls eine physische Verbindung zu einem Gaming-PC erfordert und 2.000 US-Dollar kostet), um einen Titel wie Microsoft Flight Simulator zu spielen (das eine 500.000.000 Quadratkilometer große Reproduktion davon betreibt). Auf der Erde mit zwei Billionen einzelnen gerenderten Bäumen, 1,5 Milliarden Gebäuden und nahezu jeder Straße, jedem Berg und jeder Stadt weltweit herrscht das unverkennbare Gefühl, dass die Zukunft nahe ist.

Die oben aufgeführten Beispiele sind technisch beeindruckend, aussagekräftig und besser denn je. Aber die Zukunft sollte inzwischen angekommen sein. Im Jahr 2023 ist es schwer zu sagen, dass eine kritische Masse von Verbrauchern oder Unternehmen glaubt, dass es heute ein „Killer“-AR/VR/MR-Erlebnis auf dem Markt gibt; nur bekannte Versprechungen der Killer-Anwendungsfälle, die vielleicht ein paar Jahre entfernt sein könnten. Diese Geräte sind sogar noch weit davon entfernt, die Geräte zu ersetzen, die wir derzeit verwenden (und es scheint auch nicht so, als stünden sie kurz vor der Akzeptanz durch den Mainstream). Es gibt einige Spiele mit starken Umsätzen – einige Titel haben über 100 Millionen US-Dollar eingespielt –, aber keines, bei dem man argumentieren könnte, dass große Teile der Bevölkerung VR-Geräte oder diese Titel regelmäßig verwenden würden, wenn sich nur die Grafik um X % verbessern würde Basis. Ich bevorzuge VR-basierte Präsentationen gegenüber Zoom-Präsentationen, bei denen ich 30 bis 60 Minuten lang in die Kamera starre, als ob sonst niemand da wäre. Aber die Erfahrung bleibt belastend; die Funktionalität ist eingeschränkt; und die Einbindung anderer Personen lohnt sich selten, da die Teilnehmer diese Vorteile offenbar als gering und gering empfinden. Als das iPhone auf den Markt kam, behauptete Steve Jobs, dass es drei verschiedene Dinge – MP3-Player, Telefon, Internet-Kommunikator – besser funktioniere als die damals auf dem Markt erhältlichen Einweggeräte. Im darauffolgenden Jahr startete das iPhone seinen App Store und „Dafür gibt es eine App“ verbreitete sich die Verbreitung, wobei zig Millionen Menschen alles auf dem Gerät taten, was sie konnten. Die „Killer-App“ bestand darin, dass sie bereits Dutzende davon hatte, als sie als „das nächste Ding“ angepriesen wurde.

Das Meta Quest 2 hat sich mit geschätzten über 20 Millionen Einheiten seit November 2020 gut verkauft. Dies ist im Großen und Ganzen vergleichbar mit den Verkäufen der Xbox Series X und PlayStation 5, die gleichzeitig veröffentlicht wurden, deren Einführung jedoch einfacher war. Beispielsweise wurden seit 1994 von den ersten vier PlayStations fast eine halbe Milliarde Einheiten verkauft, und die PS5 kam neben anderen großartigen und beliebten Spielen mit der Fortsetzung des PS4-Bestsellertitels auf den Markt. Obwohl die Installationsbasen dieser drei Plattformen vergleichbar sind, gibt es kaum Hinweise auf vergleichbare aktive Benutzerbasen, geschweige denn auf eine vergleichbare Nutzung pro Benutzer. Im März 2022 nutzte der durchschnittliche PlayStation 5-Besitzer das Gerät 50 Stunden pro Monat, also etwa zwei Stunden am Tag (15 % mehr als die PlayStation 4 zum gleichen Zeitpunkt ihres Lebenszyklus). Auch die Jahresverkäufe von Xbox und PlayStation steigen im dritten Jahr weiter, während Meta Quest 2 im zweiten Jahr zurückgeht. Um es klarzustellen: Das Meta Quest 2 muss für XR nicht das sein, was das iPhone für Smartphones war. Aber selbst Smartphones vor dem iPhone zeigten, dass sie nicht nur potenziell, sondern auch im Massenmaßstab für den Produktmarkt geeignet sind. Smartphones hatten auch einen einzigartigen Vorteil: Für die meisten Menschen auf der Welt bedeutete der Kauf eines Smartphones, ihren ersten und einzigen Computer zu besitzen (und wenn nicht, war es ihr zweiter oder dritter und vor allem ihr einziger tragbarer Computer). Für die meisten VR-Käufer ist das Gerät heute ihr vierter oder fünfter Computer nach einem PC/Mac, einem Smartphone, einem Tablet und einer Konsole. Sofern ein XR-Gerät eines dieser Geräte nicht ersetzen kann, ist es unwahrscheinlich, dass Verbraucher und Unternehmen es massenhaft übernehmen, selbst wenn sie es von Zeit zu Zeit unterhaltsam oder nützlich finden.

Natürlich werden XR-Geräte nicht plötzlich eine bestehende Gerätekategorie ersetzen. Hunderte Millionen werden VR/AR zunächst neben ihren Konsolen, PCs und Smartphones nutzen, bevor zig Millionen zum ersten Mal eines davon aufgeben – und Hunderte Millionen werden beides noch länger nutzen (dieser Aufsatz wurde auf einem PC geschrieben, Zum Beispiel). Der Zeitpunkt dieses Übergangs ist jedoch für diejenigen, die investieren, relevant. Zurück zu meinem Johns-Hopkins-Beispiel. Nach Abschluss der Operation verglich Dr. Timothy Witham, der auch Direktor des Spinal Fusion Laboratory des Krankenhauses ist, die Erfahrung mit dem Fahren eines Autos mit GPS. Ich liebe diese Analogie, weil sie zeigt, wie XR bestehende Geräte und Verhaltensweisen ergänzen kann, anstatt sie zu verdrängen (es ergänzt auch die Realität, anstatt uns von ihr abzukoppeln). Anders ausgedrückt: Wir fahren ein Auto mit GPS; Wir fahren kein GPS statt Auto und GPS ersetzt auch nicht den Bordcomputer. Darüber hinaus reisen viele von uns häufiger, weil es GPS gibt. Dr. Witham stellt auch einen Rahmen bereit, mit dem wir die Utility-XR-Geräte bewerten können. Um zu existieren, müssen sie keine Konventionen auf den Kopf stellen, sondern lediglich bessere und/oder schnellere und/oder günstigere und/oder zuverlässigere Ergebnisse liefern. Aber selbst unter diesen gemäßigteren Maßnahmen scheint die Zukunft in weiter Ferne zu liegen. GPS begann sich in den 1990er-Jahren auch für nicht-militärische Zwecke durchzusetzen, doch es dauerte weitere zwei Jahrzehnte, bis es hinsichtlich Kosten und Qualität zu einem Teil des täglichen Lebens wurde. Darüber hinaus lag der allgemeine Wert von GPS nicht nur in der Verbesserung des Pendelverkehrs, sondern auch darin, so unterschiedliche Anwendungen wie Tinder, Siri, Yelp, Spotify und viele andere zu ermöglichen.

Die angebliche Verzögerung des XR-Fortschritts ist nicht auf mangelnde Investitionen zurückzuführen; In den letzten anderthalb Jahrzehnten gab es viel davon. Meta gibt seit mehreren Jahren 10–12 Milliarden US-Dollar pro Jahr für seine XR-Initiativen aus. Die Lebensausgaben werden auf 50 Milliarden US-Dollar geschätzt, Tendenz steigend, bei Einnahmen von 6 Milliarden US-Dollar. Dennoch gibt es weit verbreiteten Spott über die Flaggschiff-Ego-Titel der Quest-Reihe, wie etwa Horizon Workrooms oder Horizon Worlds, oder ihre Features, wie zum Beispiel die beinlosen Avatare (das meiste davon ist unfair – ein Punkt, auf den ich zurückkommen werde).

Wir kennen die Ausgaben von Apple nicht, aber das Unternehmen gehört zu den 20 größten Patentanmeldern in den Vereinigten Staaten, und seit Jahren werden 30–50 % dieser Patente auf XR-bezogene Funktionen zurückgeführt (wenn auch nicht ausschließlich auf VR/AR/MR). . Laut Alex Heath von The Verge arbeiten bei Apple Tausende von Mitarbeitern an eigenständigen XR-Geräten, und das schon seit Jahren (Apples VR/MR-Gerät war ursprünglich für 2019 geplant). Auch die Investitionen von Microsoft sind unbekannt, aber im Jahr 2021 unterzeichnete das Unternehmen einen Vertrag mit der US-Armee im Wert von bis zu 22 Milliarden US-Dollar bis 2031 – und zwar über nur 120.000 HoloLens-Headsets. Mit dieser Summe, die 183.000 US-Dollar pro Gerät entspricht (obwohl der Preis Software, Reparaturen und Rechenzentrumsdienste beinhaltet), wurden zweifellos umfangreiche Forschungs- und Entwicklungsarbeiten finanziert. Doch im Januar 2023 lehnte der Kongress den Antrag der Armee ab, 400 Millionen US-Dollar der rund 21,5 Milliarden US-Dollar an nicht ausgegebenen Mitteln für den Kauf weiterer 7.000 Einheiten abzuziehen, nachdem sie zuvor 350 Millionen US-Dollar für 5.000 Einheiten ausgegeben hatte. Diese erste Charge blieb bei vielen Feldtests im Laufe des Jahres 2022 zurück, wobei das Militär zu 80 % feststellte, dass es zu „einsatzbeeinträchtigenden körperlichen Beeinträchtigungen“ wie Kopfschmerzen, Überanstrengung der Augen und Übelkeit führte. Microsoft erhielt 40 Millionen US-Dollar oder 10 % des Antrags der Armee für die Entwicklung eines neuen Modells. Eine Woche später kündigte Microsoft im Rahmen einer umfassenden Kostensenkungsmaßnahme 10.000 Entlassungen an. Laut Bloomberg war die HoloLens-Sparte überproportional betroffen. Snap und Google haben Milliarden allein für XR-bezogene Akquisitionen ausgegeben.

Im Dezember 2022 veröffentlichte das US-Patentamt ein 2. Apple-Patent für einen Ring, der „Self-Mixing Interferometry“ für ein „Sensor-based Gesture System“ nutzt. Spezifizierte Anwendungen umfassen die Einzel- oder Mehrfachnutzung mit oder ohne Apple Pencil und unterstützen AR, VR und MR

Viele Unternehmer, Entwickler, Führungskräfte und Technologen glauben immer noch, dass XR die Zukunft ist (ich glaube das auch). Diese Gruppen glauben insbesondere an AR-Brillen, die irgendwann die meisten unserer PCs und Fernsehbildschirme ersetzen werden. Und die Geschichte zeigt, dass diese Geräte mit der Zeit näher an unser Gesicht heranrücken und gleichzeitig eine natürlichere und immersivere Benutzeroberfläche bieten, was auch zu einer zunehmenden Nutzung führt. Aber warum liegt diese Zukunft so weit zurück? Wohin fließt das Geld? Welche Fortschritte gibt es? Und vor allem: Wie viele XR-Winter müssen kommen und gehen, bevor ein Frühling tatsächlich zum Sommer führt?

„Ein erheblicher Teil der Bevölkerung … wird jeden Tag AR-Erlebnisse haben, fast so, als würde man drei Mahlzeiten am Tag essen.“ -Tim Cook (2016)

„Wenn Sie in die Zukunft blicken und zurückblicken, werden Sie sich fragen, wie Sie Ihr Leben ohne Augmented Reality geführt haben. Genauso wie wir uns heute fragen: ‚Wie sind Menschen wie ich ohne Internet aufgewachsen?‘“ – Tim Cook (2022 )

„Es sieht aus wie Wii Sports“

Mehr als die Hälfte aller Haushalte in den Vereinigten Staaten besitzen eine Videospielkonsole. In fast allen Fällen ist diese Konsole das leistungsstärkste Computergerät, das die Mitglieder dieses Haushalts besitzen, nutzen oder auch nur sehen. Dazu gehören Haushalte, die das neueste iPad Pro-Modell besitzen oder in einem Büro mit einem High-End-Unternehmens-PC oder -Mac arbeiten. Unabhängig davon, für welche Konsole sie sich entscheiden, ist diese Videospielkonsole auch günstiger als die meisten anderen Computergeräte für Verbraucher oder sogar Profis. In der Regel kostet es beispielsweise mehr, einen Gaming-PC mit vergleichbarer Leistung zu kaufen oder sogar die Grafikkarte in einem vorhandenen PC auszutauschen. Dies liegt daran, dass Konsolen von erheblichen Skaleneffekten profitieren, da ihre Hersteller über ein Jahrzehnt hinweg meist standardisierte Einheiten von 50–150 Mio. ausliefern. Der Kauf einzelner Komponenten, jede einzeln verpackt, gekennzeichnet und im Einzelhandel erhältlich, oft mit neuen Modellen, die jährlich auf den Markt kommen, ist teuer. Videospielkonsolen werden ebenfalls subventioniert, in der Regel mit 100 bis 200 US-Dollar, da ihre Hersteller ein Rasierer-und-Klingen-Modell verfolgen, bei dem spätere Softwarekäufe das verlorene Geld durch den Verkauf der Hardware schließlich wieder wettmachen. Kein Grafikkarten- oder Monitorhersteller erhält einen Anteil an Ihren Robux oder V-Bucks.

Im Vergleich zu alltäglichen Geräten ist die Rechenleistung einer Videospielkonsole so groß, dass Japan im Jahr 2000 sogar Exportbeschränkungen für seinen eigenen geliebten Riesen Sony und seine charakteristische PlayStation 2-Konsole verhängte. Die Regierung befürchtete, dass die PS2 für terroristische Zwecke auf globaler Ebene eingesetzt werden könnte, etwa zur Steuerung von Raketenleitsystemen. Im darauffolgenden Jahr betonte US-Handelsminister Don Evans die Bedeutung der Unterhaltungselektronikindustrie und erklärte: „Der Supercomputer von gestern ist die PlayStation von heute.“ Evans‘ Aussage war kraftvoll – auch wenn sie wohl rückständig war; Die PlayStation von heute ist oft der Supercomputer von morgen. Im Jahr 2010 baute das US Air Force Research Laboratory mit 1.760 Sony PlayStation 3 den 33. größten Supercomputer der Welt. Der Projektleiter schätzte, dass der „Condor Cluster“ 5 bis 10 % der Kosten gleichwertiger Systeme ausmachte und 10 % der Energie verbrauchte. Der Supercomputer wurde zur Radarverbesserung, Mustererkennung, Verarbeitung von Satellitenbildern und zur Erforschung künstlicher Intelligenz eingesetzt.

Doch in vielerlei Hinsicht haben es Videospielkonsolen leicht. Denken Sie an die PlayStation 5 oder die Xbox Series Geräte werden in einer Medienregalkonsole platziert und niemals bewegt. Tatsächlich ist es nicht in Ordnung – es ist ein Vorteil! Da diese Geräte groß, unansehnlich und stationär sein können, können Sony und Microsoft große und laute Lüfter in ihre Konsolen einbauen, die diese Konsolen kühl halten, während sie ihre intensiven Berechnungen durchführen, und diese Lüfter durch große Einlass- und Auslassöffnungen unterstützen. Sony und Microsoft können auch die Komponentenkosten niedrig halten, da sie nicht wie ein Smartphone-Hersteller auf die Größe achten müssen. Und obwohl die Konsolen von Sony und Microsoft schwer sind, benötigen sie im Gegensatz zu den meisten Consumer-Geräten nie einen Akku. Stattdessen beziehen sie konstant Strom aus dem Stromnetz. Dies reduziert die Größe des Geräts und die von ihm erzeugte Wärme, was wiederum bedeutet, dass auch der Lüfter kleiner sein kann und dafür sorgt, dass er unbegrenzt und nicht nur für ein paar Stunden laufen kann.

Konsolen unterstützen normalerweise zwei Formen der Konnektivität, Wi-Fi und Ethernet, benötigen jedoch keine Unterstützung für mobile Netzwerke, was großartig ist, da es sich bei letzterem um einen anderen Chipsatz handelt und die Akkulaufzeit besonders stark beansprucht wird. Auch Videospielkonsolen müssen kein eigenes Display mitbringen; Sie werden an einen Fernseher angeschlossen. Dies verlagert die Kosten auf einen anderen Kauf – niemand glaubt, dass eine PlayStation 500 US-Dollar plus einen Fernseher kostet – und ermöglicht es den Benutzern gleichzeitig, ihre eigene Qualität zu wählen (z. B. 1K- vs. 4K-Auflösung, LED vs. OLED). Die meisten Fernseher sind außerdem 6 bis 10 Fuß vom Betrachter entfernt. Das bedeutet, dass eine Auflösung von mehr als 2K oft sinnlos ist, es sei denn, Ihr Fernseher hat eine Diagonale von mehr als 70 Zoll. Diese Fernseher funktionieren auch in optimalen oder am wenigsten relativ stabilen Umgebungen – in einem dunkel beleuchteten Wohnzimmer und nicht in einem Büro oder, schlimmer noch, auf der Straße, wo die Beleuchtung unkontrollierbar und schwankend ist.

Videospielkonsolen können einen Großteil ihrer Arbeit auch auf andere Geräte verlagern, etwa einen eigenständigen Controller für die Eingabe oder ein separat erworbenes Headset für Audio (die PlayStation 5 und die Xbox Series Fügen Sie Bluetooth-Dongles hinzu, um die Funktionalität hinzuzufügen. Videospielkonsolen müssen nicht viel wissen oder herausfinden. Sie müssen nicht Ihre Bewegung verfolgen, geschweige denn Ihre Augen, oder Ihre Umgebung scannen und verarbeiten. Und Videospielkonsolen sind Freizeitgeräte. Es ist nicht wichtig, dass sie die Physik präzise simulieren (die meisten Spiel-Engines sind nicht deterministisch, was bedeutet, dass eine bestimmte Aktion nicht immer zum gleichen Ergebnis führt), „fotoecht“ sind oder „Arbeit“ unterstützen. Diese Geräte führen in erster Linie nur voreingestellte Aktivitäten in voreingestellten Umgebungen aus, mit einer kleinen Auswahl an Gegenständen und nur wenigen anderen Spielern in hochdefinierten Funktionen (z. B. wenn Sie Fortnite spielen, spielen Sie Fortnite, während Ihr PC möglicherweise läuft viele Anwendungen und Prozesse gleichzeitig) und viele Vereinfachungen (die Autos in Fortnite müssen nicht wie echte Autos fahren, die Büsche können durchquert werden, ohne die Geschwindigkeit zu beeinträchtigen usw.).

Es ist wichtig, diesen Kontext rund um Konsolen im Auge zu behalten, wenn wir VR/AR/MR betrachten. Man hört häufig die Kritik, dass die Erfahrungen, die diese Geräte bieten, schlechter aussehen als die der Konsolen von vor einem Jahrzehnt, die damals nur halb so viel kosteten. Wenn es um die visuelle Darstellung einer virtuellen Umgebung geht, werden VR/AR/MR-Geräte immer hinter einer modernen Videospielkonsole zurückbleiben. Stets. Dies liegt daran, dass die „Arbeit“, die diese Geräte leisten, viel, viel schwieriger ist, während die Einschränkungen viel, viel größer sind.

Ein einfacher Ausgangspunkt ist das Gewicht. Jedes XR-Gerät, das für den regelmäßigen Gebrauch oder für lange Sitzungszeiten vorgesehen ist, muss leicht sein. Es besteht weitgehend Konsens darüber, dass der tolerierbare Bereich für ein VR/MR-Headset etwa 300–700 Gramm beträgt, abhängig vom Verwendungszweck (Verbraucher vs. Unternehmen) und der idealen Sitzungsdauer (mit 300 Gramm auf Ihrem Gerät spielen Sie wahrscheinlich drei Stunden lang). Kopf größer als 700). Ein VR-Gerät muss also etwa 90 % leichter sein als eine PlayStation 5 oder Xbox Series X, 60 % leichter als eine Nintendo Wii und etwas kleiner als die Nintendo Switch. AR-Brillen müssen noch leichter sein. Während niemand vernünftigerweise darauf bestehen würde, dass diese Geräte die 15–40 Gramm einer durchschnittlichen „dummen“ Brille wiegen müssen, die heute getragen wird, müssen sie dennoch weniger als etwa 150 Gramm wiegen, wenn sie den ganzen Tag getragen werden sollen. Diese Gewichtsbeschränkung hat natürliche und unversöhnliche Auswirkungen auf die Rechenleistung.

Bedenken Sie jedoch, dass diese Geräte auch über einen eigenen Akku verfügen müssen. Dies macht die Geräte zum einen größer und teurer, begrenzt aber auch die Nutzungsdauer. Darüber hinaus sind Batterien im Verhältnis zu ihrem Platzbedarf nicht nur recht schwer, sie erzeugen auch erhebliche Wärme. Und im Gegensatz zu einer Konsole, die immer ein paar Meter vom Benutzer entfernt steht, werden diese Batterien auf dem Kopf des Benutzers platziert. All dies bedeutet, dass die Batterien von XR-Geräten klein und leicht und gleichzeitig leistungsstark und effizient sein müssen!

XR-Geräte haben auch andere zusätzliche Belastungen. Beispielsweise sind integrierte Lautsprecher und Mikrofone sowie eine Vielzahl von Kameras (die meisten gehen von mindestens 12) erforderlich, die die Augen, das Gesicht, die Finger und die lokale Umgebung des Benutzers verfolgen können. Es gibt auch Sensoren (z. B. Gyroskop, Licht, Wärme usw.). Und AR-Geräte benötigen einen mobilen Netzwerkchip, der wiederum Gewicht und Volumen erhöht, aber auch den Akku belastet und viel Wärme erzeugt.

Schließlich ist da noch das Display. XR-Geräte müssen über einen eigenen Bildschirm verfügen, der noch mehr Wärme (ebenfalls einen Zoll vom Gesicht des Benutzers entfernt) und noch mehr Gewicht erzeugt. Aufgrund ihrer Nähe zu den Augen des Benutzers müssen diese Bildschirme außerdem dicht sein, sonst wirken die Pixel riesig und die Bilder unscharf. Die Mindestspezifikation wird normalerweise als 8K-Pixel definiert, obwohl viele glauben, dass 16K optimal ist. Das bedeutet, dass es um ein Vielfaches mehr Pixel als bei einem durchschnittlichen Fernseher gibt, was sich wiederum in höheren Kosten, mehr Gewicht und höherem Batterieverbrauch niederschlägt.

Jetzt haben wir darüber gesprochen, wie viel mehr Zeug ein XR-Gerät braucht, auch wenn es nur einen Bruchteil des Gewichts einer Konsole wiegen sowie ästhetisch ansprechend und komfortabel sein muss. Hinzu kommt die Arbeit, die das Gerät leisten muss und die weitaus komplexer ist als alles, was eine Videospielkonsole leistet. Beispielsweise müssen XR-Geräte ihre Umgebung verstehen und nicht nur Bilder davon aufnehmen. Das bedeutet, die Platzierung, Farbe und Form von Objekten zu bestimmen, in manchen Fällen auch deren Materialien und Textur, sowie was das Objekt tatsächlich ist, was es tut und was es wahrscheinlich tun wird. Sie müssen auch mit komplexen Materialien wie reflektierenden und transparenten Oberflächen umgehen und den Benutzer vor wichtigen Grenzen und Gefahren warnen. Hände, Augenbrauen, Lippen und andere Körperteile müssen für die Reproduktion präzise und schnell vermessen werden. Oft wird von diesen Geräten verlangt, dass sie Videoanrufe unterstützen – also „reale“ Videos in einer simulierten Umgebung anzeigen – oder den Bildschirm eines „realen“ Geräts wie eines PCs oder iPhones in der virtuellen Umgebung reproduzieren . Von Konsolen wird natürlich nichts davon verlangt. Stattdessen können sie ihre relativ große Rechenleistung auf „Grafik“ konzentrieren.

Dann gibt es noch das Rendering-Problem. Ich habe bereits erwähnt, dass XR-Geräte einen eigenen Bildschirm benötigen und aufgrund ihrer Nähe zum Auge mindestens 8K (optimalerweise 16K) Pixel anstreben. Im Gegensatz dazu ist die tragbare Nintendo Switch nur 720p. Dies bedeutet, dass es dafür verantwortlich ist, weniger als 10 % der Pixel pro Sekunde wiederzugeben, die ein XR-Gerät leisten muss. Die Xbox Series -50 % des XR-Ziels). Jedes zusätzliche Pixel erfordert eine Steigerung der Rechenleistung.

Dabei ist die Anzahl der Pixel nur die Hälfte der Gleichung. Die andere Hälfte ist, wie oft sie aktualisiert werden. Die meisten Videospiele streben eine Bildwiederholfrequenz von 60 Hz an (d. h. 60 Aktualisierungen pro Pixel pro Sekunde; der Einfachheit halber wird dies im Grunde „Bilder pro Sekunde“ oder FPS genannt). Einige Titel unterstützen 120 Hz oder mehr, obwohl dies normalerweise eine Reduzierung der Auflösung bedeutet ist gerendert. Fortnite unterstützt beispielsweise 4K in 60 Hz, aber wenn ein Spieler 120 Hz möchte (was beim Wettkampfspiel hilft), sinkt die Auflösung auf 1440p. Auf dem Nintendo Switch, einem relativ leistungsschwachen Gerät, ist Fortnite nur mit maximal 30 Hz verfügbar. Darüber hinaus priorisieren viele Titel die Komplexität des Spiels (das viel Rechenleistung erfordert) gegenüber visuellen Spezifikationen. Das 2022 erschienene AAA-Videospiel Gotham Knights läuft beispielsweise nur mit 30 Hz. Aufgrund der Anforderung, die visuelle Realität wiederzugeben, besteht weitgehend Konsens darüber, dass ein XR-Headset mit 120 Bildern pro Sekunde – idealerweise 240 – aktualisiert werden muss, um Übelkeit zu vermeiden. Dies ist auf die Tatsache zurückzuführen, dass die Interaktion bei XR über den Kopf und nicht über den Daumen erfolgt und dass Verzögerungen zwischen Ein- und Ausgabe deutlicher spürbar sind, wenn der Bildschirm auf Ihrem Gesicht sitzt als auf der anderen Seite des Raums, was zu einem Gefühl der sensorischen Trennung führt. Wenn man alles zusammenzählt, muss ein XR-Gerät viel, viel mehr Pixel pro Sekunde rendern als ein herkömmliches Gerät. Dies erzeugt (erneut) viel mehr Wärme, verbraucht viel mehr Batterie, benötigt viel mehr Platz und, was am wichtigsten ist, verschlingt PS, die sonst für ein hochauflösenderes oder komplexeres Rendering verwendet werden könnten.

Es gibt einige zusätzliche und besonders brutale optische Einschränkungen, wenn es um AR-Geräte geht. Die meisten Laptops unterstützen eine Helligkeit zwischen 300 und 600 Nits, wobei Laptops der Enterprise-Klasse typischerweise einen Spitzenwert von 1.000 erreichen, während Fernseher eine Helligkeit von 600 bis 1.500 erreichen. Smartphones benötigen 2.000 Nits, um in der Sonne gesehen zu werden, und wie wir alle wissen, werden sie auch an einem mäßig sonnigen Tag ausgewaschen. Aus diesem Grund müssen AR-Geräte viel mehr Helligkeit erzeugen, um allgemein einsetzbar zu sein, was wiederum einen enormen Batterieverbrauch bedeutet. AR-Geräte müssen auch Licht durch ihre Displays lassen, um das, was sich dahinter verbirgt, hervorzuheben. Dies führt zu einer von zwei Optionen. Erstens muss das Display gezielt noch mehr Nits senden, um das durchgelassene Licht zu überwinden. Oder es muss gezielt abgedunkelt werden, was nicht hervorgehoben werden soll. Beide Optionen sind auf Pixel-für-Pixel-Basis schwierig (noch hat das noch niemand wirklich gelöst), ganz zu schweigen davon, dass sie rechenintensiv sind.

Es gibt Möglichkeiten, einige der oben genannten Probleme zu überwinden. Einige XR-Geräte setzen beispielsweise auf Sekundäreinheiten, die für zusätzliche Rechenleistung sorgen und gleichzeitig das Gewicht reduzieren. XR-Geräte für Militärangehörige umfassen in der Regel einen per Kabel verbundenen Mini-„Bus“, der in einem Rucksack getragen werden kann, wobei das Headset physisch mit dem Bus verbunden ist. Wenn Chirurgen XR-Geräte verwenden, wie es jetzt bei Johns Hopkins der Fall ist, werden die meisten „Sachen“ unter dem Operationstisch platziert, wobei das Headset meist auf Kameras, Kopfhörer, Display und Mikrofon beschränkt ist. Für die 600-Dollar-PlayStation VR2 von Sony muss der Besitzer die 500-Dollar-PlayStation 5 besitzen und physisch daran anschließen, die groß, schwer, leistungsstark, leichter zu kühlen, an das Stromnetz angeschlossen und dergleichen ist. Einige Patente deuten darauf hin, dass die AR-Brille von Meta ein herzschrittmacherähnliches Gerät enthalten wird, das am Gürtel des Trägers hängt oder in der Tasche sitzt. Einige Gerüchte deuten darauf hin, dass Apple „Relaisstationen“ verwenden wird, die rund um das Wohnzimmer oder Büro des Benutzers angeordnet sind. Stellen Sie sich diese wie stationäre Herzschrittmacher oder Konsolen vor, die nur zur Unterstützung des XR-Geräts konzipiert sind. Enterprise-AR-Headsets, wie sie beispielsweise in einer Fabrik verwendet werden, müssen weder im Privatbesitz sein, noch benötigen sie Allzweckkomponenten, drahtlose Chips, langlebige Batterien oder ein attraktives Erscheinungsbild. Sie können wie ein Polizeiauto einfach über firmeneigene Ladestationen ein- und ausgewechselt werden. Unternehmenseigene Geräte können auch weitaus teurer sein, da sie gemeinsam genutzt werden und den Umsatz steigern und nicht nur Spaß machen.

Aber spielt es sich besser?

Alle Verbrauchertechnologien sind mit Kompromissen und schwierigen Problemen konfrontiert. Aber XR-Geräte erfordern so viele Optimierungspunkte – Wärme, Gewicht, Akkulaufzeit, Auflösung, Bildrate, Kameras, Sensoren, Kosten, Größe und so weiter. Zuckerbergs Glaube an diese Gerätekategorie, abgesehen von diesen Problemen, erklärt, wie es möglich ist, dass er Jahr für Jahr mehr als 10 Milliarden US-Dollar ausgibt. Dieses Geld wird in Optik, LEDs, Batterien, Prozessoren, Kameras, Software, Betriebssysteme und so weiter gesteckt. Und während Apple das erste iPhone größtenteils auf Basis von Originalkomponenten baute, die von Dritten entworfen und hergestellt wurden – und die seit mehr als einem Jahrzehnt in Telefonen/Smartphones verwendet wurden –, entwickelt und beauftragt Meta in erster Linie völlig neue Innovationen und Teile für sein XR Geräte.

Wenn Zuckerberg es schafft, dies zu knacken, während fast alle seine Konkurrenten Jahre im Rückstand sind (sofern sie sich überhaupt darum kümmern), könnten die finanziellen Erträge außergewöhnlich sein. Anfang 2021 sagte Zuckerberg: „Die größte technologische Herausforderung unserer Zeit besteht möglicherweise darin, einen Supercomputer in den Rahmen einer normal aussehenden Brille einzubauen. Aber es ist der Schlüssel, um unsere physische und digitale Welt zusammenzubringen.“

„Ich denke, die Welt sollte „Danke, Mark, dass du diese Technologie vorangebracht hast.“ sagen. Ich weiß nicht, ob es für die Aktionäre gut ist. Das ist fraglich; er denkt, dass es so ist... [aber] ich wäre nicht gegen ihn... Ich denke, es gibt gute Chancen dafür, aber ob es klappt oder nicht Kommerziell ist es ein unglaublicher Fortschritt in der Technologie... und sie treiben es wirklich voran, und es wird uns allen wirklich zugute kommen.

– Reed Hastings, Gründer von Netflix und ehemaliges Facebook-Vorstandsmitglied (2011–2019), im Januar 2023

Der immense Schwierigkeitsgrad von XR erklärt auch, warum „die Grafik sieht aus, als käme sie von der Wii“ eigentlich ein Kompliment ist – es ist ein bisschen so, als würde man sagen, ein Erwachsener sei 100 Meter so schnell gelaufen wie ein 12-Jähriger, obwohl der Erwachsene es war Einen 50-Pfund-Rucksack tragen und gleichzeitig Matheaufgaben lösen. Tatsächlich ist „Grafik“ in erster Linie ein schrecklich wenig hilfreicher Begriff, weil er sich auf visuelle Elemente bezieht und nicht auf die Simulation, die sie widerspiegeln, oder auf ihren Zweck. Es ist ziemlich einfach, ein atemberaubend fotorealistisches Schachspiel zu spielen, da die Eingaben rundenbasiert, begrenzt und sehr vorhersehbar sind (was es dem Computer ermöglicht, vor der Entscheidung des Spielers mit der Arbeit zu beginnen). Wenn Sie jedoch ein schnelles Spiel mit hundert Spielern simulieren möchten, die verschiedene Aktionen ausführen (wie es bei einem Battle Royale oder einer anderen sozialen Umgebung der Fall ist), muss der Computer viel härter arbeiten, um Ursache und Wirkung zu verstehen, und das bedeutet Die Obergrenze für die visuelle Wiedergabetreue ist niedriger. Darüber hinaus gibt es bei beiden (insbesondere beim Schach) Grenzen dafür, wie wichtig die visuelle Wiedergabetreue ist.

Diese Verteidigung ist unabhängig davon, ob Metas Kunststil im Verhältnis zu seinen Einschränkungen gut ist. Es herrscht weitgehend Einigkeit darüber, dass es schlecht ist. Es ist jedoch nicht ganz fair, die Grafiken von Metas Avataren oder Signaturprodukten wie Horizon Workrooms mit denen von VR-Titeln von Drittanbietern wie VRChat oder RecRoom zu vergleichen. Diese Genauigkeit steht Meta zur Verfügung, allerdings nur selektiv – wie wir wissen, sind „Grafiken“ nur ein Teil der Rechengleichung. Beispielsweise könnte ein Zwei-Personen-Meeting in Horizon Workrooms, das auf acht Personen erweitert wird, eine Halbierung der Bildrate oder der Avatar-Definition oder der Genauigkeit der Augenwiedergabe erfordern, während gleichzeitig die Batterien viel schneller entladen werden. Oder Ihr Avatar – der eine Darstellung von Ihnen sein soll – könnte besser oder schlechter, detaillierter oder allgemeiner, mit Beinen oder ohne Beine aussehen, je nachdem, in welcher Anwendung Sie ihn verwenden. Das wird unheimlich, ablenkend und nervig.

Und es gab viele Fortschritte. Betrachten Sie die Oculus/Meta Quest-Reihe, die ursprünglich als reines VR-Gerät gedacht war, sich aber inzwischen auf VR mit einem „Mixed Reality“-Modus ausgeweitet hat. Die Oculus Rift aus dem Jahr 2016 verfügte über ein 1K-Display, das 90 Bilder pro Sekunde verarbeiten konnte, eine Nutzungsdauer von zwei bis drei Stunden ermöglichte, 500 Gramm wog und 400 US-Dollar kostete, aber über keine externen Kameras verfügte (und daher nur für VR geeignet war). Das Oculus Quest 2 aus dem Jahr 2020 hatte die gleiche Akkulaufzeit, das gleiche Gewicht und den gleichen Preis, obwohl die Auflösung auf 4K vervierfacht wurde und bis zu 120 Bilder pro Sekunde unterstützt wurde. Außerdem wurden vier externe Kameras hinzugefügt (wodurch das ansonsten reine VR-Gerät „sehen“ und verstehen konnte). Teile des realen Raumes). Im Vergleich zum Quest 2 erhöhte das Quest Pro 2022 die Auflösung auf etwa 5,25K (der Farbkontrast erhöhte sich um 75 %) und fügte gleichzeitig Farbe zu den zuvor schwarz-weißen externen Kameras hinzu, während sich die Gesamtzahl der Kameras auf 12 verdreifachte (was eine erhebliche Verbesserung darstellt). Tracking und fügt auch Gesichts- und Augen-Tracking hinzu). Das Quest Pro war auch das erste Modell, das „Foveated Rendering“ nutzte, was Eye-Tracking-Kameras erfordert. Das menschliche Auge verfügt über ein foveales Sehen, was bedeutet, dass unser Sehvermögen in der Mitte am schärfsten und an der Peripherie verschwommener ist. Durch die Verfolgung des Auges des Benutzers ist es möglich, dass ein Headset seine Rechenleistung dort konzentriert, wo der Benutzer hinschaut, und die Wiedergabetreue an anderer Stelle verringert. Eine 8–16K-Anzeige ist weiterhin erforderlich, da der Blick des Benutzers auf jeden Punkt des Bildschirms gerichtet sein kann, aber 90 % des Bildschirms möglicherweise nur an einer Stelle in 2–4K gerendert werden, wodurch Batterie und Rechenleistung gespart werden.

Gleichzeitig waren nicht alle Fortschritte bei Quest 2 oder Quest Pro „kostenlos“. Der 120-Hz-Modus des Quest 2 wird nur punktuell unterstützt; komplexere Spiele sind auf 90 oder sogar 72 Hz begrenzt. Das Quest Pro hat eine maximale Bildrate von 90 Hz und im Vergleich zum Quest 2 ist die Akkulaufzeit um ein Drittel kürzer (zwei Stunden, nicht drei), das Gewicht ist um 40 % auf 700 Gramm gestiegen und die Kosten haben sich auf 1.500 US-Dollar mehr als verdreifacht. Im weiteren Sinne sind 90 Hz bei 4K immer noch um ein Vielfaches von 120–240 Hz bei 8–16K entfernt. Dabei geht es lediglich um die Anzahl der gerenderten Pixel, nicht um deren Wiedergabetreue und nicht um die Ausgereiftheit der dahinter stehenden Simulation. Die externen Kameras können die Welt um sie herum immer noch nicht umfassend diagnostizieren. Und so weiter.

Während VR/MR-Geräte noch einen langen Weg vor sich haben, wird sich diese Lücke mit der Zeit schließen. Die Enthüllung von Apples Mixed-Reality-Gerät in diesem Frühjahr wird ein wichtiger Zeitcheck sein. Apple ist unübertroffen in der Lage, erstklassige Hardware zu produzieren, auch wenn das Unternehmen größtenteils auf Komponenten von Drittanbietern angewiesen ist. Ebenso beeindruckend ist, wie die Hardware von Apple mit einem maßgeschneiderten Betriebssystem und einer maßgeschneiderten Benutzeroberfläche harmoniert, was in einer Kategorie, in der es bisher an Best Practices und klaren Antworten mangelt, einen Vorteil verschafft. Dies hat es Apple ermöglicht, routinemäßig lange stagnierende oder sich langsam entwickelnde Computermodelle aufzubrechen, von der GUI selbst bis hin zu MP3-Playern, Smartphones, Tablets und Smartwatches. Doch als Apple dies Anfang bis Mitte der 2000er Jahre mit dem iPod und dem iPhone, seinen beiden „großen“ Innovationen, tat, nutzte es hauptsächlich externe „Sachen“ (insbesondere Computerchips). Das Unternehmen verfügte außerdem über eine bescheidene Produktionsgröße und Fachkompetenz sowie eine vergleichsweise kleine Benutzerbasis und ein kleines Entwickler-Ökosystem. Der Apple von 2023 ist ganz, ganz anders. Das Unternehmen produziert beispielsweise das leistungsstärkste miniaturisierte System-on-a-Chip der Welt und produziert mehr Telefone, Tablets und Smartwatches als jeder andere Gerätehersteller auf der Welt, was sowohl seine Fertigungskompetenz als auch die Attraktivität seiner Produkte widerspiegelt Produkte. Apple verfügt über das lukrativste Entwickler-Ökosystem der Welt und eine seiner beliebtesten Marken. Das XR-Gerät des Unternehmens bietet die Möglichkeit, sich mit anderen auf dem Markt erhältlichen Geräten zu verbinden – beispielsweise das iPhone des Benutzers anstelle eines eigenständigen Herzschrittmachercomputers oder eine Apple Watch als Ergänzung zur Handverfolgung usw. zu nutzen. Daher ist es nicht abwegig anzunehmen, dass das Mixed-Reality-Gerät von Apple das begehrteste Gerät sein wird, das höchste Preis-Leistungs-Verhältnis bietet und mit der besten Schnittstelle – und auch den meisten Anwendungen – ausgestattet ist. Noch wichtiger ist, dass dieses Gerät wahrscheinlich „anders“ ist. Um den Apple-Experten John Gruber zu zitieren: „Außenstehende stützen ihre Erwartungen zwangsläufig auf den aktuellen Stand der Technik.“ Aber das iPhone war kein iPod-Telefon. Die Apple Watch war kein Fitbit mit einem höheren Preis. Wenn Apple immer noch Apple ist, sollte dieses erste Headset das tun viel mehr sein als eine etwas schönere Version der VR-Headsets, wie wir sie kennen.“ Berichten zufolge wird das Gerät jedoch mindestens 2.000 US-Dollar kosten, wahrscheinlicher jedoch 3.000 US-Dollar, was seine Attraktivität einschränkt und darauf hindeutet, dass das Gerät in erster Linie für diejenigen gedacht ist, die Software zum Entwerfen von 3D-Objekten verwenden, wie zum Beispiel Filmanimatoren oder Architekten – zumindest in kurz- bis mittelfristig.

Eine begrenzte, aber immer größere Nutzung ist der notwendige Bogen für neue Technologien. Zu Beginn waren sowohl Computer als auch Internetworking praktisch auf Megakonzerne, öffentliche Forschungslabore und die Regierung beschränkt. Keine andere Gruppe konnte sich beides leisten, geschweige denn, es sinnvoll zu nutzen. VR dürfte bei 3D-orientierten Unternehmen sowie bei spielorientierten Kindern und jungen Erwachsenen Einzug halten. Technologie ist kein „Wann“ – geschweige denn „wann wird X Mainstream sein“ – sondern ein „wann ist was, wird von wem, warum und zu welchem ​​Zweck genutzt“. Dabei geht es sowohl um die Komponentenkosten, die Funktionalität und den Verkaufspreis von XR-Geräten als auch um die Software, die den Kauf dieser Geräte überhaupt erst lohnenswert macht. Dies ist besonders wichtig für Meta, das 100–200 US-Dollar pro Einheit verliert, um seinen Preis niedrig zu halten und die Akzeptanz voranzutreiben, und daher erhebliche Nutzungs-/Plattformeinnahmen benötigt, um das Wachstum zu finanzieren (beachten Sie, dass dies auch bedeutet, dass Meta etwa 3 Milliarden US-Dollar verloren hat). Verkauf von 20MM Meta Quest 2, auch nach Ausschluss von Forschung und Entwicklung). Aber selbst wenn Apple mit seinen XR-Geräten die typische Bruttogewinnmarge von 35 % erzielt, sind sie nur dann rentabel, wenn die Verbraucher – Dutzende, wenn nicht Hunderte Millionen – sie nützlich finden und wann.

Diese Anwendungsfälle können von überall kommen. Filme in einem VR-Kino ansehen oder VR-Filme ansehen. Sport in einem VR-Stadion schauen. Virtuelle Meetings oder Klassenzimmer. VR-Produktivitätssoftware. VR-Spiele. Hier wurde viel ausprobiert, aber keine dieser Kategorien findet bisher bei Millionen von Benutzern (definiert durch regelmäßige Nutzung) Anklang, geschweige denn bei Hunderten. Und so entsteht das Henne-Ei-Problem. Ohne überzeugende Erlebnisse werden Benutzer keine VR-Geräte in großem Umfang kaufen, und ohne eine große und aktive Installationsbasis werden sich Entwickler nicht auf diese Plattformen konzentrieren. Und zu diesem Zweck konzentrieren sich viele Entwickler auf 3D-Anwendungen, aber nur wenige auf VR.

Ein Teil dieses Hindernisses ist wahrscheinlich Hardware; dass wir noch nicht beim VR MVP („Minimum Viable Product“) angekommen sind. Man kann mit Fug und Recht argumentieren, dass wir für den Erfolg von VR zunächst ein Gerät mit einem 8K-Display und 120 Hz benötigen, das ein Dutzend Kameras umfasst, weniger als 500 Gramm wiegt und weniger kostet als 1000 $ oder vielleicht sogar weniger als 500 $. Auch die heutige Benutzererfahrung scheint minderwertig zu sein. Im Oktober sagte der langjährige Oculus-CTO (und dann Consulting-CTO) John Carmack: „Die grundlegende Benutzerfreundlichkeit von Quest muss wirklich verbessert werden“, wobei Benutzersitzungen oft „aus Frust abgebrochen“ wurden; Darüber hinaus „sind die Startzeiten von Apps langsam und unsere Übergänge fehlerhaft.“ Carmack gab auch zu, dass einige der eigenen Mitarbeiter von Meta in einem „20-minütigen“ und „mehrfachen Neustart“-Prozess stecken blieben, um an der Connect-Veranstaltung des Unternehmens 2022 teilzunehmen. Ein umfassenderes Problem scheint jedoch darin zu bestehen, wie VR mit seinen Ersatzprodukten konkurriert. Und wenn ja, dürfte der MVP für VR deutlich höher sein als die oben genannte „Min Spec“.

Betrachten Sie beispielsweise den Hauptanwendungsfall für VR-Geräte heute: Videospiele. Während viele die VR-Grafiken von Meta verspotten, spielen Grafiken keine Rolle; Gameplay und Spaß schon. Gamer wissen das, auch wenn sie immer noch Freude daran haben, Meta zu schattieren. Aus diesem Grund haben wir gesehen, dass Hit-Spiele bereits im Jahr 1959 erschienen (Weltraumkrieg!). Im Jahr 1993 entfielen erstaunliche 10 % des gesamten Internetverkehrs auf textbasierte MUDs („Multi-User-Dungeons“). Als Pokémon Go 2016 auf den Markt kam, war es kaum ein AR-Erlebnis. Pokémon waren zwar in der realen Welt zu sehen, aber nur, weil sie über dem Feed Ihrer Kamera gerendert wurden. Sie versteckten sich nicht hinter einem Baum, setzten sich nicht auf das Gras (anstatt sich darin zu vergraben) und so weiter. Dennoch hat der Titel Hunderte Millionen Spieler angelockt. Sechs Jahre später, da mittlerweile viele echte AR-Funktionen vorhanden sind, übersteigt der Gesamtumsatz 5 Milliarden US-Dollar. Und heute sind die beliebtesten Spiele der Welt Roblox, Minecraft, Free Fire, League of Legends, Candy Crush und so weiter, von denen keines fotorealistisch aussieht oder auch nur danach strebt, so auszusehen. Und wenn es um Nicht-Gamer geht, lehrt uns die Geschichte zwei wichtige Lektionen. Erstens führen grafische Verbesserungen niemals dazu, dass Nicht-Spieler zu Spielern werden. Zweitens führt die intuitive (und typischerweise bewegungsgesteuerte) Interaktivität dazu, dass genau diese Demo umgesetzt wird, selbst wenn die Grafik rudimentär ist (Wii Sports, Guitar Hero usw.).

Um die Akzeptanz voranzutreiben, müssen VR-Spiele besser sein als die Alternativen wie Fernsehen, Lesen, Brettspiele, Dungeons & Dragons, Videospiele und was auch immer. Zumindest zeitweise. Aber in den meisten Fällen verliert VR den Freizeitkrieg (auch hier reicht es nicht aus, ein paar Millionen zu haben, die sich von Zeit zu Zeit dafür entscheiden, insbesondere angesichts der Investitionen). Ja, es bietet ein besseres Eintauchen, intuitivere Eingaben und präzisere (oder zumindest komplexere) Steuerungen. Aber es gibt viele Nachteile. Die Installationsbasis für VR beträgt etwa 25–30 Millionen, während die AAA-Gerätebasis (Switch, PlayStation, Xbox, PC) etwa 350 Millionen beträgt. Darüber hinaus sind die meisten der beliebtesten Spiele der Welt auf den letztgenannten Plattformen verfügbar, nicht auf den erstgenannten. Infolgedessen kann der durchschnittliche VR-Benutzer nur mit einem Teil seiner Freunde spielen – ein erheblicher Nachteil angesichts der Art der VR-Anwendungen. Das Gesetz von Metcalfe besagt, dass Spiele mit zunehmender Anzahl Ihrer Freunde, die das Spiel spielen, besser werden. Selbst wenn Spieler A also lieber ein VR-Spiel als ein Nicht-VR-Spiel spielt, muss er unbedingt den Titel bevorzugen, der das Spielen ohne seinen Freund kompensiert und/oder dessen VR-Vorteile die sozialen Vorteile übertreffen.

Und da wir wissen, dass die beliebtesten Spiele nicht in VR verfügbar sind, ist es wahrscheinlich, dass die beliebtesten auch nicht in VR verfügbar sind. Diese Probleme führen auch zu Upstream-Problemen. Es ist bereits schwierig, 400–500 US-Dollar für eine VR-Konsole auszugeben, nachdem man zu einem ähnlichen Preis eine Nicht-VR-Konsole gekauft hat; Noch schwieriger wird es, wenn viele Ihrer besten Freunde und Lieblingstitel fehlen. Und aufgrund der Rechenbeschränkungen von XR-Geräten gibt es Einschränkungen im Zusammenhang mit dem Gameplay und nicht nur Einschränkungen hinsichtlich der Akkulaufzeit, des Komforts, des Gewichts, der Auflösung usw. VR-Battle-Royale-Spiele beispielsweise sind derzeit auf zwei Dutzend Spieler pro Spiel beschränkt, statt auf 50–150, wie es bei Smartphones und Konsolen der Fall ist.

Aufgrund der oben beschriebenen Dynamik verzichten die größten Spieleentwickler weitgehend auf die Entwicklung von VR-Spielen. Die Spielerbasis ist einfach zu klein, während dieselben Gerätebesitzer ihre Spielzeit und ihr Geld normalerweise auf Nicht-VR-Plattformen konzentrieren. Ja, die Installationsbasis, die Nutzung und die Ausgaben wachsen, aber nicht schnell genug, um darauf schließen zu lassen, dass innerhalb von drei bis fünf Jahren die Chance für diese Entwickler groß genug sein wird, Vorrang vor Nicht-VR-Plattformen zu haben. Manchmal portieren Entwickler einen Nicht-VR-Titel auf VR, aber das funktioniert bei den meisten Spielen nicht. Gran Turismo passt gut dazu, da es sich um einen First-Person-Titel mit relativ vorhersehbarem Verhalten handelt und es nur wenige andere Spieler gibt (und noch weniger sind zu jedem Zeitpunkt sichtbar). Daher ist es nicht allzu schwierig, die Steuerung oder das Erlebnis des Spiels anzupassen, und ein VR-Gerät mit geringerer Leistung kann das Gameplay trotzdem berechnen. Resident Evil 7 ist weniger strukturiert als ein Rennspiel, verfügt aber dennoch über eine First-Person-Perspektive und ist im Gegensatz zu Gran Turismo auf den Einzelspielermodus beschränkt und wird offline gespielt. Titel wie Fortnite oder Call of Duty können einfach nicht portiert werden, da sie speziell für Nicht-VR-Plattformen entwickelt wurden. Dieser Fokus umfasst technische Entscheidungen (große Karten, hohe Auflösungen und mehr als 100 Spieler) und manchmal auch die Perspektive (Fortnite ist eine Third-Person-Perspektive, die Seekrankheit verursachen würde) und insbesondere das Gameplay (von der Art und Weise, wie die Innenräume von Gebäuden gestaltet sind, bis hin zur Mechanik des Springens oder Schießen). Es ist schwierig genug, Titel, die sowohl auf dem PC als auch auf der Konsole laufen, gut zusammenspielen zu lassen, ganz zu schweigen davon, dass sie auf Switch und dann auf Mobilgeräten funktionieren.

Einige Online-Multiplayer-Tentpoles unterstützen einen VR-Build, obwohl sie für 2D-Schnittstellen entwickelt wurden, wie zum Beispiel Roblox. Aber allein die Tatsache, dass diese Titel „auch VR“ und nicht „nur VR“ sind, bedeutet, dass sie die einzigartigen Fähigkeiten von VR nur begrenzt ausdrücken oder sogar nutzen können. Sogar beliebte Social-VR-Titel wie Rec Room oder VRChat benötigen keine VR mehr – und es wird angenommen, dass 90 % ihrer regulären Benutzer „2D“-Geräte verwenden, wenn sie auf den Titel zugreifen. Sicherlich sind diese Titel in VR besser, aber ihre Beliebtheit außerhalb von VR spricht für die Anreize der Entwickler sowie für die begrenzten Anreize der Benutzer, in ein VR-Gerät zu investieren. All dies erklärt, warum Meta sich so auf den Kauf von VR-Entwicklern konzentriert. Bis ihr Ökosystem eine kritische Masse an großen und jungen Studios anziehen kann, müssen sie es selbst vorbereiten. Viele dieser Entwickler sind profitabel und haben die Möglichkeit, unabhängig zu bleiben, aber als Tochterunternehmen können sie aggressiver investieren, da ihr Geschäftsszenario sowohl aus direkten Einnahmen (Spieleverkäufe) als auch aus indirektem Wert (Förderung der Gesamtakzeptanz der Plattform) resultiert.

Ein damit verbundenes Problem für Entwickler ergibt sich aus der Anzahl der verschiedenen VR-SKUs auf dem heutigen Markt sowie deren schnellen Verbesserungen. Letzteres hilft der Branche beim Fortschritt in Richtung MVP, bedeutet aber auch, dass es keine einzelne „VR-Installationsbasis“ gibt, sondern viele verschiedene. Der Meta Quest Pro ist ein großartiges Beispiel. Es ist weitaus leistungsfähiger als das Meta Quest 2, hat aber wahrscheinlich nicht einmal 5 % seiner Benutzer. Die meisten Entwickler werden daher Titel produzieren, die auf beiden Plattformen laufen, was die Einzigartigkeit der VR-spezifischen Fähigkeiten einschränkt und gleichzeitig die Vorteile des Kaufs des Meta Quest Pro verringert. Das Meta Quest 3, das voraussichtlich im Jahr 2023 erscheinen wird, wird ebenfalls durch den Erfolg des Meta Quest 2 eingeschränkt sein, und da es sich wahrscheinlich besser verkauft als das Meta Quest Pro (das dreimal so teuer ist), ist dies der Fall wird reine Pro-Entwickler weiter entmutigen. Aus diesem Grund laufen Videospielkonsolen-Generationen sechs bis acht Jahre – im Vergleich zu Smartphones, die jedes Jahr aktualisiert werden – mit Aktualisierungen in der Mitte des Zyklus, die normalerweise marginal sind und hauptsächlich auf Preis und Größe ausgerichtet sind (z. B. die PlayStation 4 Pro). Konkurrierende Konsolen sind es auch leid, zu sehr von den Fähigkeiten der anderen Konsolen abzuweichen, da sie sich der Tatsache bewusst sind, dass die meisten Entwickler für alle wichtigen Konsolen und PCs entwickeln und sich daher wahrscheinlich nicht zu sehr auf exklusive Funktionalitäten oder Leistungsfähigkeiten verlassen.

Die Herausforderungen einzigartiger Software, ausreichender Hardware und mehrerer SKUs vereinen sich ein wenig auf der PlayStation VR2, die im Februar dieses Jahres auf den Markt kommt. Da das Gerät eine physische Anbindung an die leistungsstarke PlayStation 5 erfordert, bietet PS VR2 viele leistungsbezogene Vorteile gegenüber der Meta Quest-Reihe und anderen, wie der HTC Vive-Reihe. Im Vergleich zum High-End Pro ist es 100 Gramm leichter, verfügt über eine um 10 % höhere Auflösung und eine um 33 % höhere Bildrate (120 Hz statt 90 Hz) und seine Spiele sind technisch und optisch anspruchsvoller. Der Preis des Geräts liegt zwischen 400 und 500 US-Dollar für Meta Quest 2 und 1.500 US-Dollar für Meta Quest Pro. Für diejenigen, die eine PlayStation 5 besitzen, kostet die PS VR2 weitere 600 US-Dollar, während diejenigen, die keine PlayStation 5 haben, insgesamt etwa 1.100 US-Dollar ausgeben müssen. Es gibt einige Nachteile. Obwohl die Akkulaufzeit der PS VR2 unbegrenzt ist, ist sie aufgrund der Kabelverbindung auch nicht tragbar, ihr Farbraum ist schätzungsweise 40–50 % geringer als der des Quest Pro und ihr Mixed-Reality-Modus ist auf Graustufen beschränkt. Und natürlich bleibt das Gerät auf dem Display hinter der angestrebten „Mindestspezifikation“ zurück – und zwar um ein Vielfaches, wenn es um Pixel pro Sekunde geht. Was PS VR2 jedoch von anderen unterscheidet, ist der Inhalt. Sony PlayStation ist wohl der erfolgreichste Entwickler von AAA-Spielen dieses Jahrtausends und produziert mehr Hits, insbesondere Originalhits, als jeder andere Verlag. Dementsprechend dürfte die PS VR2 viele erstklassige Titel enthalten. Der Plural – Titel – ist hier entscheidend. Das weithin gefeierte reine VR-Spiel Half-Life: Alyx der Valve Corporation, das 2020 veröffentlicht wurde, scheint viele Spieler nicht bewegt zu haben.

In den kommenden Jahren könnte PS VR2 ein wichtiger Motor für Sony werden. Die Plattform soll das PlayStation-Ökosystem stärken, indem sie das bietet, was weder Nintendo noch Xbox bieten können, während sie gleichzeitig ihre Franchises ausbaut, neue Gewinnströme generiert und die Spielerbindung fördert (diese 600 US-Dollar könnten beispielsweise an eine Xbox oder Quest gehen). Es schützt auch vor einer Verdrängung, falls das Gaming hinterherhinkt und schnell auf XR-Geräte umsteigt. Mittlerweile ist Sony ein führender Anbieter von Bildschirmen und Optiken (angeblich liefert das Unternehmen diese Komponenten für die meisten seiner Mobilgeräte und das kommende XR-Gerät an Apple), daher kann PS VR2 die interne Größenordnung sowie Forschung und Entwicklung nutzen und gleichzeitig weitere Fortschritte erzielen beide. Aber das VR2-Gerät wird per Definition eine Untergruppe von PlayStation 5-Benutzern sein. Heute wurden 30 Millionen Geräte verkauft, bis Anfang 2025 werden es vielleicht 60 Millionen sein. Wenn jeder vierte PS5-Besitzer eine VR2 kauft, wird die Installationsbasis bis 2025 wahrscheinlich 15 Millionen betragen, was immer noch zu klein ist, als dass große AAA-Entwickler reine VR produzieren könnten Titel. Und diejenigen, die dies tun, werden wahrscheinlich keine reinen PS VR2-Titel entwickeln, im Gegensatz zu denen, die auch auf weitaus leistungsschwächeren Geräten laufen, wie zum Beispiel Quest 2 und Quest 3.

Jetzt sind Spiele ein bisschen eine Ablenkung. Insgesamt handelt es sich um einen kleinen Markt mit weniger als 200 Milliarden US-Dollar Umsatz pro Jahr und weniger als 350 Millionen sogenannten „AAA-Player“-Spielen. Es ist eine Nische und reicht nicht aus, um XR-Geräte weltweit in die Hände von Hunderten Millionen, geschweige denn Milliarden zu bringen. Allerdings gelten für alle Kategorien dieselben Softwareargumente. Auf Unternehmensseite ist es sogar noch schwieriger. Besonders zurückhaltend sind Unternehmen gegenüber neuen Plattformen, insbesondere solchen mit physischer Hardware. Es ist kostspielig, mühsam und langsam, neue Geräte bereitzustellen, Mitarbeiter zu schulen, neue Prozesse und Softwaremodelle einzuführen und dann die erforderlichen Iterationen voranzutreiben, um konsistente (und bessere) Nettoergebnisse zu liefern. Dementsprechend wartet der Großteil des Marktes, bis die Geschäftsszenarios umfassend und klar sind – und von beidem sind sie heute weit entfernt. Tatsächlich verfügt die meiste Unternehmenssoftware über keinen „VR-Modus“, und es gibt auch fast keine reine VR-Software. Nur wenige Organisationen werden sich die Mühe machen, VR-Headsets einzuführen, da einige Leute in manchen Teams der Meinung sind, dass dies manchmal eine bessere Möglichkeit ist, ein Meeting abzuhalten. Es besteht ein gewisses Potenzial darin, mit einem MR-Gerät jedem einen Computer mit mehreren Monitoren zu ermöglichen. Die Bereitstellung weiterer Monitore für die Mitarbeiter ist einfach, vergleichsweise kostengünstig und erfordert keine Schulung. Die aktuelle Auflösung von XR-Geräten bedeutet auch, dass man beim Ersetzen eines realen Monitors durch einen simulierten Monitor auf einen unscharfen Ersatz mit riesig aussehenden Pixeln starren muss. Dies ist der Unterschied zwischen der Betrachtung eines 2K-Displays aus einer Entfernung von zwei Fuß und einer 4K-Anzeige aus einer Entfernung von zwei Zoll.

Ein Großteil dieses Aufsatzes konzentriert sich auf VR und nicht auf AR-Brillen – die XR-Gerätekategorie, die die meisten als die große Chance betrachten – und die in der Lage ist, eines Tages Smartphones als weltweit dominierende Computerplattform mit Milliarden von täglichen Benutzern zu ersetzen. Der Fokus auf VR spiegelt die Tatsache wider, dass viele VR- (oder genauer gesagt MR-)Investitionen den Grundstein für AR legen. Akkus und Optik sind hier tolle Beispiele. Das bedeutet aber erwartungsgemäß auch, dass AR noch weiter vom „MVP“ entfernt ist als VR/MR – und damit auch weiter hinter dem Zeitplan zurückliegt. Betrachten Sie die unternehmensorientierten HoloLens-Geräte von Microsoft. Im Vergleich zum ersten Modell aus dem Jahr 2016 hatte die HoloLens 2 aus dem Jahr 2019 eine dreimal so hohe Auflösung und verbesserte die Sicht des Benutzers um 60 % mehr, mit viermal so vielen Prozessorkernen, alle bei gleichem Gewicht und gleicher Größe. Der Preis stieg jedoch von ohnehin schon knappen 3.000 US-Dollar auf 3.500 US-Dollar, und das Gerät hatte weiterhin die Größe eines Helms. Darüber hinaus wurde die Sehkraft des Nutzers um knapp 20 % verbessert – und das bei einer 2K-Auflösung und 60 Hz. Und bei der Umweltanalyse konnte die HoloLens wenig erkennen und noch weniger analysieren. Auf Verbraucherseite sind die Brillen von Snap aufschlussreich. Die ursprüngliche Spectacles, die 2016 auf den Markt kam, wog 45 Gramm, vergrößerte das Sichtfeld eines Benutzers um weniger als 10 %, nutzte ein 0,5K-Display bei 60 Hz, hatte kein GPS und konnte kein 3D-Rendering erzeugen. Das Modell 2021, Spectacles 4, fügte GPS und 3D-Rendering hinzu, aber während sich die Auflösung auf 1K verdoppelte, halbierte sich die Bildrate, die Abdeckung blieb bei 10 % und das Gewicht des Geräts verdreifachte sich fast auf 135 Gramm (typische Brillen wiegen weniger als 50 Gramm). – ebenso wie der Preis, auf 350 $. Und der Akku hielt eine Nutzung von weniger als 30 Minuten durch. Die Vorteile all dessen waren bescheiden – einfache, kontextualisierte AR-Overlays (z. B. Schmetterlinge auf einem Feld), ein In-Ear-Lautsprecher, der weitaus schlechter ist als jeder AirPod, und Eyeline-basierte Kameras, für die man das Telefon nicht herausnehmen musste.

Viele Menschen, die ich kenne, glauben, dass wir ohne außergewöhnliche Fortschritte in der Batterietechnologie, der drahtlosen Stromversorgung, der Optik und der Computerverarbeitung einfach nicht die XR-Geräte erreichen können, die sich viele von uns vorstellen und die möglicherweise das Smartphone ersetzen oder (um eine kleinere Frage zu stellen) nur einige wenige nutzen würden Hundert Millionen Menschen täglich. Erst letzten Dezember, sechs Jahre nachdem er Venture Beat erzählt hatte, dass solche Geräte noch fünf bis sieben Jahre entfernt seien, sagte Tim Sweeney zu Alex Heath: „Nun, ich denke, dass Augmented Reality die Plattform der Zukunft ist. Aber die Bemühungen von.“ Magic Leap und andere haben gesagt, dass wir nicht nur neue Technologie, sondern in gewissem Maße auch neue Wissenschaft brauchen, um eine Augmented-Reality-Plattform zu schaffen, die ein Ersatz für Smartphones ist. Und mir ist nicht klar, ob das in 10 oder in 30 Jahren kommt. Ich hoffe, wir werden es noch zu meinen Lebzeiten sehen, aber da bin ich mir eigentlich nicht sicher.

Aufbau der nächsten Dinge und M-Wörter

Ich begann diesen Aufsatz mit der Feststellung, dass das Tempo der XR-Entwicklung nicht nur enttäuschend war, sondern dass XR-Geräte immer noch so aussahen, als wären sie noch Jahre entfernt. Hoffentlich verstehen Sie jetzt besser, warum. Weniger klar ist, was den weit verbreiteten und fehlgeleiteten Optimismus verursacht hat. Die Antworten sind wahrscheinlich eine Mischung: Die Geschwindigkeit, mit der Smartphones von Millionen von Milliarden Nutzern, 2G zu 4G und ein E-Mail-Gerät zu einem Gerät wurden, auf das sich die moderne Wirtschaft verlässt; der weitverbreitete Wunsch anderer Unternehmen als Apple und Google, eine eigene iPhone- oder Android-ähnliche Plattform zu haben (oder unter diesen Plattformen auszusteigen); und Big-Tech-Exzeptionalismus. Wichtig war auch die Entstehung der Kategorie. Im Jahr 2010 schätzten nur wenige, dass wir so hohe Auflösungen und Bildwiederholraten benötigen würden, um Übelkeit zu vermeiden – aber es bedarf Prototypen und Tests, um dies herauszufinden.

Da 13 Jahre XR-Investitionen hinter uns liegen und eine ungewisse Zeitspanne vor uns liegt, sollten wir wahrscheinlich einen Blick auf die Geschichte der Geräte werfen, die XR eines Tages ersetzen könnte: Smartphones. Der erste Mobiltelefonanruf erfolgte 1973, das erste drahtlose digitale Netzwerk 1991, das erste Smartphone 1992 (übrigens von IBM), das Apple-Newton-Tablet kam 1994 auf den Markt (es fehlten Chipsätze für Mobilfunknetze) und mit unternehmensorientierten BlackBerrys ausgestattet Ende der 1990er Jahre kam es zu einem Aufschwung, 1999 folgte WAP (was den Zugriff auf eine primitive Version des World Wide Web von den meisten Telefonen aus ermöglichte) und Anfang der 2000er Jahre entstanden in Japan die ersten D2C-Mediendienste. Das iPhone kam erst 2007 auf den Markt, Android und der Apple App Store kamen 2008 auf den Markt. Es ist klar, dass 2007–2008 einen Phasenwechsel von PC/lokalem Computing hin zu Mobilgeräten/Cloud darstellte, mehr als 30 Jahre nach dem „Beginn“ von Mobilgeräten. Dennoch dauerte es bis 2014, bis die Hälfte der Amerikaner ein Smartphone besaß, und bis 2020, bis die Hälfte der Welt eines besaß.

Im Nachhinein scheint es besonders falsch zu sein, darauf zu wetten, dass XR schon Jahre, bevor der Durchschnittsbürger ein Smartphone besaß, zum Mainstream werden würde. Es gibt Beispiele dafür, dass Generationen von Technologien übersprungen wurden – Kreditkartennetzwerke und PCs in China und auf dem gesamten afrikanischen Kontinent –, aber Anfang der 2010er Jahre und auch heute noch kämpfen Smartphones mit den Kompromissen zwischen Gerätegröße, 1K-Displays, Akkulaufzeit, Nits, Kosten usw. Mainstream-XR-Geräte gelangen möglicherweise schneller aus Forschungslaboren in die Hände von Verbrauchern als Smartphones, da sie auf vielen der zugrunde liegenden Mobiltechnologien aufbauen, aber sie benötigen mehr Zeit zum Kochen, bevor sie nicht nur Gastrophilen serviert werden.

Was bedeutet das alles also, wenn es um eine weitere gehypte Gelegenheit geht, das sogenannte Metaverse, und wann (oder ob) sie eintreten könnte? Oft wird das Thema Metaverse mit der eigentlichen Idee oder Erfahrung von VR/AR/XR verwechselt. Aber es ist wichtig zu erkennen, dass es sich bei den Geräten genau um Geräte handelt. Sie stellen möglicherweise die beste, beliebteste oder bevorzugte Möglichkeit dar, auf das Metaversum zuzugreifen, aber sie sind alle nur Möglichkeiten, darauf zuzugreifen. Eine gute Analogie könnte das Touchscreen-Smartphone und seine Beziehung zum mobilen Internet sein. Diese Geräte haben zweifellos dazu beigetragen, wer das mobile Internet wann, wo, wofür, wie oft und wie gut nutzt. Aber das mobile Internet ist kein Smartphone, und das mobile Internet braucht auch keinen Touchscreen. Um auf das mobile Internet zuzugreifen, benötigen Sie überhaupt keine visuelle Schnittstelle („Hallo Siri“).

Unter Berücksichtigung der Smartphone-Analogie halte ich es für berechtigt zu sagen, dass die Schwierigkeit bei der Herstellung von XR-Hardware die Entstehung und damit das Wachstum des Metaverse verlangsamen wird, da dadurch eingeschränkt wird, wer wann, wo, wofür, wie oft und wie auf das Metaverse zugreift Nun ja, usw. Diejenigen, die noch nie High-End-VR-Geräte verwendet haben, insbesondere in komplexen Anwendungsfällen (z. B. die Organsysteme eines menschlichen Körpers erkunden oder eine Achterbahnfahrt machen), werden wahrscheinlich sogar unterschätzen, wie außergewöhnlich diese Geräte sein können Heute. Dies ist besonders wichtig, wenn es darum geht, ältere Generationen an XR heranzuführen, insbesondere wenn sie sich nicht jahrzehntelang mit dual-analogen Controllern vertraut gemacht haben, die die Steuerung der X- und Y-Achse in unabhängige Eingänge aufteilen. Aber die Generation, die mit Legend of Zelda oder dem geselligen Beisammensein auf Roblox aufgewachsen ist, scheint nicht durch den Mangel an kopfbasierten Bewegungen eingeschränkt zu sein, und diese Kohorte wächst jedes Jahr.

AR unterscheidet sich weitaus mehr von den heutigen virtuellen Erlebnissen, da es darum geht, Objekte über der Realität darzustellen, sie gleichzeitig zu scannen und im Idealfall mit ihnen zu interagieren. Dennoch wird diese Funktionalität von Smartphones schnell angenommen. Ja, sie sind weniger intuitiv und nahtlos, als Brillen es sich erhoffen, sie werden bereits von Milliarden Menschen auf der ganzen Welt verwendet und sie werden jedes Jahr besser. Heutige Smartphones werden zunehmend dazu verwendet, die reale Welt um uns herum zu scannen und zu verstehen, AR-Renderings darüber zu schichten und sogar Teile davon sofort in 3D-Objekte umzuwandeln.

Apple iPhone-Objekterfassung

Die Realisierbarkeit von Smartphones für „The Metaverse“ ist ebenso unerwartet und folgenreich wie die Herausforderungen von XR. Betrachten Sie das folgende Zitat aus dem Jahr 2022, das von Neal Stephenson stammt, der den Begriff „Metaverse“ geprägt hat:

„Die Annahme, dass das Metaverse in erster Linie eine AR/VR-Sache ist, ist nicht verrückt. In meinem Buch [Snow Crash, veröffentlicht 1992] ist alles VR. Und ich habe für ein AR-Unternehmen [Magic Leap] gearbeitet – eines von mehreren stecken Milliarden von Dollar in den Bau von Headsets. Aber ich habe nicht damit gerechnet, dass Videospiele kommen würden, als ich „Snow Crash“ schrieb … Dank Spielen können sich Milliarden von Menschen jetzt bequem in 3D-Umgebungen auf flachen 2D-Bildschirmen bewegen. Die Benutzeroberflächen, die sie beherrschen [ Tastatur und Maus für Navigation und Kamera] sind nicht das, was die meisten Science-Fiction-Autoren vorhergesagt hätten. Aber so funktioniert Pfadabhängigkeit in der Technik. Wir navigieren fließend und interagieren mit extrem reichhaltigen 3D-Umgebungen mithilfe von Tastaturen, die für mechanische Schreibmaschinen entwickelt wurden. Es ist Steampunk gemacht real. Ein Metaverse, das diese Benutzer und die Entwickler, die diese Erfahrungen erstellen, zurücklässt, würde auf dem falschen Fuß davonkommen … Ich erwarte, dass viele Metaverse-Inhalte für Bildschirme erstellt werden (wo der Markt vorhanden ist) und gleichzeitig Optionen offen bleiben das zukünftige Wachstum erschwinglicher Headsets“

Stephensons Perspektive wird durch Roblox, die beliebteste 3D-Plattform der Welt, deutlich. Ende 2022 hatte Roblox durchschnittlich mehr als 61 Millionen tägliche und über 250 Millionen monatliche Nutzer, die es jeden Monat fast 5 Milliarden Stunden nutzen und insgesamt fast 100 Millionen verschiedene Welten geschaffen hatten, die jeweils durch Währungen, Kommunikationssuiten, Avatare und Portale miteinander verbunden waren , und mehr. Nicht nur erfolgt die gesamte Roblox-Nutzung über 2D-Geräte, 90 % der Roblox-Nutzung erfolgt auch über Smartphones und Tablets, bei denen der Benutzer den Bildschirm teilweise verdecken muss, wann immer er etwas tun möchte. Und im Gegensatz zu anderen potenziellen Pandemie-Lieblingen wie Zoom, Peloton oder Shopify wächst Roblox immer noch, während die COVID-19-Pandemie nachlässt. Die Zahl der täglichen Nutzer ist im Jahresvergleich um 18 % gestiegen, die Nutzung pro Nutzer um 3 %. Im Vergleich zum vierten Quartal 2019 ist Roblox um fast 100 % gestiegen.

Roblox ist eines von vielen Beispielen dafür, dass 2D-Schnittstellen für 3D-Erlebnisse ausreichend sind. Obwohl die Plattform über einen VR-Modus verfügt, ist sie nicht grundsätzlich für VR konzipiert und daher sowohl auf den Milliarden anderer Geräte auf dem heutigen Markt verfügbar als auch für diese optimiert. Und bemerkenswerterweise verfügt Roblox über mehr als das 1.250-fache der monatlichen Nutzerbasis von Metas reinem VR-Roblox-Konkurrenten Horizon Worlds. Roblox ist außerdem 20- bis 60-mal so groß wie die VR-zentrierten Spiele RecRoom und VRChat, die im Gegensatz zu Horizon Worlds auch von einem 2D-basierten Zugriff profitieren.

Dennoch kann Roblox auch als Fallstudie für XR-Optimismus und Stephensons Standpunkt zur Bedeutung der Wahrung der XR-Optionalität angesehen werden. Während Roblox bis 2018 weitgehend unbekannt und den meisten bis 2020 unbekannt war, wurde die Plattform bereits 2004 entwickelt und 2006 auf den Markt gebracht. Ein Großteil des späteren Wachstums von Roblox war auf technische Verbesserungen der Hardware zurückzuführen, die ein größeres Erlebnis ermöglichten, würde ich anders behaupten Der primäre Treiber war generationsübergreifend.

In den ersten etwa zwei Jahren nach der Veröffentlichung des iPad im Jahr 2011 war es üblich, Presseberichte und virale YouTube-Videos von Säuglingen und Kleinkindern zu sehen, die eine „analoge“ Zeitschrift oder ein „analoges“ Buch in die Hand nahmen und versuchten, es „durchzuwischen“. Nicht vorhandener Touchscreen. Heute sind diese Einjährigen zwischen zwölf und dreizehn. Die damals Vierjährige ist nun auf dem besten Weg ins Erwachsenenalter. Diese Medienkonsumenten geben mittlerweile ihr eigenes Geld für Inhalte aus – und einige erstellen bereits selbst Inhalte. Und während sie jetzt verstehen, warum Erwachsene ihre vergeblichen Versuche, ein Stück Papier zu vergrößern, so komisch fanden, müssen ältere Generationen beobachten, wie sich die Weltanschauungen und Vorlieben der Jungen von ihren eigenen unterscheiden. Die meisten dieser Verbraucher betrachten die Welt als interaktiv und immersiv und suchen nicht wie die Millennials nach YouTube oder Snapchat, sondern nach Roblox oder Minecraft. Ihre Vorliebe für soziale Interaktivität ist so groß, dass sie sich Plattformen zu eigen machen, die, wie VR heute, rudimentär und technisch unzureichend wirken. Dieser säkulare Trend erklärt das Wachstum von Roblox, obwohl die Pandemie nachgelassen hat. Der adressierbare Markt wächst jedes Jahr um 140 Millionen Kinder im Alter von acht bis neun Jahren – alle sind „iPad Native“ –, was mehr als genug Wachstum ist, um die Benutzer auszugleichen, die die Plattform verlassen oder ihre Nutzung seitdem reduziert haben 2021.

Deshalb sollten wir uns Computerplattformen vielleicht als drei grundlegende Schritte vorstellen. „Schritt eins“ ist, wenn eine neue Technologie ihren MVP erreicht. Schritt zwei ist, wenn eine Generation mit dieser Technologie aufgewachsen ist. Beispielsweise kam das iPad 2011 auf den Markt, aber erst in den letzten Jahren konnten diejenigen, die seit 2011 aufgewachsen sind, ihren Medienkonsum und ihre Ausgaben selbst steuern. Schritt drei besteht darin, dass diejenigen, die mit einer neuen Technologie vertraut sind, Unternehmer werden. Facebook ist eine gute Möglichkeit, die Bedeutung von Schritt drei zu verstehen. Facebook war technisch schon lange vor seiner Gründung im Jahr 2004 möglich. Doch erst Mark Zuckerberg, ein 19-Jähriger, der im Internet der 1990er Jahre aufwuchs, erschuf Facebook und sah dann, wie es von seinen Kollegen, ebenfalls im Internet der 1990er Jahre, übernommen wurde. Evan Spiegel, der Erfinder von Snapchat, war ähnlich, allerdings vom mobilen Internet. Das ist optimistisch für immersive soziale Plattformen, da wir uns für diese Generation dem dritten Schritt nähern. Der Zeitpunkt für VR ist jedoch weniger sicher.

Möglicherweise haben wir mit VR bereits Schritt eins erreicht. Oder es könnte unmittelbar bevorstehen oder vielleicht im nächsten Jahrzehnt fällig sein. Alternativ könnte es sein, dass VR nie zum Mainstream wird (definiert durch Milliarden von Geräten) und stattdessen in erster Linie der Forschung und Entwicklung auf dem Weg zur Mainstream-AR dient. Wie ich bereits erwähnt habe, ist das „Wann“ für Technologie eher ein „Wann wird was, von wem, warum und zu welchem ​​Zweck verwendet“. Aus diesem Grund gibt es keine festen Antworten darauf, wann Unternehmen A Hardware B oder Service C einführen sollte und auch nicht, wann es zu früh oder zu spät ist, X oder Y zu entwickeln. In den 2000er Jahren – einem Jahrzehnt – war es noch nicht zu spät, ein Smartphone auf den Markt zu bringen nachdem BlackBerry, Palm, Nokia und Windows Mobile auf den Markt kamen, aber es hätte sein können, wenn sie die richtigen Wetten auf die Benutzeroberfläche (Touch-fokussiert, nicht tastaturorientiert) und den Preis (500 $, nicht 0-200 $) gemacht hätten; Kernmarkt (Verbraucher, nicht Unternehmen) und so weiter. Anfang der 2010er-Jahre war es zu spät, ein neues Smartphone auf den Markt zu bringen (oder eines neu auf den Markt zu bringen, wie Windows Phone zeigte). Snapchat, Instagram und TikTok haben bewiesen, dass man auch sieben Jahre nach dem Smartphone noch soziale Netzwerke und Mediendienste starten konnte, obwohl keines davon Facebook verdrängte, das Jahre vor dem iPhone oder Android auf den Markt kam. Was ist mit dem Metaversum? Wir werden sehen.

Allerdings noch ein Abschiedsquiz. Als Neal Stephenson 1992 „Snow Crash“ schrieb, spielte er in der Zukunft – zu einer Zeit, in der mehr als hundert Millionen Menschen regelmäßig AR/VR-Brillen nutzten. Wann, glauben Sie, war das? Mitte der 2010er Jahre. :) :)

Matthew Ball (@ballmatthew)

Erhalten Sie jeden Aufsatz am Tag der Veröffentlichung.