Table of Contents

Unterstützung für Headsets und Brillen von EasyAR

EasyAR SDK bietet leistungsstarke plattformübergreifende AR-Funktionen, deren Designphilosophie auch für aufstrebende Spatial-Computing-Geräte – Headsets – gilt. Dieser Artikel erläutert, wie EasyAR Headset-Geräte unterstützt und wie Entwickler diese Funktionen nutzen können, um immersive Erlebnisse zu schaffen.

Terminologie

In diesem Dokument bezieht sich „Headset“ speziell auf eine Klasse von Rechengeräten mit Kopfmontageform, die immersive oder durchsichtige Interaktion unterstützen. Sie können virtuelle Inhalte vor den Augen des Benutzers darstellen und so Augmented Reality (AR) oder Mixed Reality (MR) ermöglichen. Dazu gehören:

  • Optische Durchsicht-Headsets (Optical See-Through, OST): Betrachtung der realen Welt direkt durch halbtransparente Linsen
  • Video-Durchsicht-Headsets (Video See-Through, VST): Erfassung der realen Welt durch Kameras und Betrachtung als Videostream

Umgangssprachlich werden Headsets oft als AR-Brillen, MR-Brillen oder VR-Headsets bezeichnet. Die genaue Bezeichnung variiert je nach Hersteller und Gerätetyp, aber in diesem Text verwenden wir einheitlich „Headset“ für diese Geräteklasse.

Grundlegende Funktionsweise von Headsets

Um das Unterstützungskonzept von EasyAR für Headsets besser zu verstehen, müssen wir zunächst den grundlegenden Arbeitsablauf von Headset-Geräten verstehen:

  1. Umgebungswahrnehmung: Echtzeiterfassung der geometrischen Struktur, Lichtverhältnisse und Objektoberflächen der Umgebung mittels integrierter Multikameras, Tiefensensoren (z.B. iToF) und Inertialmesseinheiten (IMU).
  2. Spatial Computing: Echtzeit-Tracking der 6DoF-Position (Position + Ausrichtung) des Benutzerkopfs durch ein SLAM-System basierend auf Sensordaten.
  3. Inhaltsdarstellung und -anzeige: Rendern von 3D-Inhalten (z.B. Modelle, Effekte) entsprechend der Geräteposition und Projektion des Ergebnisses auf das Display. Im VR-Modus wird ein rein virtuelles Bild angezeigt; im AR/MR-Modus wird das virtuelle Bild mit der realen Umgebung (VST-Kamerabild oder OST-Durchsichthintergrund) kombiniert.
  4. Interaktionssystem: Empfang von Benutzerbefehlen und Reaktion darauf über Controller, Gestenerkennung, Sprache oder Eye-Tracking.

Funktionsprinzip der EasyAR-Headset-Unterstützung

EasyAR ersetzt nicht die native Raumverfolgung oder Render-Pipeline des Headsets, sondern arbeitet als Spatial-Computing-Erweiterung mit ihm zusammen. Als professionelle AR-Algorithmus-Engine bietet es verschiedene räumliche Wahrnehmungs- und Berechnungsfunktionen für AR-Szenarien und interagiert effizient mit dem nativen System des Geräts.

Verantwortungsbereich Rollenverteilung
6DOF-Kopfverfolgung, Anzeigerendering, Basisinteraktion usw. Natives SDK/Laufzeitumgebung des Headsets
Erweiterte Wahrnehmungsfähigkeiten wie Bild-/Objekterkennung und -verfolgung, großräumige Lokalisierung usw. EasyAR SDK

EasyAR SDK bietet Kern-AR-Funktionen zur Welterkennung wie Bild-/Objekterkennung, Sparse Rekonstruktion, Dense Rekonstruktion und großräumige Lokalisierung. Es „versteht“ die Welt und teilt der Headset-Anwendung mit, wo virtuelle Inhalte platziert werden sollen.

EasyAR SDK wird als Plug-in oder Bibliothek in die Anwendungsentwicklungsplattform des Headsets integriert (typischerweise Unity oder Unreal). Es empfängt Rohdatenströme vom Gerätesystem, verarbeitet und berechnet diese und gibt dann eine Positionsmatrix relativ zum Geräteraumkoordinatensystem aus. Schließlich zeichnet die Render-Pipeline der Headset-Engine virtuelle Objekte an der korrekten Position.

Unterstützungsstatus und Implementierungsmethoden

EasyAR bietet umfassende Unterstützung für gängige Headset-Entwicklungsplattformen, hauptsächlich über zwei Methoden:

  • Über Unity/Unreal Engine: Dies ist die gängigste und empfohlene Methode. Headset-Hersteller stellen typischerweise spezielle Unity/Unreal-Plug-ins oder XR-SDKs bereit. EasyAR kann nahtlos in das SDK des Herstellers integriert werden.
  • Über native Plattform (Native): Für Szenarien, die maximale Leistung oder spezifische native Entwicklung erfordern, können die nativen C++/Java/Objective-C-Schnittstellen von EasyAR verwendet werden. Dies erfordert normalerweise, dass Entwickler die Schnittstelle zu den Geräte-Rohdaten selbst handhaben.

EasyAR wurde auf mehreren gängigen Headset-Plattformen über Unity getestet und validiert. Derzeit werden folgende Geräte offiziell unterstützt:

Headset-Gerätemodell System-/SDK-Voraussetzung
Apple Vision Pro visionOS 2 oder neuer
PICO 4 Ultra Enterprise PICO Unity Integration SDK 3.1.0 oder neuer
Rokid AR Studio Rokid Unity OpenXR Plugin 3.0.3 oder neuer
XREAL Air2 Ultra XREAL SDK 3.1 oder neuer
Xrany X1 Xrany Meta-Ni SDK
Anmerkung

Rokid AR Studio kann über das Rokid Unity OpenXR Plugin Rokid UXR 3 unterstützen, aber die Verwendung des XR Interaction Toolkit wird empfohlen, insbesondere für geräteübergreifende Nutzung.

Wichtig

Apple Vision Pro, PICO und XREAL erfordern entsprechende Unternehmenslizenzen. Bei Fragen wenden Sie sich bitte an den Vertrieb.

  • Aufgrund von Schnittstellenbeschränkungen von Apple Vision Pro wird nur die Nutzung auf Geräten mit Apple Enterprise-API-Genehmigung unterstützt.
  • Aufgrund von Schnittstellenbeschränkungen von PICO wird nur die Nutzung auf PICO Enterprise-Geräten unterstützt.
  • Aufgrund von Schnittstellenbeschränkungen von XREAL wird nur die Nutzung auf unternehmenslizenzierten Geräten unterstützt.

Für nicht aufgeführte Headsets anderer Hersteller bietet EasyAR erweiterte Anbindungsmethoden wie benutzerdefinierte Kameras. Einzelheiten finden Sie unter Erstellen eines EasyAR-Headset-Erweiterungspakets. Sie können die Integration selbst durchführen.

Dies umfasst typischerweise folgende Schritte:

  1. Geräteentwicklungsberechtigung erhalten: Entwicklerkonto und SDK-Dokumentation für das Ziel-Headset beantragen.
  2. Sensordatenstrom abrufen: Notwendige Daten wie Kamerabilder (Videoframes), Kameraparameter usw. aus dem Geräte-SDK abrufen.
  3. EasyAR-API aufrufen: Die Low-Level-API von EasyAR verwenden, um die Sensordaten zur Verarbeitung an die EasyAR-FrameSource zu senden.
  4. Berechnungsergebnisse abrufen und anwenden: Berechnungsergebnisse (Kameraposition) von der EasyAR-Engine abrufen und auf Ihre 3D-Rendering-Engine anwenden.

Wir bieten detaillierte Entwickleranleitungen und Beispielcode, um Sie bei diesem Prozess zu unterstützen. Bei Problemen während der Integration können Sie in unserer Entwickler-Community technischen Support anfordern.

Verfügbare Kernfunktionen

Auf Headset-Geräten können Sie die volle Funktionspalette von EasyAR nutzen, um umfangreiche Raum-Anwendungen zu erstellen:

  • Bildebenenverfolgung: Erkennen und Verfolgen vordefinierter Bilder, um dynamische Videos oder 3D-Modelle darauf zu überlagern.
  • 3D-Objektverfolgung: Erkennen und Verfolgen vordefinierter 3D-Modelle (z.B. Spielzeug, Produktverpackungen) und Interaktion virtueller Inhalte damit ermöglichen.
  • Sparse Raumkarte: Scannen der Umgebung zur Erzeugung einer 3D-Visualkarte mit visueller Lokalisierung und Tracking-Funktionalität. Generierte Karten können gespeichert oder in Echtzeit zwischen mehreren Geräten geteilt werden.
  • Dense Raumkarte: Scannen und Erzeugen dichter Punktwolkenkarten und Mesh-Modelle der Umgebung, um physikalische Verdeckungsbeziehungen zwischen virtuellen und realen Objekten zu ermöglichen und die Immersion erheblich zu steigern.
  • Cloud-Bilderkennung: Verbindung zur EasyAR-Cloud-Datenbank zur Erkennung und Verwaltung riesiger Bildmengen, ideal für Ausstellungen, Bildung usw.
  • Mega großräumige Lokalisierung: Stadtweite Spatial-Computing-Lösung, die mit dem EasyAR-Cloud-Lokalisierungsdienst verbunden ist, um stabile, schnelle und präzise Lokalisierung und Verfolgung zu ermöglichen und den Umfang von AR-Erlebnissen erheblich zu erweitern.

Plattformspezifische Anleitungen

Um Ihnen den schnellen Einstieg auf bestimmten Plattformen zu erleichtern, haben wir detaillierte Multiplattform-Integrationsanleitungen vorbereitet. Klicken Sie auf die Registerkarten unten, um die Schnellstartanleitung für die entsprechende Plattform anzuzeigen.