Table of Contents

Unterstützung für EasyAR-Headsets und -Brillen

Das EasyAR SDK bietet leistungsstarke plattformübergreifende AR-Funktionen, und sein Designkonzept eignet sich auch für neue Spatial-Computing-Geräte wie Headsets. Dieser Artikel erklärt, wie EasyAR Headset-Geräte unterstützt und wie Entwickler diese Funktionen nutzen können, um immersive experiences aufzubauen.

Begriffserklärung

In diesem Dokument bezeichnet "headset" oder "Headset" ausdrücklich einen Gerätetyp, der auf dem Kopf getragen wird und immersive oder see-through interaction unterstützt. Diese Geräte können virtuelle Inhalte vor den Augen des Nutzers anzeigen und so augmented reality (AR) oder mixed reality (MR) experiences ermöglichen. Dazu gehören:

  • Optical See-Through, OST Headset: ermöglicht es dem Nutzer, die reale Welt direkt durch halbtransparente Linsen zu sehen.
  • Video See-Through, VST Headset: erfasst die reale Welt per camera und zeigt sie als video stream an. Üblicherweise werden Headsets auch AR glasses, MR glasses oder VR helmets genannt. Die genauen Bezeichnungen können je nach Hersteller und Gerätetyp variieren, aber in diesem Artikel verwenden wir einheitlich "headset" für diesen Gerätetyp.

Grundprinzip der Funktionsweise von Headsets

Um das Prinzip der EasyAR-Headset-Unterstützung besser zu verstehen, müssen wir zunächst den grundlegenden Arbeitsablauf von Headset-Geräten verstehen:

  1. Environmental sensing: Mit eingebauten Kameras, depth sensor (etwa iToF) und inertial measurement unit (IMU) erkennt das Gerät in Echtzeit die geometrische Struktur, Lichtverhältnisse und Oberflächen der Umgebung.
  2. Spatial computing: Auf Basis der Sensordaten verfolgt das SLAM system in Echtzeit die 6DoF pose des Nutzers (position + orientation).
  3. Content rendering and display: 3D content (etwa Modelle und Effekte) wird entsprechend der Gerätepose gerendert und auf den Bildschirm projiziert. Im VR mode werden nur reine virtuelle Bilder angezeigt; im AR/MR mode werden virtuelle Bilder mit der realen Umgebung kombiniert (VST camera image oder OST see-through background).
  4. Interaction system: Es empfängt Nutzerbefehle und reagiert über controller, gesture recognition, voice oder eye tracking.

Prinzip der EasyAR-Headset-Unterstützung

EasyAR ersetzt nicht das native spatial tracking oder rendering pipeline des Headsets, sondern arbeitet als "spatial computing enhancer" mit ihnen zusammen. Als professioneller AR algorithm engine bietet es spatial perception und computing capabilities für verschiedene AR-Szenarien und arbeitet effizient mit dem originalen System des Geräts zusammen.

Scope of Responsibility Role Division
6DOF head tracking, display rendering, basic interaction usw. Native SDK/runtime des Headsets
Erweiterte Wahrnehmungsfunktionen wie image/object recognition und tracking sowie large-scale spatial positioning EasyAR SDK

Das EasyAR SDK stellt zentrale AR-Funktionen zur Erfassung der Welt bereit, etwa image/object recognition, sparse reconstruction, dense reconstruction und large-scale spatial positioning. Es ist dafür zuständig, die Welt zu "verstehen" und der Headset-Anwendung zu sagen, wo die virtuellen Inhalte platziert werden sollen.

Das EasyAR SDK wird als plugin oder library in das Anwendungsentwicklungsframework des Headsets integriert (normalerweise Unity oder Unreal). Es empfängt den originalen data stream des Gerätesystems, verarbeitet und berechnet ihn und gibt dann eine pose matrix relativ zum spatial coordinate system des Geräts aus. Schließlich zeichnet das rendering pipeline des Headset-Engines die virtuellen Objekte an der richtigen Position.

Unterstützungsstatus und Implementierungsmethoden

EasyAR bietet umfassende Unterstützung für die gängigen Headset-Entwicklungsplattformen, hauptsächlich auf zwei Arten:

  • Über Unity/Unreal Engine: Dies ist der gebräuchlichste und empfohlene Weg. Headset-Hersteller bieten in der Regel spezielle Unity/Unreal plugins oder XR SDKs an. EasyAR kann nahtlos in die SDKs der Hersteller integriert werden.
  • Über Native platform: Für Szenarien mit extremen Performance-Anforderungen oder spezifischer nativer Entwicklung können Sie EasyAR native interfaces in C++, Java oder Objective-C verwenden. Dies erfordert in der Regel, dass Entwickler die interface docking mit den zugrunde liegenden Gerätedaten selbst übernehmen.

EasyAR wurde bereits auf mehreren gängigen Headset-Plattformen über Unity getestet und verifiziert. Die derzeit bestätigten unterstützten Geräte sind:

Headset-Gerätemodell Vendor SDK and version requirement System and firmware version requirement
Apple Vision Pro ARKit in visionOS visionOS 2 oder neuer
PICO 4 Ultra1 PICO Unity Integration SDK 3.4.0 oder neuer Vom Hersteller-SDK als unterstützt angegebene Versionen2
PICO Space Pro1 PICO Unity Integration SDK 3.4.0 oder neuer Vom Hersteller-SDK als unterstützt angegebene Versionen2
Meta Quest 3/3S3 Meta MRUK (Mixed Reality Utility Kit) 201 oder neuer Vom Hersteller-SDK als unterstützt angegebene Versionen2
Rokid Max Pro
(Rokid AR Studio or other officially supported Rokid usage methods)		 Rokid Unity OpenXR Plugin 3.0.3 oder neuer Vom Hersteller-SDK als unterstützt angegebene Versionen2
XREAL Air2 Ultra XREAL SDK 3.1 oder neuer Vom Hersteller-SDK als unterstützt angegebene Versionen2
Xrany X1 Xrany Yuanni SDK Vom Hersteller-SDK als unterstützt angegebene Versionen2
Anmerkung

Rokid Max Pro kann Rokid UXR 3 über das Rokid Unity OpenXR Plugin unterstützen, aber es wird empfohlen, das XR Interaction Toolkit zu verwenden, besonders bei cross-device usage.

Wichtig

Sowohl Apple Vision Pro als auch XREAL benötigen die jeweilige enterprise authorization zur Nutzung. Bei Fragen wenden Sie sich bitte an den Vertrieb.

  • Aufgrund der interface authorization-Beschränkungen von Apple Vision Pro werden nur Geräte mit Apple enterprise API license unterstützt.
  • Aufgrund der interface authorization-Beschränkungen von XREAL werden nur Geräte mit enterprise authorization unterstützt.

Für Headset-Geräte anderer Hersteller, die oben nicht erwähnt wurden, bietet EasyAR eine erweiterte Anbindungsmethode wie custom cameras. Sie können Create an EasyAR Headset Extension Package als Referenz für die Anbindung nutzen und das docking selbst abschließen.

Dies umfasst normalerweise die folgenden Schritte:

  1. Geräteentwicklungsrechte beschaffen: Beantragen Sie ein developer account und die SDK documentation für das Ziel-Headset.
  2. Sensordatenströme beschaffen: Holen Sie die notwendigen Daten wie camera images (video frames) und camera parameters aus dem SDK des Geräts.
  3. EasyAR API aufrufen: Verwenden Sie die low-level API von EasyAR, um die erhaltenen Sensor data an FrameSource von EasyAR zur Verarbeitung zu senden.
  4. Berechnungsergebnisse abrufen und anwenden: Holen Sie die Berechnungsergebnisse (camera pose) aus der EasyAR engine und wenden Sie sie in Ihrer 3D rendering engine an.

Wir stellen detaillierte Entwicklungsleitfäden und sample code bereit, damit Sie diesen Prozess abschließen können. Wenn Sie während der Anbindung auf Probleme stoßen, können Sie in unserer developer community technischen Support suchen.

Verfügbare Kernfunktionen

Auf Headset-Geräten können Sie die volle Funktionsmatrix von EasyAR nutzen, um reichhaltige spatial applications zu erstellen:

  • Planar Image Tracking: erkannte und verfolgte Bilder, auf die dynamische Videos oder 3D-Modelle gelegt werden.
  • 3D Object Tracking: erkannte und verfolgte vorgegebene 3D-Modelle (etwa Spielzeug oder Produktverpackungen) und lässt virtual content mit ihnen interagieren.
  • Sparse Spatial Map: scannt die Umgebung, um eine 3D visual map zu erzeugen, und bietet visuelle Positionierungs- und Tracking-Funktionen. Die erzeugte Karte kann gespeichert oder in Echtzeit zwischen mehreren Geräten geteilt werden.
  • Dense Spatial Map: scannt und erzeugt eine dichte point cloud map und mesh model (Mesh) der Umgebung, um die physische occlusion zwischen virtuellen und realen Objekten zu realisieren und das Immersion-Gefühl stark zu erhöhen.
  • Cloud Image Recognition: verbindet sich mit der EasyAR cloud database, um eine große Anzahl von Bildern zu erkennen und zu verwalten, geeignet für Szenarien wie Ausstellungen und Bildung.
  • Mega Large-Scale Spatial Positioning: eine city-level spatial computing solution, die sich mit dem EasyAR cloud positioning service verbindet, um stabiles, schnelles und genaues positioning und tracking zu erreichen und den Umfang von AR experiences stark zu erweitern.

Plattformbezogene Leitfäden

Um Ihnen einen schnellen Einstieg auf bestimmten Plattformen zu erleichtern, haben wir detaillierte Multi-Plattform-Integrationsleitfäden vorbereitet. Klicken Sie auf die Tabs unten, um die quick-start tutorials für die jeweiligen Plattformen zu sehen.

  1. Es muss EasyAR Sense Unity Plugin PICO Extension 4000.1 oder neuer + EasyAR Sense Unity Plugin 4003.1 oder neuer verwendet werden. Frühere Versionen unterstützen nur PICO 4 Ultra Enterprise devices und erfordern enterprise interface authorization des PICO-Herstellers.↩↩

  2. System- und Firmware-Kompatibilität wird vom Hersteller gepflegt. EasyAR bietet nur Kompatibilitätsunterstützung für das Hersteller-SDK.↩↩↩↩↩↩

  3. EasyAR Sense Unity Plugin 4003.1.1 oder neuer ist erforderlich.↩