Table of Contents

Objektverfolgung kombiniert mit Bewegungsverfolgung

Dieser Artikel beschreibt, wie die 3D-Objektverfolgung mit der Gerätebewegungsverfolgung kombiniert wird, um die Tracking-Stabilität und Benutzererfahrung in komplexen Szenarien zu verbessern. Er behandelt Kernprinzipien, erwartete Effekte und Analysen potenzieller Probleme.

Grundprinzipien

Motion Fusion kombiniert Posedaten der 3D-Objektverfolgung mit Posedaten der Gerätebewegungsverfolgung, um eine robustere Pose-Schätzung zu erreichen. Hier ist der Kernprozess:

Datensynchronisation und-komplementarität

  • Visuelles Tracking: Berechnet die Pose (Position + Rotation) des aktuellen Frames durch Bildmerkmalpunktabgleich, ist jedoch anfällig für Verdeckungen, Unschärfe oder schnelle Bewegungen.
  • Bewegungsverfolgung: Nutzt IMU-Sensoren für hochfrequente Ausgaben sowie visuelle Bilddaten zur Erfassung von Gerätebewegungen, leidet jedoch unter kumulativen Driftfehlern.
  • Fusionsmechanismus:
    • Visuelle Tracking-Posen und Bewegungsverfolgungs-Posen werden koordinatensystem-synchronisiert.
    • Bei klarer Sicht auf das Zielobjekt und stabiler Bewegung: Visuelles Tracking dominiert. Visuelle Posen korrigieren kontinuierlich das Fusionsmodul, um Systemdrift zu reduzieren.
    • Bei Objektverlust, geringer Bildgröße oder schneller Bewegung: Visuelles Tracking versagt, Bewegungsverfolgung dominiert. Die Fusionspose wird basierend auf aktuellen Bewegungsdaten prognostiziert.

Schlüsseltechnologien

  • Zeitstempel-Synchronisation: Visuelle Frames und Bewegungsdaten werden zeitlich abgeglichen, um Ruckeln durch Latenz zu vermeiden.
  • Koordinatensystem-Ausrichtung: Visuelle und Bewegungs-Tracking-Pfade werden koordinatensystem-synchronisiert.
  • Relokalisierung: Bei Wiedererscheinen des Objekts korrigiert visuelles Tracking kumulative Fehler schnell und "zieht" virtuelle Objekte an die korrekte Position zurück.

Anwendungsfälle und einschränkungen

Motion Fusion ist nicht für alle Szenarien geeignet. Die Funktion ist nicht anwendbar, wenn:

In anderen Szenarien verbessert Motion Fusion die Benutzererfahrung erheblich, insbesondere bei:

  • Schnellen Bewegungen: Visuelles Tracking versagt durch Bewegungsunschärfe bei raschen Gerätebewegungen.
  • Objektverlust: Virtuelle Inhalte bleiben sichtbar bei Verlassen des Ziels oder dynamischen Verdeckungen (z.B. Personen).
  • Distanzvergrößerung: Stabiler Tracking bei geringer Objektgröße im Bild.
  • Schwache Lichtverhältnisse: Aufrechterhaltung der Erfahrung bei nachlassender visueller Tracking-Leistung.

Effekte und erwartete ergebnisse

Bei kompatiblen Szenarien bietet Motion Fusion stabilere und flüssigere Erfahrungen als reine 3D-Objektverfolgung.

Idealeffekte

  • Stabileres Tracking: Kein Zittern oder Springen virtueller Objekte.
  • Fließende Übergänge: Bei visuellem Tracking-Ausfall ändert sich die Fusionspose kontinuierlich und natürlich.
  • Störungsresistenz: Virtuelle Objekte folgen der Gerätebewegung auch bei Objektverlust, Verdeckung oder schneller Bewegung.

Unerwünschte effekte und lösungen

Phänomen Ursache Benutzerwahrnehmung Lösung
Initiale Inaktivität Bewegungsverfolgung benötigt Initialisierungszeit Inhalte verschwinden anfangs UI-Hinweis bis zur Initialisierung
Deutliche Drift Kumulative Systemfehler ohne visuelle Korrektur Virtuelles Objekt weicht ab Verdeckungsdauer verkürzen oder Relokalisierungshinweise einblenden
Leistungsabfall Längerer Parallelbetrieb beider Funktionen Framerate sinkt, ruckelnde Bilder Normal; Motion Fusion per API deaktivierbar

Verifikationsmethode für erwartete ergebnisse

Test mit kompatiblem Gerät im realen Szenario:

  1. Zielobjekt ausrichten: Virtuelles Objekt stabil?
  2. Objekt 2 Sekunden verdecken + Gerät bewegen: Fließende Bewegung?
  3. Hand entfernen: Kein Sprung bei Rückkehr an korrekte Position?

Zusammenfassung und best practices

Motion Fusion steigert die Robustheit der 3D-Objektverfolgung signifikant, benötigt jedoch Hardwareunterstützung und ausreichende Leistung. Entwickler sollten die Funktion geräteabhängig aktivieren und auf leistungsschwachen Geräten Fallback-Lösungen anbieten.

APIs zum Echtzeit-Aktivieren/Deaktivieren von Motion Fusion: