Table of Contents

Headset-Bildschirmaufnahme: immersive AR/MR-Erlebnisse aufzeichnen

Beim Entwickeln, Testen oder beim Support für Nutzer mit AR- oder MR-Headsets ist die Bildschirmaufnahme ein wichtiges Mittel, um Probleme zu reproduzieren und zu analysieren. Im Gegensatz zu Mobile Devices umfasst die Bildschirmaufnahme eines Headsets jedoch spezielle Techniken wie Passthrough und Foveated Rendering, sodass das aufgenommene Bild normalerweise nicht vollständig mit der vollständigen stereoskopischen Ansicht übereinstimmt, die der Nutzer direkt mit beiden Augen sieht. Deshalb sollte man bei der Auswertung der Aufnahme die Unterschiede zum tatsächlichen Seherlebnis besonders beachten.

Warum gibt es visuelle Unterschiede bei der Headset-Bildschirmaufnahme?

Nutzer sollten besonders darauf achten: Das aufgenommene Bild des Headsets ist nicht exakt dasselbe wie das reale Bild, das man hinter den Linsen sieht. Wenn in der Aufnahme eine Anomalie gefunden wird, sollte sie immer zusammen mit dem tatsächlichen Eindruck beschrieben werden, damit Entwickler nicht in die Irre geführt werden.

Die wichtigsten Unterschiede:

  1. Unterschied bei Auflösung und Schärfe
  • Aufnahme: meist ein monokularer Videostream, etwa 1080p oder niedriger.
  • Menschliches Auge: je nach Anwendung kann die monokulare Auflösung moderner Headsets 2K oder mehr erreichen.
  • Auswirkung: Text oder Bilder, die in der Aufnahme unscharf wirken, können im Headset scharf sein; umgekehrt können kleine Kantenartefakte im Headset in der Aufnahme gar nicht sichtbar sein.
  1. Unterschied beim Sichtfeld (FOV)
  • Aufnahme: Das aufgenommene Bild ist meist quadratisch. Bei Geräten mit großem FOV werden Randbereiche oft abgeschnitten.
  • Menschliches Auge: Die Wahrnehmung ist binokular und das Sichtfeld größer.
  • Auswirkung: Wenn das Problem am Rand des Sichtfelds auftritt, zeigt die Aufnahme es möglicherweise nicht präzise.
  1. Einfluss von Foveated Rendering
  • Aufnahme: Es wird das gesamte Sichtfeld aufgenommen, einschließlich der niedrig aufgelösten Randbereiche.
  • Menschliches Auge: Der Mittelpunkt der Blickrichtung ist hochaufgelöst, außerhalb des Zentrums ist die Auflösung geringer.
  • Auswirkung: Sie empfinden das Bild als sehr klar, sehen beim erneuten Ansehen der Aufnahme aber, dass Bereiche unscharf sind. Das ist normalerweise normal und kein Bug. Konzentrieren Sie sich deshalb beim Aufnehmen unbedingt auf den Teil, den Sie zeigen möchten, damit dieser Bereich klar aufgenommen wird.
  1. Einfluss von Bildrate und Bildwiederholrate
  • Aufnahme: Die Frame Rate des aufgenommenen Videos liegt meist bei 30FPS oder 60FPS.
  • Menschliches Auge: Die tatsächliche Bildwiederholrate kann 90Hz oder 120Hz erreichen.
  • Auswirkung: Sehr kleine Bildrateneinbrüche sind in der Aufnahme möglicherweise nicht sichtbar, das menschliche Auge nimmt aber deutliches Stottern oder Motion Sickness wahr. Wenn die Aufnahme flüssig aussieht, die reale Erfahrung aber nicht, ist das meist ein Performance-Problem und sollte nach der Aufnahme unbedingt erwähnt werden.

Besondere Hinweise für OST-Headsets

Besonders wichtig: Wenn Sie ein OST-Headset (Optical See-Through) verwenden, etwa AR-Brillen wie Rokid oder XREAL, kann die Bildschirmaufnahme die reale Szene, die das Auge sieht, nicht erfassen.

Was ist ein OST-Gerät?

OST-Geräte projizieren Licht über halbtransparente optische Linsen direkt in das Auge, während virtuelle Inhalte über Mini-Projektoren oder Waveguides ins Sichtfeld eingeblendet werden. Die Kamera, die die Außenwelt aufnimmt, dient nur der räumlichen Positionierung und nicht der Anzeige. Deshalb kann das Gerät die reale Szene, die das Auge sieht, nicht „aufzeichnen“.

Grenzen der Bildschirmaufnahme bei OST-Geräten

  • Keine reale Szene aufzeichnen: Die OST-Aufnahme erfasst nur die Ebene der virtuellen Inhalte (GUI, 3D-Modelle, UI-Pointer usw.).
  • Schwarzer Hintergrund: Beim Abspielen auf PC oder Handy sieht man nur virtuelle Objekte auf völlig schwarzem Hintergrund, wodurch der Kontext der realen Umgebung verloren geht.
  • Occlusion geht verloren: Wenn virtuelle Objekte von realen Objekten wie Händen oder Tischen verdeckt werden sollten, schweben sie in der Aufnahme auf schwarzem Grund und wirken wie eine falsche Ebenenreihenfolge.

Visuelle Abweichungen bei überlagerten virtuellen Inhalten

Selbst in idealen Umgebungen gibt es bei der Ausrichtung zwischen den virtuellen Inhalten eines OST-Headsets und der realen Welt unvermeidlich gewisse visuelle Abweichungen. Solche Abweichungen werden nicht immer durch Softwarefehler oder Tracking-Ausfälle verursacht, sondern entstehen oft aus grundlegenden Unterschieden zwischen den physikalischen Eigenschaften des Geräts und dem menschlichen Sehsystem. Einige Abweichungen lassen sich mit heutiger Technik nicht vollständig beseitigen.

Beim Einreichen von Feedback sollten Sie folgende Fälle unterscheiden:

  • Optischer Ausrichtungsfehler:
    • Erscheinung: Wenn Sie den Kopf bewegen, scheint das virtuelle Objekt zu „schweben“ oder leicht gegenüber dem realen Objekt versetzt zu sein.
    • Ursache: Der Nutzer sieht die reale Welt direkt durch optische Linsen, während das Rendering-Koordinatensystem virtueller Inhalte meist auf Head Tracking und Umweltverständnis wie SLAM basiert. Aufgrund des physischen Offsets zwischen dem optischen Display-Pfad und der für die räumliche Positionierung verwendeten Kamera/IMU sowie der Schwierigkeit einer gemeinsamen Kalibrierung auf Subpixel-Ebene ist die reale-virtuelle Ausrichtung besonders in Randbereichen des Sichtfelds oder bei nahen Szenen empfindlich.
  • Grenzen der Augenkalibrierung:
    • Erscheinung: Das virtuelle Objekt wirkt doppelt, an den Rändern unscharf oder so, als würde es nicht korrekt im Raum projiziert.
    • Ursache: OST-Geräte hängen stark von präziser IPD- und Augenpositionskalibrierung ab. Wenn das Gerät nicht genau auf Ihre Augen kalibriert ist oder sich die Position des Headsets verschiebt, gelangt das vom optischen System projizierte Licht nicht genau in die Pupille. Selbst wenn kalibriert wurde, basiert der Vorgang auf begrenzten Sampling-Punkten und kann die Augen-Geometrie, Hornhautkrümmung und Sehgewohnheiten jedes Nutzers nur unvollständig treffen. Kleine Kalibrierungsfehler können systematische Abweichungen in Tiefe oder seitlicher Position verursachen.
  • Individuelle Sehunterschiede:
    • Erscheinung: Verschiedene Nutzer können die Position virtueller Inhalte subjektiv unterschiedlich wahrnehmen.
    • Ursache: Unterschiede wie Kurzsichtigkeit, Astigmatismus und dynamische Fokussierungsfähigkeit beeinflussen die subjektive Wahrnehmung von Overlays. OST-Geräte verfügen möglicherweise nicht über Eye Tracking in Echtzeit oder personalisierte optische Korrekturen und können diese Unterschiede daher nicht dynamisch ausgleichen.
  • Einfluss von Umweltfaktoren:
    • Erscheinung: In heller Umgebung werden virtuelle Inhalte blasser, schwer erkennbar oder unsichtbar; in dunkler Umgebung können sie überbelichtet wirken oder Ghosting erzeugen.
    • Ursache: OST-Geräte legen das virtuelle Licht von Mini-Projektoren oder Waveguides direkt über das Umgebungslicht der realen Welt. Ist die reale Umgebung zu hell, wird das schwache virtuelle Licht überdeckt; und umgekehrt. Solche optischen Artefakte sind eine inhärente Eigenschaft von OST-Geräten.
Anmerkung

Solche Abweichungen sind eine inhärente Eigenschaft von OST-AR-Brillen und kein Funktionsfehler. Unterscheiden Sie bei der Fehleranalyse zwischen „behebbaren Software-/Tracking-Problemen“ und „durch Hardware und Physiologie bedingten Grenzen des Erlebnisses“. Wenn das Nutzer-Feedback leichte Versätze, Randverzerrungen oder eine inkonsistente Tiefenwahrnehmung betrifft, prüfen Sie zuerst, ob das Gerät innerhalb der vom Hersteller angegebenen Einsatzbedingungen verwendet wurde, etwa Arbeitsabstand, Lichtbereich und Kalibrierungsstatus.

Wie geht man mit Feedback zu OST-Geräten um?

Wenn bei der Verwendung eines OST-Geräts visuelle Probleme auftreten, können Sie nach dem Ausschluss der oben genannten Gerätegrenzen eine Bildschirmaufnahme als Feedback erstellen. Eine reine Bildschirmaufnahme reicht jedoch meist nicht aus:

  1. Foto beilegen: Machen Sie mit dem Handy ein Foto des tatsächlichen Bildes, das Sie durch die Linse sehen (eine sogenannte „eye-view photo“). Dadurch wird die relative Position virtueller Objekte zur realen Umgebung sichtbar.
  2. Umgebung beschreiben: Beschreiben Sie die Umgebung genau (Lichtverhältnisse, Hintergrundfarbe, ob dynamische Elemente wie Passanten vorhanden sind usw.), denn die Anzeige von OST hängt stark vom Umgebungslicht ab.

Gängige Methoden zur Bildschirmaufnahme auf Headsets

Anmerkung

Während der Bildschirmaufnahme kann das Gerät die Rendering-Frame-Rate oder Auflösung reduzieren, was die Beurteilung von Fluss und Tracking-Stabilität beeinflusst. Es wird empfohlen, direkt nach der Reproduktion des Problems aufzuzeichnen, damit lange Laufzeiten das Ergebnis nicht verfälschen.

Apple Vision Pro

  1. Schauen Sie nach oben zum oberen Bildschirmrand, bis Sie den Punkt im Control Center sehen. Fixieren Sie ihn und klicken Sie.
  2. Schauen Sie auf Control Center > die Schaltfläche „Record My View“ , um die Aufnahme zu starten.
  3. Um die Aufnahme zu beenden, öffnen Sie das Control Center und tippen Sie erneut auf „Record My View“.
  4. Ihre View-Aufnahme wird in der App „Photos“ gespeichert.

PICO 4 Ultra

  1. Öffnen Sie Control Center > Settings > General > Casting, Recording, and Screenshot und wählen Sie unter „Recording and Screenshot“ den Aufnahmemodus „Spatial“.
  2. Drücken Sie die Home-Taste am Controller kurz, wählen Sie im angezeigten Menü die Schaltfläche „Recording“ und ziehen Sie den Trigger, um die Aufnahme zu starten.
  3. Das System zeigt einen Countdown an; kehren Sie sofort zur App zurück, die Sie aufnehmen möchten, und die Aufnahme startet automatisch nach Ablauf des Countdowns.
  4. Drücken Sie erneut kurz die Home-Taste am Controller und wählen Sie wieder „Recording“, um die Aufnahme zu stoppen.
  5. Die Aufnahmedatei wird standardmäßig im Ordner Internal Storage/DCIM/ScreenRecord auf dem Gerät gespeichert.

Rokid Max Pro

  1. Wechseln Sie zum Desktop, suchen Sie die untere Statusleiste und tippen Sie auf den Bereich „Quick Settings“ neben dem Benutzeravatar.
  2. Tippen Sie im angezeigten Fenster auf „Record“ und kehren Sie sofort zur aufzunehmenden App zurück. Das System startet die Aufnahme automatisch.
  3. Tippen Sie auf die X-Taste auf Station Pro, um zum Desktop zurückzukehren. Tippen Sie erneut auf „Record“ im Bereich „Quick Settings“, um die Aufnahme zu stoppen.
  4. Die Aufnahmedatei wird standardmäßig im Ordner Internal Shared Storage/ScreenRecorder auf dem Gerät gespeichert.

XREAL Air2 Ultra

  1. Wischen Sie auf dem Beam-Pro-Bildschirm nach unten, um das Control Center der Brille zu öffnen, und tippen Sie oben auf die Schaltfläche „Screen Record“.
  2. Das System zeigt einen Countdown an; kehren Sie sofort zur aufzunehmenden App zurück.
  3. Tippen Sie auf die schwebende rote Schaltfläche „Stop“ oben auf dem Bildschirm, um die Aufnahme zu beenden.
  4. Die Aufnahmedatei wird standardmäßig im Ordner Internal Shared Storage/Movies/Record auf dem Gerät gespeichert.

Best-Practice-Empfehlungen

Wenn Sie ein Problem mit der Headset-Bildschirmaufnahme melden, beachten Sie Folgendes:

  • Geben Sie beim Einreichen klar das Gerätemodell, die Aufnahmemethode und die Umweltfaktoren an.
  • Wenn das Problem mit Tiefe, Occlusion oder Tracking-Jitter zusammenhängt, ergänzen Sie eine Beschreibung dessen, was das menschliche Auge tatsächlich wahrgenommen hat, da die Aufnahme das möglicherweise nicht genau wiedergibt.
  • Bei kritischen Szenen können Sie zusätzlich mit einer externen Kamera die reale Bedienung des Headsets aufnehmen, um mehr Kontext zu liefern.

Headset-Bildschirmaufnahmen sind praktisch, aber immer nur eine Näherung des Erlebnisses. Die zuverlässigste Diagnose erfordert weiterhin eine Kombination aus Logs, Sensordaten und subjektivem Nutzerfeedback. Informationen zur Log-Erfassung finden Sie unter: