Table of Contents

Registrazione schermo del headset: registrare un'esperienza AR/MR immersiva

Quando si sviluppa, testa o fornisce supporto utenti con headset AR o MR, la registrazione dello schermo è uno strumento importante per riprodurre e analizzare i problemi. Tuttavia, a differenza dei dispositivi mobile, la registrazione dello schermo di un headset coinvolge tecniche speciali come Passthrough e Foveated Rendering, quindi l'immagine registrata di solito non coincide completamente con la vista stereoscopica completa che l'utente vede direttamente con entrambi gli occhi. Per questo, nell'interpretare la registrazione bisogna prestare particolare attenzione alle differenze rispetto all'esperienza visiva reale.

Perché la registrazione dello schermo del headset presenta differenze visive?

Gli utenti devono prestare molta attenzione: l'immagine registrata del headset non coincide esattamente con l'immagine reale vista dietro le lenti. Se nella registrazione si trova un'anomalia, va descritta sempre insieme all'esperienza reale per non confondere i developer.

Le principali differenze sono:

  1. Differenza di risoluzione e nitidezza
  • Registrazione: di solito è uno stream monoculare, ad esempio 1080p o inferiore.
  • Occhio umano: a seconda dell'applicazione, la risoluzione monoculare dei headset moderni può arrivare a 2K o oltre.
  • Impatto: il testo o l'immagine che appaiono sfocati nella registrazione potrebbero essere nitidi nel headset; al contrario, piccoli bordi seghettati visibili nel headset potrebbero non vedersi affatto nella registrazione.
  1. Differenza di field of view (FOV)
  • Registrazione: l'immagine registrata è di solito quadrata. Nei dispositivi con FOV ampio, il contenuto ai bordi viene spesso tagliato.
  • Occhio umano: l'immagine vista è binoculare e il campo visivo è più ampio.
  • Impatto: se il problema avviene ai bordi del campo visivo, la registrazione potrebbe non mostrarlo con precisione.
  1. Impatto del Foveated Rendering
  • Registrazione: include tutto il contenuto del campo visivo, comprese le aree periferiche a bassa risoluzione.
  • Occhio umano: il centro dello sguardo ha alta risoluzione, mentre le aree fuori dal centro hanno risoluzione inferiore.
  • Impatto: si percepisce l'immagine come molto chiara, ma rivedendo la registrazione si nota che alcune aree sono sfocate. Di solito è normale e non è un bug. Per questo, durante la registrazione, concentratevi sulla parte che volete mostrare per assicurarvi che venga registrata chiaramente.
  1. Impatto di frame rate e refresh rate
  • Registrazione: il frame rate del video registrato è in genere 30FPS o 60FPS.
  • Occhio umano: il refresh rate reale può raggiungere 90Hz o 120Hz.
  • Impatto: un calo molto lieve del frame rate può non essere percepito nella registrazione, ma l'occhio umano può avvertire chiaramente stutter o motion sickness. Se la registrazione appare fluida ma l'esperienza reale no, di solito è un problema di performance e va descritto chiaramente.

Nota speciale per i headset OST

Attenzione particolare: se usate un headset OST (Optical See-Through), ad esempio occhiali AR come Rokid o XREAL, la funzione di registrazione dello schermo non può registrare la scene reale vista dall'occhio umano.

Che cos'è un dispositivo OST?

Un dispositivo OST proietta la luce direttamente agli occhi attraverso lenti ottiche semitrasparenti, mentre il contenuto virtuale viene sovrapposto nel campo visivo tramite mini projector o waveguide. La camera che riprende il mondo esterno serve solo per il positioning spaziale, non per la visualizzazione. Per questo il dispositivo non può “registrare” la scene reale vista dall'occhio.

Limiti della registrazione su dispositivi OST

  • Non può registrare la scene reale: la registrazione OST cattura solo il layer del contenuto virtuale (GUI, modelli 3D, pointer UI e così via).
  • Lo sfondo è nero: quando il video viene riprodotto su PC o smartphone, si vedono solo virtual object su sfondo nero puro, perdendo completamente il contesto reale.
  • L'occlusion si perde: se un virtual object dovrebbe essere coperto da un oggetto reale come una mano o un tavolo, nella registrazione apparirà sospeso sullo sfondo nero e sembrerà una gerarchia di layer errata.

Problema di errore visivo nella sovrapposizione del contenuto virtuale

Anche in ambienti ideali, l'allineamento tra il contenuto virtuale mostrato da un headset OST e il mondo reale presenta inevitabilmente un certo grado di errore visivo. Questo tipo di errore non è sempre causato da bug software o da tracking failure, ma spesso deriva da differenze fondamentali tra le caratteristiche fisiche del dispositivo e il sistema visivo umano. Parte di questi errori non può essere eliminata completamente con la tecnologia attuale.

Quando inviate feedback, distinguete i seguenti casi:

  • Errore di optical alignment:
    • Sintomo: quando muovete la testa, il virtual object sembra “galleggiare” o avere un piccolo scostamento rispetto all'oggetto reale.
    • Causa: l'utente guarda il mondo reale direttamente attraverso lenti ottiche, mentre il rendering coordinate system del contenuto virtuale si basa di solito su head tracking e sistemi di comprensione dell'ambiente come SLAM. A causa dello scostamento fisico tra il percorso ottico del display e la camera/IMU usate per il positioning spaziale, e della difficoltà di una calibrazione congiunta a livello sub-pixel, l'allineamento reale-virtuale è particolarmente sensibile ai bordi del campo visivo o nelle scene ravvicinate.
  • Limite della calibrazione oculare:
    • Sintomo: il virtual object sembra sdoppiato, sfocato ai bordi, oppure come se non fosse proiettato correttamente nello spazio.
    • Causa: i dispositivi OST dipendono moltissimo da una calibrazione precisa di IPD e posizione dell'occhio. Se il dispositivo non è calibrato con precisione per i vostri occhi, o se la posizione del headset si è spostata, la luce proiettata dall'optical engine non entrerà correttamente nella pupilla. Anche quando la calibrazione esiste, il processo si basa su punti di campionamento limitati e difficilmente corrisponde alla geometria dell'occhio, alla curvatura corneale e alle abitudini percettive di ogni utente. Piccoli errori di calibrazione possono causare uno scostamento sistematico del virtual object in profondità o lateralmente.
  • Differenze visive individuali:
    • Sintomo: la valutazione soggettiva della posizione del contenuto virtuale può variare tra utenti diversi.
    • Causa: differenze visive come miopia, astigmatismo, capacità di messa a fuoco dinamica e altri fattori influenzano la valutazione soggettiva dell'overlay. Un dispositivo OST può non avere eye tracking in tempo reale né correzione ottica personalizzata, quindi non può compensare dinamicamente queste differenze per ciascun utente.
  • Interferenza dei fattori ambientali:
    • Sintomo: in ambienti luminosi il contenuto virtuale si attenua, diventa difficile da vedere o scompare; in ambienti scuri può sovraesporre o generare ghosting.
    • Causa: il dispositivo OST sovrappone direttamente la luce virtuale del mini projector o del waveguide alla luce ambientale del mondo reale. Se l'ambiente è troppo luminoso, la debole luce virtuale viene coperta; e viceversa. Questi artefatti ottici sono una caratteristica intrinseca dei dispositivi OST.
Nota

Questo tipo di errore è una caratteristica intrinseca della tecnologia OST AR glasses, non un malfunzionamento. Durante l'analisi del problema, distinguete tra “problemi software/tracking correggibili” e “limiti dell'esperienza imposti da hardware e fisiologia”. Se il feedback dell'utente riguarda piccoli scostamenti, distorsioni ai bordi o percezione incoerente della profondità, verificate prima se il dispositivo è usato nelle condizioni dichiarate dal produttore, come distanza operativa, intervallo di luce e stato di calibrazione.

Come gestire il feedback dei dispositivi OST?

Se riscontrate problemi visivi durante l'uso di un dispositivo OST, dopo aver escluso i limiti sopra descritti potete fare una registrazione dello schermo per il feedback. Ma una sola registrazione spesso non basta:

  1. Allegare una foto: usate il telefono per scattare una foto dell'immagine reale vista attraverso la lente. Questo mostra la posizione relativa del virtual object rispetto all'ambiente reale.
  2. Descrivere l'ambiente: spiegate in dettaglio l'ambiente in cui vi trovate (condizioni di luce, colore dello sfondo, presenza di elementi dinamici come persone, ecc.), perché l'effetto visivo degli OST dipende moltissimo dalla luce ambientale.

Metodi comuni di registrazione dello schermo per i headset

Nota

Durante la registrazione, il dispositivo può ridurre frame rate o risoluzione, influenzando la valutazione della fluidità e della stabilità del tracking. Si consiglia di registrare subito dopo aver riprodotto il problema, per evitare che un run troppo lungo alteri il risultato.

Apple Vision Pro

  1. Alzate lo sguardo verso la parte superiore dello schermo finché vedete il punto del Control Center. Fissatelo e fate clic.
  2. Guardate e toccate Control Center > pulsante “Record My View” per iniziare la registrazione.
  3. Per fermare la registrazione, aprite il Control Center e toccate di nuovo “Record My View”.
  4. La registrazione del vostro view verrà salvata nell'app “Photos” .

PICO 4 Ultra

  1. Aprite Control Center > Settings > General > Casting, Recording, and Screenshot e, in “Recording and Screenshot”, scegliete la modalità di registrazione “Spatial”.
  2. Premete brevemente il tasto Home sul controller, selezionate il pulsante “Recording” nel menu che appare e premete il trigger per iniziare la registrazione.
  3. Il sistema mostrerà un conto alla rovescia; tornate subito all'app che volete registrare e la registrazione inizierà automaticamente al termine del conto alla rovescia.
  4. Premete di nuovo brevemente il tasto Home sul controller e selezionate ancora “Recording” per fermare la registrazione.
  5. Il file registrato viene di solito salvato nella cartella Internal Storage/DCIM/ScreenRecord sul dispositivo.

Rokid Max Pro

  1. Entrate nel desktop, trovate la status bar in basso e toccate l'area “Quick Settings” accanto all'avatar utente.
  2. Nella finestra che appare, toccate il pulsante “Record” e tornate subito all'app da registrare. Il sistema avvierà automaticamente la registrazione.
  3. Premete il tasto X su Station Pro per tornare al desktop. Toccate di nuovo “Record” nell'area “Quick Settings” per fermare la registrazione.
  4. Il file registrato viene di solito salvato nella cartella Internal Shared Storage/ScreenRecorder sul dispositivo.

XREAL Air2 Ultra

  1. Nello schermo di Beam Pro, fate uno swipe verso il basso per aprire il control center degli occhiali e toccate il pulsante “Screen Record” in alto.
  2. Il sistema mostrerà un conto alla rovescia; tornate subito all'app che volete registrare.
  3. Toccate il pulsante rosso flottante “Stop” nella parte superiore dello schermo per fermare la registrazione.
  4. Il file registrato viene di solito salvato nella cartella Internal Shared Storage/Movies/Record sul dispositivo.

Suggerimenti best practice

Quando usate la registrazione dello schermo del headset per segnalare un problema, tenete presente quanto segue:

  • Inviando la segnalazione, indicate chiaramente model del dispositivo, metodo di registrazione e fattori ambientali.
  • Se il problema riguarda profondità, occlusion o tracking jitter, aggiungete una descrizione di ciò che l'occhio umano ha realmente osservato, perché la registrazione potrebbe non rappresentarlo con precisione.
  • Per scene importanti, potete anche registrare con una camera esterna il comportamento reale dell'utente mentre indossa il headset, così da offrire un contesto più completo.

La registrazione dello schermo del headset è pratica, ma resta sempre solo un'approssimazione dell'esperienza. La diagnosi più affidabile richiede ancora di combinare log, sensor data e feedback soggettivo dell'utente. Per i metodi di raccolta dei log, consultate: