Registrazione schermo visori: documentare esperienze immersive AR/MR
Durante lo sviluppo, i test o l'assistenza utente con visori per realtà aumentata (AR) o realtà mista (MR), la registrazione dello schermo è fondamentale per riprodurre e analizzare i problemi. Tuttavia, a differenza dei dispositivi mobili, la registrazione su visore coinvolge tecnologie speciali come la pass-through e il rendering foveale (Foveated Rendering). La registrazione solitamente non equivale alla visualizzazione stereoscopica completa vista direttamente dagli occhi dell'utente. Pertanto, nell'interpretare il contenuto registrato, è essenziale notare le differenze rispetto all'esperienza visiva reale.
Perché esistono differenze visive nella registrazione del visore?
Attenzione importante per l'utente: la registrazione del visore non è identica a ciò che vedi effettivamente attraverso le lenti. Se noti anomalie nella registrazione, descrivi sempre la tua esperienza reale per evitare di fuorviare gli sviluppatori.
Ecco le principali differenze:
- Differenze di risoluzione e nitidezza
- Registrazione: tipicamente un flusso video monoculare (es. occhio sinistro) a 1080p o risoluzione inferiore.
- Occhio umano: a seconda dell'applicazione, i visori moderni possono offrire risoluzioni monoculari fino a 2K o superiori.
- Impatto: testo o immagini che appaiono sfocate nella registrazione potrebbero essere nitidi nel visore; viceversa, piccoli artefatti (aliasing) visibili nel visore potrebbero essere impercettibili nella registrazione.
- Differenze nel campo visivo (FOV)
- Registrazione: l'immagine registrata è solitamente quadrata. Su dispositivi con ampio FOV, i contenuti ai bordi sono spesso tagliati.
- Occhio umano: la visione binoculare offre un campo visivo più ampio.
- Impatto: se il problema si verifica ai bordi del campo visivo, la registrazione potrebbe non mostrarlo accuratamente.
- Impatto del rendering foveale (Foveated Rendering)
- Registrazione: include tutto il contenuto nell'intero campo visivo, comprese le aree periferiche a bassa risoluzione.
- Occhio umano: la zona centrale dove fissa l'occhio è ad alta risoluzione, mentre le aree periferiche sono a risoluzione ridotta.
- Impatto: potresti percepire l'immagine come nitida, ma rivedendo la registrazione notare aree sfocate. Questo è spesso normale e non un bug. Durante la registrazione, concentrati sempre sulla parte che vuoi mostrare per garantirne la nitidezza.
- Impatto del frame rate e della frequenza di aggiornamento
- Registrazione: tipicamente registrata a 30 FPS o 60 FPS.
- Occhio umano: l'esperienza reale può avere frequenze di aggiornamento di 90Hz o 120Hz.
- Impatto: cali di frame rate molto lievi potrebbero non essere rilevabili nella registrazione, ma percepibili come "scatti" o "vertigini". Se la registrazione sembra fluida ma l'esperienza reale no, è solitamente un problema di prestazioni. Specificarlo dopo la registrazione è fondamentale.
Note speciali per visori OST
Attenzione particolare: se utilizzi un visore OST (Optical See-Through, trasparenza ottica), come gli occhiali AR Rokid o Xreal, la funzione di registrazione schermo non registra il contenuto reale visto dall'occhio umano.
Cosa sono i dispositivi OST?
I dispositivi OST proiettano luce direttamente nei tuoi occhi attraverso lenti ottiche semi-trasparenti. I contenuti virtuali (GUI, modelli 3D, puntatori UI) vengono sovrapposti al campo visivo tramite micro-proiezioni o guide d'onda, permettendoti di vedere simultaneamente il mondo reale e gli elementi virtuali. Le telecamere che riprendono il mondo esterno servono solo per il tracciamento spaziale, non per la visualizzazione. Per questo meccanismo, il dispositivo stesso non può "registrare" la scena reale vista dall'occhio umano.
Limitazioni della registrazione su dispositivi OST
- Impossibile registrare la scena reale: la registrazione OST registra solo il livello dei contenuti virtuali (GUI, modelli 3D, puntatori UI, ecc.).
- Sfondo nero: quando riproduci il video su computer o telefono, vedrai oggetti virtuali su uno sfondo completamente nero, perdendo il contesto dell'ambiente reale.
- Relazioni di occlusione perse: se un oggetto virtuale dovesse essere oscurato da un oggetto reale (come la tua mano o un tavolo), nella registrazione apparirà sospeso sul nero, sembrando avere una relazione di profondità errata.
Problemi di allineamento visivo con contenuti sovrapposti
Anche in condizioni ideali, l'allineamento tra i contenuti virtuali presentati dai visori OST e il mondo reale presenta inevitabilmente un certo grado di errore visivo. Questo errore non è sempre causato da bug software o tracciamento fallito, ma spesso deriva da differenze fondamentali tra le proprietà fisiche del dispositivo e il sistema visivo umano. Parte di questo errore, con le attuali tecnologie, non può essere completamente eliminato.
Quando segnali un problema, distingui le seguenti situazioni:
- Errore di allineamento ottico:
- Fenomeno: quando muovi la testa, gli oggetti virtuali sembrano "galleggiare" o avere un leggero disallineamento rispetto agli oggetti reali.
- Causa: l'utente vede il mondo reale direttamente attraverso le lenti ottiche, mentre il sistema di coordinate per il rendering dei contenuti virtuali è basato sul tracciamento del capo e sulla comprensione dell'ambiente (es. SLAM). Esiste un offset fisico tra il percorso ottico di visualizzazione e le telecamere/IMU utilizzate per la localizzazione spaziale. Una calibrazione congiunta a livello sub-pixel è difficile, rendendo l'allineamento realtà-virtuale particolarmente sensibile ai bordi del campo visivo o alle scene ravvicinate.
- Limitazioni nella calibrazione oculare:
- Fenomeno: gli oggetti virtuali appaiono sdoppiati (fantasmi), con bordi sfocati, o sembrano non proiettati correttamente nello spazio.
- Causa: i dispositivi OST dipendono fortemente da una calibrazione precisa della distanza interpupillare (IPD) e della posizione degli occhi. Se il dispositivo non è calibrato precisamente per i tuoi occhi o la posizione del visore è cambiata, la luce proiettata dal motore ottico non entra correttamente nelle pupille. Anche con calibrazione, il processo basato su punti di campionamento limitati fatica a corrispondere perfettamente alla geometria oculare, curvatura corneale e percezione visiva individuale. Piccole deviazioni di calibrazione causano spostamenti sistematici nella profondità o posizione laterale degli oggetti virtuali.
- Differenze visive individuali:
- Fenomeno: utenti diversi possono giudicare soggettivamente la posizione dei contenuti virtuali in modo diverso.
- Causa: l'acuità visiva (es. miopia, astigmatismo), la capacità di messa a fuoco dinamica, ecc., influenzano la valutazione soggettiva della sovrapposizione. I dispositivi OST spesso mancano di tracciamento oculare in tempo reale e capacità di correzione ottica personalizzata, impedendo una compensazione dinamica per queste differenze individuali.
- Interferenze ambientali:
- Fenomeno: in ambienti luminosi i contenuti virtuali appaiono sbiaditi, poco visibili o invisibili; al buio appaiono sovraesposti o con fantasmi.
- Causa: i dispositivi OST sovrappongono direttamente la luce virtuale (da micro-proiezioni o guide d'onda) alla luce ambientale del mondo reale. Un ambiente reale troppo luminoso sovrascrive la debole luce virtuale, e viceversa. Questo artefatto ottico è una caratteristica intrinseca dei dispositivi OST.
Nota
Questi tipi di errori sono caratteristiche intrinseche della tecnologia degli occhiali AR OST, non malfunzionamenti. Durante la risoluzione dei problemi, distingui tra "problemi software/di tracciamento risolvibili" e "limiti esperienziali imposti dall'hardware e dalla fisiologia". Se un feedback utente riguarda un leggero disallineamento, distorsione ai bordi o incoerenza nella percezione della profondità, verifica prima se le condizioni d'uso rientrano in quelle nominali del dispositivo (es. distanza di lavoro, intervallo di illuminazione, stato di calibrazione).
Come gestire il feedback per i dispositivi OST?
Se riscontri problemi visivi con un dispositivo OST, dopo aver escluso i fattori derivanti dai limiti del dispositivo sopra descritti, puoi effettuare una registrazione per inviare feedback. Tuttavia, inviare solo la registrazione spesso non è sufficiente:
- Affianca una foto: scatta una foto con il telefono di ciò che vedi effettivamente attraverso le lenti (chiamata "foto dalla prospettiva oculare"). Questo mostra la posizione relativa degli oggetti virtuali rispetto all'ambiente reale.
- Descrivi l'ambiente: descrivi in dettaglio l'ambiente in cui ti trovi (condizioni di illuminazione, colore dello sfondo, presenza di elementi dinamici come persone), poiché la visualizzazione OST dipende fortemente dalla luce ambientale.
Metodi comuni di registrazione schermo per visori
Nota
Durante la registrazione, il dispositivo potrebbe ridurre il frame rate o la risoluzione di rendering, influenzando la valutazione della fluidità e della stabilità del tracciamento. Si consiglia di registrare il prima possibile dopo aver riprodotto il problema, evitando sessioni prolungate.
Apple Vision Pro
- Alza lo sguardo verso la parte superiore dello schermo finché non vedi il punto del Centro di controllo. Concentrati su di esso e fai clic.
- Guarda e tocca Centro di controllo > il pulsante "Registra il mio campo visivo"
per iniziare la registrazione. - Per interrompere la registrazione, apri il Centro di controllo e tocca nuovamente "Registra il mio campo visivo".
- La registrazione del tuo campo visivo sarà salvata nell'app Foto
.
PICO 4 Ultra Enterprise
- Apri Centro di controllo > Impostazioni > Generale > Trasmissione, registrazione schermo e screenshot. In "Registrazione schermo e screenshot", seleziona la modalità di registrazione come "Spaziale".
- Premi brevemente il pulsante Home del controller. Nel menu a comparsa sullo schermo, seleziona il pulsante "Registrazione schermo" e premi il grilletto per iniziare.
- Il sistema mostrerà un conto alla rovescia iniziale. Torna immediatamente all'interfaccia dell'app da registrare. La registrazione inizierà automaticamente alla fine del conto alla rovescia.
- Premi nuovamente brevemente il pulsante Home del controller e ripeti la selezione del pulsante "Registrazione schermo" per interrompere la registrazione.
- Il file registrato è salvato per impostazione predefinita nella directory "Memoria interna/DCIM/ScreenRecord" del dispositivo.
Rokid AR Studio
- Vai alla schermata principale, trova la barra di stato in basso e fai clic sull'area "Impostazioni rapide" accanto all'avatar dell'utente.
- Nella finestra a comparsa, fai clic sul pulsante "Registra". Torna immediatamente all'interfaccia dell'app da registrare. Il sistema inizia automaticamente la registrazione.
- Premi il pulsante X su Station Pro per tornare alla schermata principale. Fai nuovamente clic sul pulsante "Registra" nell'area "Impostazioni rapide" per interrompere la registrazione.
- Il file registrato è salvato per impostazione predefinita nella directory "Spazio di archiviazione condiviso interno/ScreenRecorder" del dispositivo.
XREAL Air2 Ultra
- Scorri verso il basso sullo schermo di Beam Pro per aprire il Centro di controllo degli occhiali. Tocca il pulsante "Registrazione schermo" in alto.
- Il sistema mostrerà un conto alla rovescia. Torna immediatamente all'interfaccia dell'app da registrare.
- Tocca il pulsante rosso "Stop" fluttuante in alto sullo schermo per interrompere la registrazione.
- Il file registrato è salvato per impostazione predefinita nella directory "Spazio di archiviazione condiviso interno/Film/Record" del dispositivo.
Best practice consigliate
Quando utilizzi la registrazione del visore per segnalare problemi, concentrati su questi punti:
- Al momento dell'invio, specifica chiaramente il modello del dispositivo, il metodo di registrazione e i fattori ambientali.
- Se il problema coinvolge profondità, occlusione o tremolio del tracciamento, aggiungi una descrizione testuale del fenomeno osservato ad occhio nudo, poiché la registrazione potrebbe non rappresentarlo accuratamente.
- Per scenari critici, integra con riprese video esterne dell'utente che utilizza il visore, per fornire un contesto più completo.
La registrazione del visore è comoda, ma rimane un'approssimazione dell'esperienza. La diagnosi più affidabile richiede comunque la combinazione di log, dati dei sensori e feedback soggettivo dell'utente. Per i metodi di acquisizione dei log, consulta: