Table of Contents

Supporto per visori e occhiali di EasyAR

EasyAR SDK offre potenti funzionalità AR multipiattaforma, il cui design si applica anche ai dispositivi emergenti di calcolo spaziale: i visori (Headset). Questo articolo spiega come EasyAR supporti i dispositivi visori e come gli sviluppatori possano sfruttare queste funzionalità per creare esperienze immersive.

Terminologia

In questo documento, "visore" o "Headset" si riferisce a una categoria di dispositivi computazionali indossabili sulla testa che supportano interazioni immersive o a visione trasparente. Questi dispositivi possono visualizzare contenuti virtuali davanti agli occhi dell'utente, abilitando esperienze di realtà aumentata (AR) o realtà mista (MR). Ciò include:

  • Visori a visione ottica trasparente (Optical See-Through, OST): visualizzano il mondo reale direttamente attraverso lenti semi-trasparenti.
  • Visori a visione video trasparente (Video See-Through, VST): visualizzano il mondo reale catturato dalle telecamere come flusso video.

Comunemente, i visori sono anche chiamati occhiali AR, occhiali MR o caschi VR, a seconda del produttore e del tipo di dispositivo. In questo documento useremo "visore" come termine ombrello.

Funzionamento di base dei visori

Per comprendere meglio il supporto di EasyAR per i visori, è utile conoscere il loro flusso di lavoro di base:

  1. Percezione ambientale: tramite telecamere multiple integrate, sensori di profondità (come iToF) e unità di misura inerziale (IMU), percepiscono in tempo reale la struttura geometrica, l'illuminazione e le superfici degli oggetti circostanti.
  2. Calcolo spaziale: utilizzando i dati dei sensori, il sistema SLAM traccia in tempo reale la posa 6DoF della testa dell'utente (posizione + orientamento).
  3. Rendering e visualizzazione dei contenuti: i contenuti 3D (come modelli o effetti) vengono renderizzati in base alla posa del dispositivo e proiettati sul display. In modalità VR, viene visualizzata una scena completamente virtuale; in modalità AR/MR, la scena virtuale viene composta con l'ambiente reale (flusso video VST o sfondo OST trasparente).
  4. Sistema di interazione: riceve comandi utente tramite controller, riconoscimento gestuale, voce o eye tracking e risponde di conseguenza.

Principio di funzionamento del supporto EasyAR per i visori

EasyAR non sostituisce la pipeline di tracciamento spaziale o rendering nativa del visore, ma collabora come miglioramento del calcolo spaziale. Come motore algoritmico AR professionale, fornisce capacità di percezione e calcolo spaziale per vari scenari AR, integrandosi in modo efficiente con il sistema nativo del dispositivo.

Ambito di responsabilità Divisione dei ruoli
Tracciamento 6DOF della testa, rendering di visualizzazione, interazioni di base, ecc. SDK/runtime nativo del visore
Capacità avanzate di percezione come riconoscimento/tracciamento di immagini/oggetti, localizzazione in spazi ampi, ecc. EasyAR SDK

EasyAR SDK fornisce funzionalità AR fondamentali per la percezione del mondo, come riconoscimento immagini/oggetti, ricostruzione sparsa, ricostruzione densa e localizzazione in spazi ampi. Si occupa di "comprendere" il mondo e indica all'applicazione del visore dove posizionare i contenuti virtuali.

EasyAR SDK si integra come plug-in o libreria nel framework di sviluppo applicazioni del visore (tipicamente Unity o Unreal). Riceve flussi di dati grezzi dal sistema del dispositivo, li elabora e calcola, quindi restituisce una matrice di posa relativa al sistema di coordinate spaziali del dispositivo. La pipeline di rendering del motore del visore disegna infine gli oggetti virtuali nella posizione corretta.

Situazione di supporto e modalità di implementazione

EasyAR offre supporto completo per le principali piattaforme di sviluppo visori, principalmente attraverso due approcci:

  • Tramite Unity/Unreal Engine: l'approccio più comune e consigliato. I produttori di visori solitamente forniscono plug-in Unity/Unreal dedicati o XR SDK. EasyAR può integrarsi perfettamente con l'SDK del produttore.
  • Tramite piattaforma nativa (Native): per scenari che richiedono prestazioni estreme o sviluppo nativo specifico, è possibile utilizzare le interfacce native C++/Java/Objective-C di EasyAR. Ciò richiede tipicamente che lo sviluppatore gestisca autonomamente l'interfacciamento con i dati di basso livello del dispositivo.

EasyAR è stato testato e validato su molte piattaforme visori principali tramite Unity. Attualmente sono confermati supportati i seguenti dispositivi:

Modello di visore Requisiti sistema/SDK
Apple Vision Pro visionOS 2 o versioni successive
PICO 4 Ultra Enterprise PICO Unity Integration SDK 3.1.0 o versioni successive
Rokid AR Studio Rokid Unity OpenXR Plugin 3.0.3 o versioni successive
XREAL Air2 Ultra XREAL SDK 3.1 o versioni successive
Xrany X1 Xrany元霓 SDK
Nota

Rokid AR Studio può supportare Rokid UXR 3 tramite Rokid Unity OpenXR Plugin, ma si consiglia di utilizzare XR Interaction Toolkit, specialmente per uso cross-device.

Importante

Apple Vision Pro, PICO e XREAL richiedono le rispettive licenze enterprise per l'utilizzo. Per domande, contattare il reparto commerciale.

  • A causa delle limitazioni delle licenze delle interfacce Apple Vision Pro, è supportato solo su dispositivi con licenza API enterprise Apple.
  • A causa delle limitazioni delle licenze delle interfacce PICO, è supportato solo su dispositivi PICO enterprise.
  • A causa delle limitazioni delle licenze delle interfacce XREAL, è supportato solo su dispositivi con licenza enterprise.

Per visori di altri produttori non menzionati sopra, EasyAR offre metodi di integrazione estendibili come fotocamera personalizzata. Fare riferimento a Creare un pacchetto di estensione per visori EasyAR per l'integrazione, che potete completare autonomamente.

Questo processo coinvolge tipicamente i seguenti passaggi:

  1. Ottenere i permessi di sviluppo del dispositivo: richiedere account sviluppatore e documentazione SDK per il visore target.
  2. Ottenere i flussi di dati dai sensori: dall'SDK del dispositivo, acquisire immagini della fotocamera (frame video), parametri della fotocamera e altri dati necessari.
  3. Chiamare le API EasyAR: utilizzare le API di basso livello di EasyAR per inviare i dati del sensore al FrameSource di EasyAR per l'elaborazione.
  4. Ottenere e applicare i risultati di calcolo: acquisire i risultati di calcolo (posa della fotocamera) dal motore EasyAR e applicarli al motore di rendering 3D.

Forniamo guide di sviluppo dettagliate e codice di esempio per aiutarvi in questo processo. In caso di problemi durante l'integrazione, contattate il nostro supporto tecnico nella community di sviluppatori.

Funzionalità principali disponibili

Sui dispositivi visore, potete sfruttare l'intera matrice di funzionalità di EasyAR per creare applicazioni spaziali ricche:

  • Tracciamento immagini piane: riconosce e traccia immagini predefinite, sovrapponendo video dinamici o modelli 3D.
  • Tracciamento oggetti 3D: riconosce e traccia modelli 3D predefiniti (come giocattoli o confezioni di prodotti), consentendo interazioni con i contenuti virtuali.
  • Mappa spaziale sparsa: scansiona l'ambiente circostante per generare una mappa visiva 3D, fornendo funzionalità di localizzazione e tracciamento visivo. Le mappe generate possono essere salvate o condivise in tempo reale su più dispositivi.
  • Mappa spaziale densa: scansiona e genera una mappa densa a nuvola di punti e un modello mesh dell'ambiente, abilitando relazioni di occlusione fisica tra oggetti virtuali e reali per un'immersività significativamente migliorata.
  • Riconoscimento immagini cloud: si connette al database cloud di EasyAR per riconoscere e gestire un'enorme quantità di immagini, ideale per scenari come mostre o formazione.
  • Localizzazione Mega per spazi ampi: soluzione di calcolo spaziale a livello cittadino che si connette ai servizi di localizzazione cloud EasyAR, fornendo localizzazione e tracciamento stabili, rapidi e precisi, espandendo notevolmente la portata delle esperienze AR.

Guide specifiche per piattaforma

Per aiutarvi a iniziare rapidamente su piattaforme specifiche, abbiamo preparato guide dettagliate di integrazione multipiattaforma. Selezionate la scheda sottostante per il tutorial introduttivo della piattaforma corrispondente.