Table of Contents

Soporte para dispositivos de visualización y gafas de EasyAR

EasyAR SDK proporciona potentes funciones de RA multiplataforma, y su filosofía de diseño también se aplica a los dispositivos emergentes de computación espacial: los dispositivos de visualización (headset). Este artículo explica cómo EasyAR admite dispositivos de visualización y cómo los desarrolladores pueden aprovechar estas funciones para crear experiencias inmersivas.

Explicación de términos

En este documento, "visor" o "headset" se refiere específicamente a una clase de dispositivos de computación con forma de montura para la cabeza que admiten interacción inmersiva o de visión a través, capaces de presentar contenido virtual ante los ojos del usuario para lograr experiencias de realidad aumentada (AR) o realidad mixta (MR). Esto incluye:

  • Visores de transparencia óptica (Optical See-Through, OST): Ven el mundo real directamente a través de lentes semitransparentes.
  • Visores de transparencia de vídeo (Video See-Through, VST): Capturan el mundo real mediante cámaras y lo muestran como un flujo de vídeo.

Por costumbre, los visores también se denominan gafas AR, gafas MR o cascos VR, y los nombres específicos pueden variar según el fabricante y el tipo de dispositivo, pero en este artículo usamos "visor" para referirnos a esta clase de dispositivos.

Principios básicos de funcionamiento del visor

Para comprender mejor cómo EasyAR admite visores, primero debemos entender el flujo de trabajo básico de estos dispositivos:

  1. Percepción ambiental: Mediante múltiples cámaras integradas, sensores de profundidad (como iToF) y unidades de medición inercial (IMU), perciben en tiempo real la estructura geométrica, las condiciones de iluminación y las superficies de los objetos del entorno.
  2. Cálculo espacial: Según los datos del sensor, el sistema SLAM rastrea en tiempo real la pose 6DoF (posición + orientación) de la cabeza del usuario.
  3. Renderizado y visualización de contenido: Renderiza el contenido 3D (como modelos, efectos) según la pose del dispositivo y proyecta el resultado en la pantalla. En modo VR, se muestra una imagen puramente virtual; en modo AR/MR, la imagen virtual se combina con el entorno real (fondo transparente OST o flujo de cámara VST).
  4. Sistema de interacción: Recibe instrucciones del usuario mediante mandos, reconocimiento de gestos, voz o seguimiento ocular, y responde en consecuencia.

Cómo admite EasyAR los visores

EasyAR no reemplaza la canalización nativa de seguimiento espacial o renderizado del visor, sino que trabaja en sinergia con él como un reforzador de cómputo espacial. Como motor de algoritmos AR profesional, proporciona capacidades de percepción y cálculo espacial para diversos escenarios AR, colaborando eficientemente con el sistema nativo del dispositivo.

Ámbito de responsabilidad División de roles
Seguimiento 6DOF de cabeza, renderizado de visualización, interacción básica, etc. SDK/Tiempo de ejecución nativo del visor
Capacidades avanzadas de percepción como reconocimiento/seguimiento de imágenes/objetos, posicionamiento en grandes espacios, etc. EasyAR SDK

El SDK de EasyAR proporciona funciones AR centrales de percepción del mundo como reconocimiento de imágenes/objetos, reconstrucción dispersa, reconstrucción densa y posicionamiento en grandes espacios, encargándose de "comprender" el mundo e indicar a las aplicaciones del visor dónde debe colocarse el contenido virtual.

El SDK de EasyAR se integra como complemento o biblioteca en el marco de desarrollo de aplicaciones del visor (normalmente Unity o Unreal). Recibe flujos de datos sin procesar del sistema del dispositivo, los procesa y calcula, luego emite una matriz de pose relativa al sistema de coordenadas espaciales del dispositivo, y finalmente la canalización de renderizado del motor del visor dibuja los objetos virtuales en la posición correcta.

Situación de soporte y métodos de implementación

EasyAR proporciona soporte integral para las principales plataformas de desarrollo de visores, implementado principalmente de dos formas:

  • A través de Unity/Unreal Engine: Es el método más común y recomendado. Los fabricantes de visores suelen proporcionar complementos específicos de Unity/Unreal o XR SDK. EasyAR puede integrarse sin problemas en el SDK del fabricante.
  • A través de plataforma nativa (Native): Para escenarios que requieren máximo rendimiento o desarrollo nativo específico, se pueden usar las interfaces nativas C++/Java/Objective-C de EasyAR. Esto normalmente requiere que el desarrollador gestione la interfaz con los datos de bajo nivel del dispositivo.

EasyAR ha sido probado y verificado en múltiples plataformas principales de visores mediante Unity. Actualmente, los dispositivos confirmados como compatibles son:

Modelo de dispositivo de visualización Requisitos de versión del sistema/SDK
Apple Vision Pro visionOS 2 o superior
PICO 4 Ultra Enterprise PICO Unity Integration SDK 3.1.0 o superior
Rokid AR Studio Rokid Unity OpenXR Plugin 3.0.3 o superior
XREAL Air2 Ultra XREAL SDK 3.1 o superior
Xrany X1 Xrany元霓 SDK
Nota

Rokid AR Studio admite Rokid UXR 3 a través de Rokid Unity OpenXR Plugin, pero se recomienda usar XR Interaction Toolkit, especialmente para uso multiplataforma.

Importante

Apple Vision Pro, PICO y XREAL requieren su correspondiente licencia empresarial para su uso. Si tiene dudas, contacte con ventas.

  • Debido a restricciones de licencia de interfaz de Apple Vision Pro, solo se admite en dispositivos con permiso de API empresarial de Apple.
  • Debido a restricciones de licencia de interfaz de PICO, solo se admite en dispositivos de versión empresarial de PICO.
  • Debido a restricciones de licencia de interfaz de XREAL, solo se admite en dispositivos con licencia empresarial.

Para dispositivos de visualización de otros fabricantes no mencionados anteriormente, EasyAR proporciona métodos de extensión como cámara personalizada para su conexión. Consulte Crear un paquete de extensión para visores EasyAR para realizar la conexión, que puede completar por su cuenta.

Esto normalmente implica los siguientes pasos:

  1. Obtener permisos de desarrollo del dispositivo: Solicitar cuenta de desarrollador y documentación del SDK para el visor objetivo.
  2. Obtener flujos de datos de sensores: Obtener imágenes de cámara (fotogramas de vídeo), parámetros de cámara y otros datos necesarios del SDK del dispositivo.
  3. Llamar a la API de EasyAR: Usar la API de bajo nivel de EasyAR para introducir los datos de los sensores en el FrameSource de EasyAR para su procesamiento.
  4. Obtener y aplicar resultados de cálculo: Obtener resultados de cálculo (pose de cámara) del motor de EasyAR y aplicarlos a su motor de renderizado 3D.

Proporcionamos guías de desarrollo detalladas y código de ejemplo para ayudarle en este proceso. Si encuentra problemas durante la conexión, puede buscar soporte técnico en nuestra comunidad de desarrolladores.

Funcionalidades centrales disponibles

En dispositivos de visualización, puede aprovechar toda la matriz de funciones de EasyAR para crear ricas aplicaciones espaciales:

  • Seguimiento de imágenes planas: Reconocer y rastrear imágenes predefinidas, superponiendo vídeo dinámico o modelos 3D sobre ellas.
  • Seguimiento de objetos 3D: Reconocer y rastrear modelos 3D predefinidos (como juguetes, envases de productos) y hacer que el contenido virtual interactúe con ellos.
  • Mapa espacial disperso: Escanear el entorno para generar un mapa visual tridimensional y proporcionar funciones de posicionamiento y seguimiento visual. Los mapas generados pueden guardarse o compartirse en tiempo real entre múltiples dispositivos.
  • Mapa espacial denso: Escanear y generar mapas de nube de puntos densos y modelos de malla (Mesh) del entorno, logrando relaciones de oclusión física entre objetos virtuales y reales, mejorando enormemente la inmersión.
  • Reconocimiento de imágenes en la nube: Conectarse a la base de datos en la nube de EasyAR para reconocer y gestionar cantidades masivas de imágenes, aplicable en escenarios como exposiciones o educación.
  • Posicionamiento Mega en grandes espacios: Solución de cómputo espacial a nivel urbano, conectada al servicio de posicionamiento en la nube de EasyAR, logrando posicionamiento y seguimiento estable, rápido y preciso, expandiendo enormemente el alcance de las experiencias AR.

Guías específicas de plataforma

Para ayudarle a comenzar rápidamente en plataformas específicas, hemos preparado guías detalladas de integración multiplataforma. Haga clic en las pestañas a continuación para ver los tutoriales de inicio rápido de cada plataforma.