Detección de planos EasyAR
La detección de planos EasyAR detecta automáticamente planos horizontales en el entorno mientras se ejecuta el seguimiento de movimiento EasyAR, y proporciona funciones como la colocación de objetos virtuales.
Principio de detección de planos EasyAR
La detección de planos EasyAR (Plane Detection) es una capacidad simple de comprensión del entorno que se completa automáticamente en sincronización durante el proceso de ejecución del seguimiento de movimiento EasyAR (Motion Tracker). El sistema se basa en la información espacio-temporal obtenida por la cámara del dispositivo y los sensores inerciales para modelar continuamente el entorno real, identificando y rastreando así los planos horizontales en el entorno, proporcionando soporte básico para la colocación de objetos virtuales, la alineación interactiva y la comprensión espacial.
El proceso específico es:
Seguimiento de movimiento
Durante la ejecución del seguimiento de movimiento, EasyAR obtiene continuamente dos tipos de datos principales: fotogramas de imagen continuos de la cámara RGB, y datos del acelerómetro y el giroscopio. El sistema estima la posición y la postura continuas de seis grados de libertad del dispositivo en el sistema de coordenadas mundial mediante un algoritmo de fusión visión-inercial, proporcionando una trayectoria de cámara estable y con baja deriva para el modelado espacial posterior y el análisis de planos.
Detección de puntos característicos y triangulación
Sobre la base de la estimación de la postura, EasyAR extrae y rastrea puntos característicos visuales estables (como esquinas o regiones con textura prominente) de la secuencia de imágenes, y triangula estos puntos característicos mediante métodos de geometría multivista para recuperar su posición en el espacio tridimensional, formando una representación de nube de puntos tridimensional local.
Generación de regiones candidatas a plano
Después de obtener la nube de puntos tridimensional, el sistema realiza un análisis geométrico de la nube de puntos para encontrar conjuntos de puntos que pueden pertenecer al mismo plano. Mediante el juicio de la relación con la dirección de la gravedad, el sistema puede distinguir candidatos a plano horizontal, es decir, planos cuyo vector normal es aproximadamente paralelo a la dirección de la gravedad (como el suelo y la mesa de escritorio).
Seguimiento y detección de planos
EasyAR verificará y actualizará los planos ya detectados en fotogramas continuos:
- Juzgar si los puntos tridimensionales recién observados admiten el modelo de plano existente;
- Ajustar dinámicamente el rango, los límites y la confianza del plano según la consistencia de la observación;
- Eliminar candidatos a plano que aparecen brevemente o son inestables. Solo cuando se cumplen los requisitos de consistencia geométrica y estabilidad temporal, el resultado se considera un "plano disponible".
Sistema de coordenadas del plano y alineación de contenido virtual
Una vez que el plano es confirmado, puede lograr efectos AR más realistas basados en el resultado de la detección de planos:
- Colocar objetos virtuales en el plano para lograr la alineación con la escala y dirección reales;
- Realizar proyección por rayos (Hit Test), mapear los clics en la pantalla a la posición del plano real;
- Implementar lógicas interactivas basadas en planos, como adsorción de objetos, movimiento y juicio de oclusión.
Debido a que el plano y el sistema de seguimiento de movimiento comparten el mismo sistema de coordenadas mundial, los objetos virtuales pueden mantener una consistencia espacial estable y continua cuando el usuario mueve el dispositivo.
La detección de planos depende de la postura estable y la estructura espacial proporcionadas por el seguimiento de movimiento, y los resultados de la detección de planos a su vez se pueden utilizar para mejorar la capacidad de comprensión del entorno, por ejemplo, ayudando a la colocación de contenido y el diseño interactivo. Ambos constituyen conjuntamente