Seguimiento de objetos combinado con seguimiento de movimiento
Este artículo explica cómo combinar el seguimiento de objetos 3D con el seguimiento de movimiento del dispositivo para mejorar la estabilidad del seguimiento y la experiencia del usuario en escenarios complejos. Incluye principios fundamentales, efectos esperados y análisis de problemas potenciales.
Principios básicos
Fusión de movimiento (Motion Fusion) combina los datos de pose del seguimiento de objetos 3D con los datos de pose del seguimiento de movimiento del dispositivo para lograr una estimación de pose más robusta. Este es su flujo principal:
Sincronización y complementariedad de datos
- Seguimiento visual: Calcula la pose actual (posición+rotación) mediante la coincidencia de puntos característicos en la imagen, pero es vulnerable a oclusiones, desenfoques o movimientos rápidos.
- Seguimiento de movimiento: Utiliza los datos de los sensores IMU y la salida visual para obtener el movimiento del dispositivo, pero presenta errores de deriva acumulativos.
- Mecanismo de fusión:
- Alinea los sistemas de coordenadas de la pose del seguimiento visual con la del seguimiento de movimiento.
- Cuando el objeto objetivo es claramente visible y su movimiento es estable: prioriza el seguimiento visual. Introduce continuamente las poses del seguimiento visual en el módulo de fusión para corregir, reduciendo la deriva acumulativa del sistema.
- Cuando el objeto objetivo se pierde, ocupa un área muy pequeña en la imagen o se mueve rápidamente: el seguimiento visual falla, priorizando el seguimiento de movimiento. Predice la pose fusionada basándose en la pose actual del seguimiento de movimiento.
Puntos técnicos clave
- Alineación de marcas de tiempo: Alinea las marcas de tiempo de los fotogramas visuales con los datos del seguimiento de movimiento para evitar temblores debido a la latencia.
- Alineación de sistemas de coordenadas: Realiza la alineación de coordenadas según las trayectorias del seguimiento visual y del seguimiento de movimiento.
- Relocalización: Cuando el objeto objetivo reaparece, el seguimiento visual retoma el control y corrige rápidamente posibles errores acumulativos, "trayendo de vuelta" el objeto virtual a su posición correcta.
Escenarios aplicables y limitaciones
La fusión de movimiento no es adecuada para todos los escenarios. No es aplicable en los siguientes casos:
- El dispositivo objetivo no admite funciones de seguimiento de movimiento como ARCore/ARKit. Consulte la lista detallada de dispositivos compatibles: Compatibilidad de dispositivos con seguimiento de movimiento.
- El objeto objetivo es dinámico en la escena, como un juguete sostenido en la mano o una figura de colección.
En otros escenarios, el uso de fusión de movimiento mejorará significativamente la experiencia de usuario del seguimiento de objetos 3D, incluyendo pero no limitado a:
- Movimiento rápido: El usuario mueve el dispositivo rápidamente, causando desenfoque de movimiento que afecta al seguimiento visual.
- Desaparición del objetivo: Mantiene la presentación de contenido virtual cuando la imagen abandona el objeto objetivo o este es ocluido por objetos dinámicos (como personas).
- Alejamiento del objetivo: El usuario se aleja haciendo que el objeto ocupe un área muy pequeña en la imagen, manteniendo un seguimiento estable.
- Condiciones de baja iluminación: El rendimiento del seguimiento visual disminuye, pero se mantiene la experiencia.
Efecto y resultados esperados
Cuando el escenario es adecuado, usar fusión de movimiento proporcionará una experiencia de usuario más estable y fluida que usar solo el seguimiento de objetos 3D.
Efecto ideal
- Seguimiento más estable: El objeto virtual no tiembla ni salta.
- Transición fluida: Cuando falla el seguimiento visual, los cambios en la pose fusionada son continuos y naturales.
- Resistencia a interferencias: El objeto virtual sigue el movimiento del dispositivo cuando el objetivo se pierde, se ocluye o el dispositivo se mueve rápidamente.
Casos no ideales y soluciones
| Fenómeno | Causa | Percepción del usuario | Solución |
|---|---|---|---|
| Inicialmente no funciona | El seguimiento de movimiento requiere tiempo para inicializarse | El contenido desaparece inicialmente | Indicación visual hasta que el sistema complete la inicialización |
| Deriva notable | Error acumulativo del sistema sin corrección visual prolongada | El objeto virtual se desvía | Guiar al usuario para reducir tiempo de oclusión o añadir indicaciones de relocalización |
| Rendimiento reducido | Ejecución prolongada de ambas funciones | Caída de fps o congelamientos | Fenómeno normal; se puede desactivar la fusión mediante API |
Métodos de verificación de resultados esperados
Pruebe con dispositivos compatibles en escenarios reales:
- Enfocar el objeto objetivo y verificar estabilidad del objeto virtual.
- Ocluir el objeto con la mano 2 segundos mientras mueve el dispositivo; observar si el objeto virtual se desplaza suavemente.
- Retirar la mano y confirmar que el objeto virtual vuelve rápidamente sin saltos.
Conclusión y mejores prácticas
La fusión de movimiento mejora significativamente la robustez del seguimiento de objetos 3D en muchos escenarios, pero requiere soporte hardware y rendimiento adecuado. Los desarrolladores deben activarla selectivamente según los dispositivos de los usuarios y ofrecer alternativas en dispositivos de bajo rendimiento.
API para activar/desactivar fusión de movimiento en tiempo real:
- Nativo: setResultPostProcessing
- Unity: EnableMotionFusion