Table of Contents

Grabación de pantalla en dispositivos de visualización: registrando experiencias inmersivas de AR/MR

Al desarrollar, probar o brindar soporte a usuarios con dispositivos de visualización de realidad aumentada (AR) o realidad mixta (MR), la grabación de pantalla es crucial para reproducir y analizar problemas. Sin embargo, a diferencia de los dispositivos móviles, la grabación en estos dispositivos involucra tecnologías especiales como transparencia (Passthrough) y renderizado foveal (Foveated Rendering). La grabación generalmente no equivale completamente a la vista estereoscópica completa que perciben los ojos del usuario directamente. Por lo tanto, al interpretar el contenido grabado, es esencial prestar atención a las diferencias entre esta grabación y la experiencia visual real.

¿Por qué existen diferencias visuales en las grabaciones de dispositivos de visualización?

El usuario debe prestar especial atención: la grabación de pantalla del dispositivo de visualización no es exactamente igual a lo que realmente ves a través de las lentes. Si detectas anomalías en la grabación, describe también tu experiencia real para evitar malinterpretaciones por parte de los desarrolladores.

Estos son los principales puntos de diferencia:

  1. Diferencias de resolución y nitidez
  • Grabación: generalmente es un flujo de video de un solo ojo (por ejemplo, el izquierdo) a 1080p o menor resolución.
  • Ojo humano: según la aplicación, los dispositivos de visualización modernos pueden alcanzar resoluciones de 2K o superiores por ojo.
  • Impacto: el texto borroso o las imágenes indistintas que ves en la grabación pueden no existir dentro del dispositivo; por el contrario, los pequeños aliasing en los bordes que ves dentro del dispositivo pueden ser completamente invisibles en la grabación.
  1. Diferencia en el campo de visión (FOV)
  • Grabación: la imagen grabada suele ser cuadrada. Especialmente en dispositivos con gran campo de visión, el contenido periférico a menudo se recorta.
  • Ojo humano: la imagen percibida es binocular y abarca un campo visual más amplio.
  • Impacto: si tu problema ocurre en los bordes del campo visual, la grabación podría no representarlo con precisión.
  1. Impacto del renderizado foveal (Foveated Rendering)
  • Grabación: incluye todo el contenido en todo el campo visual, incluidas las áreas periféricas de baja resolución.
  • Ojo humano: la región central donde fija la mirada es de alta resolución, mientras que las áreas periféricas no fijadas son de baja resolución.
  • Impacto: puedes percibir la imagen como muy nítida, pero al revisar la grabación ves áreas borrosas. Esto suele ser normal y no un error (bug). Por lo tanto, durante la grabación, enfócate en la parte que deseas mostrar; esto garantizará que esa área esté clara.
  1. Impacto de la tasa de cuadros (frame rate) y la frecuencia de actualización (refresh rate)
  • Grabación: el video grabado generalmente se realiza a 30 FPS o 60 FPS.
  • Ojo humano: la frecuencia de actualización real experimentada puede ser de 90Hz o 120Hz.
  • Impacto: caídas de tasa de cuadros muy leves pueden ser imperceptibles en la grabación, pero el ojo humano percibirá un claro "tartamudeo" (stuttering) o "mareo". Si la grabación parece fluida pero la experiencia real no lo es, esto suele indicar un problema de rendimiento; asegúrate de mencionarlo después de grabar.

Notas especiales para dispositivos OST

Presta especial atención: si estás utilizando un dispositivo OST (Optical See-Through, transparencia óptica), como las gafas AR Rokid, Xreal, etc., la función de grabación de pantalla no grabará el contenido del mundo real que ven tus ojos.

¿Qué es un dispositivo OST?

Los dispositivos OST proyectan luz directamente en tus ojos a través de lentes ópticos semitransparentes, mientras que el contenido virtual se superpone en el campo visual mediante microproyección o guías de ondas, permitiéndote ver simultáneamente el mundo real y las imágenes virtuales. Las cámaras que capturan el mundo exterior se usan únicamente para el seguimiento espacial, no para la visualización. Debido a este mecanismo, el dispositivo en sí no puede "grabar" la escena del mundo real que ven tus ojos.

Limitaciones de la grabación en dispositivos OST

  • No se puede grabar la escena real: la función de grabación de los dispositivos OST solo graba la capa de contenido virtual (GUI, modelos 3D, punteros UI, etc.).
  • Fondo negro: cuando reproduzcas este video en una computadora o teléfono, verás objetos virtuales sobre un fondo negro puro, perdiendo por completo el contexto del entorno real.
  • Pérdida de relaciones de oclusión: si un objeto virtual debería estar ocluido por un objeto real (como tu mano o una mesa), en la grabación aparecerá flotando sobre el fondo negro, dando la impresión de una jerarquía incorrecta.

Problemas de error visual en la superposición de contenido virtual

Incluso en condiciones ideales, la alineación entre el contenido virtual presentado por los dispositivos OST y el mundo real inevitablemente presenta cierto grado de error visual. Estos errores no siempre son causados por errores de software (bugs) o fallas de seguimiento; a menudo se originan en diferencias fundamentales entre las propiedades físicas del dispositivo y el sistema visual humano, y algunos errores no pueden eliminarse por completo con la tecnología actual.

Al enviar comentarios (feedback), distingue entre las siguientes situaciones:

  • Error de alineación óptica:
    • Fenómeno: cuando mueves la cabeza, los objetos virtuales parecen "flotar" o tener un ligero desplazamiento respecto a la posición de los objetos reales.
    • Causa: el usuario mira el mundo real directamente a través de las lentes ópticas, mientras que el sistema de coordenadas para renderizar el contenido virtual generalmente se basa en el seguimiento de la cabeza y un sistema de comprensión del entorno (como SLAM). Existe un desplazamiento físico entre la ruta óptica de visualización y las cámaras/IMU utilizadas para el seguimiento espacial, y es difícil lograr una calibración conjunta a nivel de subpíxel. La alineación realidad-virtual es especialmente sensible en la visión periférica o escenas de corta distancia.
  • Limitaciones de la calibración ocular:
    • Fenómeno: los objetos virtuales parecen tener fantasmas (ghosting), bordes borrosos, o la sensación de que la imagen no se proyecta correctamente en el espacio.
    • Causa: los dispositivos OST dependen en gran medida de una calibración precisa de la distancia interpupilar (IPD) y la posición del ojo. Si el dispositivo no está calibrado con precisión para tus ojos o si la posición del casco se ha desplazado, la luz proyectada por el motor óptico no puede entrar correctamente en tu pupila. Sin embargo, incluso con calibración, este proceso se basa en puntos de muestreo limitados y es difícil igualar con precisión la geometría del ojo, la curvatura corneal y los hábitos de percepción visual de cada usuario. Pequeñas desviaciones en la calibración pueden provocar desplazamientos sistemáticos en la profundidad o posición lateral de los objetos virtuales.
  • Diferencias visuales individuales:
    • Fenómeno: diferentes usuarios pueden tener juicios subjetivos distintos sobre la posición del contenido virtual.
    • Causa: la agudeza visual del usuario (como miopía, astigmatismo) y la capacidad de enfoque dinámico afectan su juicio subjetivo sobre el efecto de superposición. Los dispositivos OST pueden carecer de capacidades de seguimiento ocular en tiempo real y corrección óptica personalizada, por lo que no pueden compensar dinámicamente estas diferencias para cada usuario.
  • Interferencia de factores ambientales:
    • Fenómeno: el contenido virtual se desvanece, se vuelve difícil de ver o incluso invisible en entornos brillantes; en entornos oscuros, el contenido virtual se sobreexpone o produce fantasmas.
    • Causa: los dispositivos OST superponen directamente la luz virtual (de microproyección o guías de ondas) con la luz ambiental del mundo real. Si el entorno real es demasiado brillante, eclipsará la débil luz virtual, y viceversa. Este tipo de artefacto óptico es una característica inherente de los dispositivos OST.
Nota

Estos errores son inherentes a la tecnología de gafas AR OST, no un mal funcionamiento. Al solucionar problemas, distingue entre "problemas de software/seguimiento reparables" y "límites de la experiencia impuestos por el hardware y la fisiología". Si los comentarios del usuario involucran una ligera desalineación, distorsión en los bordes o inconsistencia en la percepción de profundidad, se recomienda verificar primero si se encuentran dentro de las condiciones de uso nominales del dispositivo (por ejemplo, distancia de trabajo, rango de iluminación, estado de calibración).

¿Cómo manejar los comentarios sobre dispositivos OST?

Si experimentas problemas visuales con un dispositivo OST, después de descartar los factores limitantes mencionados anteriormente, puedes realizar una grabación para enviar comentarios. Sin embargo, enviar solo la grabación generalmente no es suficiente:

  1. Complementa con fotos: toma una foto con tu teléfono de lo que ves realmente a través de las lentes (llamada "foto desde la perspectiva del ojo"). Esto muestra la posición relativa de los objetos virtuales con el entorno real.
  2. Describe el entorno: describe en detalle tu entorno (condiciones de iluminación, color de fondo, presencia de elementos dinámicos como personas), ya que el rendimiento visual de OST depende en gran medida de la luz ambiental.

Métodos comunes de grabación de pantalla para dispositivos de visualización

Nota

Durante la grabación, es posible que el dispositivo reduzca la tasa de cuadros (frame rate) o la resolución de renderizado, lo que afecta la evaluación de la fluidez y la estabilidad del seguimiento. Se recomienda grabar lo antes posible después de reproducir el problema, evitando ejecuciones prolongadas que puedan afectar el resultado.

Apple Vision Pro

  1. Mira hacia arriba en la parte superior de la pantalla hasta que veas el punto del Centro de control. Enfócate en este punto y haz clic.
  2. Mira y toca Centro de control > Botón "Grabar mi vista" para comenzar a grabar.
  3. Para detener la grabación, abre el Centro de control y toca "Grabar mi vista" nuevamente.
  4. Tu grabación de vista se guardará en la App Fotos .

PICO 4 Ultra Enterprise

  1. Abre Centro de control > Configuración > General > Transmisión, grabación de pantalla y capturas de pantalla. En "Grabación de pantalla y capturas de pantalla", selecciona el modo de grabación como "Espacial".
  2. Presiona brevemente el botón Home del controlador. En el menú emergente de la pantalla, selecciona el botón "Grabar", luego presiona el gatillo para comenzar a grabar.
  3. El sistema mostrará una cuenta regresiva de inicio. Regresa inmediatamente a la interfaz de la aplicación que deseas grabar. La grabación comenzará automáticamente después de la cuenta regresiva.
  4. Para detener la grabación, presiona brevemente el botón Home del controlador nuevamente y selecciona el botón "Grabar" otra vez.
  5. Tus archivos grabados se guardan por defecto en el directorio "Almacenamiento interno/DCIM/ScreenRecord" del dispositivo.

Rokid AR Studio

  1. Ve al escritorio, busca la barra de estado inferior y haz clic en el área "Configuración rápida" junto al avatar del usuario.
  2. En la ventana emergente, haz clic en el botón "Grabar". Regresa inmediatamente a la interfaz de la aplicación que deseas grabar. El sistema comenzará a grabar automáticamente.
  3. Presiona el botón X en el Station Pro para volver al escritorio. Haz clic nuevamente en el botón "Grabar" en el área de "Configuración rápida" para detener la grabación.
  4. Tus archivos grabados se guardan por defecto en el directorio "Espacio de almacenamiento compartido interno/ScreenRecorder" del dispositivo.

XREAL Air2 Ultra

  1. Desliza hacia abajo en la pantalla del Beam Pro para abrir el Centro de control de las gafas. Toca el botón "Grabar" en la parte superior.
  2. El sistema mostrará una cuenta regresiva. Regresa inmediatamente a la interfaz de la aplicación que deseas grabar.
  3. Toca el botón rojo "Detener" flotante en la parte superior de la pantalla para detener la grabación.
  4. Tus archivos grabados se guardan por defecto en el directorio "Espacio de almacenamiento compartido interno/Movies/Record" del dispositivo.

Prácticas recomendadas

Al utilizar la grabación de dispositivos de visualización para informar problemas, enfócate en los siguientes puntos:

  • Al enviar, etiqueta claramente el modelo del dispositivo, el método de grabación y los factores ambientales.
  • Si el problema involucra profundidad, oclusión o temblor en el seguimiento, complementa con una descripción textual del fenómeno observado realmente por el ojo humano, ya que la grabación podría no representarlo con precisión.
  • Para escenas críticas, considera complementar con grabaciones de una cámara externa que muestren la operación del usuario mientras usa el dispositivo, proporcionando un contexto más completo.

Aunque la grabación de dispositivos de visualización es conveniente, siempre es una aproximación a la experiencia real. El diagnóstico más confiable aún requiere combinar registros (logs), datos de sensores y la retroalimentación subjetiva del usuario. Para métodos de recopilación de registros, consulta: