Table of Contents

Enregistrement d'écran du casque : documenter les expériences immersives AR/MR

Lors du développement, des tests ou du support utilisateur avec un casque de réalité augmentée (AR) ou mixte (MR), l'enregistrement d'écran est un outil essentiel pour reproduire et analyser les problèmes. Cependant, contrairement aux appareils mobiles, l'enregistrement d'écran d'un casque implique des technologies spéciales telles que la transparence vidéo (Passthrough) et le rendu fovéal (Foveated Rendering). L'image enregistrée n'est généralement pas exactement équivalente à la vue stéréoscopique complète perçue directement par les yeux de l'utilisateur. Par conséquent, lors de l'interprétation du contenu enregistré, il est essentiel de noter les différences entre l'enregistrement et l'expérience visuelle réelle.

Pourquoi l'écran d'enregistrement du casque présente-t-il des différences visuelles ?

L'utilisateur doit noter particulièrement : l'image enregistrée du casque n'est pas exactement égale à ce que vous voyez réellement derrière les lentilles. Si vous détectez une anomalie dans l'enregistrement, veuillez absolument décrire votre perception réelle pour éviter de tromper les développeurs.

Voici les principales différences :

  1. Différences de résolution et de netteté
  • Enregistrement : généralement un flux vidéo monoscopique (par exemple œil gauche) en 1080p ou moins.
  • Œil humain : selon l'application, les casques modernes peuvent offrir une résolution monoscopique allant jusqu'à 2K ou plus.
  • Impact : le flou de texte ou d'image que vous voyez dans l'enregistrement peut ne pas exister dans le casque ; inversement, les petits crénelages de bordure que vous voyez dans le casque peuvent être totalement invisibles dans l'enregistrement.
  1. Différence de champ de vision (FOV)
  • Enregistrement : l'image enregistrée est généralement carrée. Surtout sur les appareils à large champ de vision, le contenu périphérique est souvent rogné.
  • Œil humain : l'image perçue est affichée en binoculaire, avec un champ visuel plus large.
  • Impact : si votre problème se produit en périphérie du champ visuel, l'enregistrement peut ne pas le refléter avec précision.
  1. Impact du rendu fovéal (Foveated Rendering)
  • Enregistrement : tout le contenu du champ visuel est inclus, y compris les zones périphériques en basse résolution.
  • Œil humain : le centre du regard est en haute résolution, tandis que la périphérie non regardée est en basse résolution.
  • Impact : vous pouvez percevoir l'image comme très nette, mais en revoyant l'enregistrement, certaines zones apparaissent floues. Ceci est généralement normal et non un bug. Par conséquent, lors de l'enregistrement, concentrez-vous absolument sur la partie que vous souhaitez montrer, ce qui garantira que cette zone est nette.
  1. Impact du taux d'images et de rafraîchissement
  • Enregistrement : la vidéo est généralement enregistrée à 30 FPS ou 60 FPS.
  • Œil humain : le taux de rafraîchissement réel de l'écran peut atteindre 90 Hz ou 120 Hz.
  • Impact : une très légère baisse du taux d'images peut être imperceptible dans l'enregistrement, mais l'œil humain ressentira un "saccadé" ou un "vertige" prononcé. Si l'enregistrement semble fluide mais pas l'expérience réelle, il s'agit généralement d'un problème de performance ; précisez-le absolument après l'enregistrement.

Notes spéciales pour les casques OST

Notez particulièrement : si vous utilisez un casque OST (Optical See-Through, transparence optique) comme les lunettes AR Rokid, Xreal, etc., la fonction d'enregistrement d'écran n'enregistrera pas le contenu réel vu par l'œil humain.

Qu'est-ce qu'un appareil OST ?

Les appareils OST projettent la lumière directement dans vos yeux via des lentilles optiques semi-transparentes, tandis que le contenu virtuel est superposé dans le champ de vision via une microprojection ou un guide d'ondes, vous permettant de voir simultanément le monde réel et les images virtuelles superposées. Sa caméra filmant le monde extérieur est uniquement utilisée pour le suivi spatial, pas pour l'affichage. En raison de ce mécanisme, l'appareil lui-même ne peut pas "enregistrer" la scène réelle vue par l'œil humain.

Limites de l'enregistrement d'écran des appareils OST

  • Impossible d'enregistrer la scène réelle : la fonction d'enregistrement des appareils OST n'enregistre que la couche de contenu virtuel (GUI, modèles 3D, pointeur UI, etc.).
  • Fond noir : lorsque vous rejouez cette vidéo sur un ordinateur ou un téléphone, vous verrez des objets virtuels sur fond noir pur, perdant complètement le contexte de l'environnement réel.
  • Perte des relations d'occlusion : si un objet virtuel devrait être occulté par un objet réel (comme votre main, une table), dans l'enregistrement, il flottera sur l'écran noir, semblant avoir une relation de calque incorrecte.

Problème d'erreur visuelle de superposition de contenu virtuel

Même dans des conditions idéales, l'alignement entre le contenu virtuel affiché par un casque OST et le monde réel présente inévitablement un certain degré d'erreur visuelle. Ce type d'erreur n'est pas toujours causé par un bug logiciel ou une défaillance de suivi, mais résulte souvent de différences fondamentales entre les caractéristiques physiques de l'appareil et le système visuel humain ; certaines erreurs ne peuvent être complètement éliminées avec les technologies actuelles.

Lors du signalement, distinguez les situations suivantes :

  • Erreur d'alignement optique :
    • Phénomène : lorsque vous bougez la tête, l'objet virtuel semble "flotter" ou présenter un léger décalage par rapport à la position des objets réels.
    • Cause : l'utilisateur voit le monde réel directement à travers les lentilles optiques, tandis que le système de coordonnées de rendu du contenu virtuel est généralement construit sur un système de suivi de tête et de compréhension de l'environnement (comme SLAM). En raison du décalage physique entre le trajet lumineux d'affichage optique et les caméras/IMU utilisées pour le suivi spatial, et de la difficulté d'un étalonnage conjoint au niveau sous-pixel, l'alignement réalité-virtuel est particulièrement sensible dans les champs de vision périphériques ou les scènes rapprochées.
  • Limites de l'étalonnage oculaire :
    • Phénomène : l'objet virtuel semble présenter des images fantômes (ghosting), des bords flous, ou donne l'impression d'être mal projeté dans l'espace.
    • Cause : les appareils OST dépendent énormément d'un étalonnage précis de la distance interpupillaire (IPD) et de la position oculaire. Si l'appareil n'est pas précisément calibré pour vos yeux ou si la position du casque a bougé, la lumière projetée par le moteur optique n'atteindra pas correctement votre pupille. Cependant, même avec un étalonnage, celui-ci repose sur des points d'échantillonnage limités, rendant difficile une correspondance précise avec la géométrie oculaire, la courbure cornéenne et les habitudes perceptives visuelles de chaque utilisateur. De légers écarts d'étalonnage peuvent entraîner des décalages systématiques en profondeur ou latéralement.
  • Différences visuelles individuelles :
    • Phénomène : le jugement subjectif de la position du contenu virtuel peut varier selon les utilisateurs.
    • Cause : l'acuité visuelle (comme la myopie, l'astigmatisme), la capacité de focalisation dynamique, etc., de différents utilisateurs affectent leur jugement subjectif de l'effet de superposition du contenu virtuel. Les appareils OST peuvent manquer de capacités de suivi oculaire en temps réel et de correction optique personnalisée, les empêchant de compenser dynamiquement ces différences pour chaque utilisateur.
  • Interférences des facteurs environnementaux :
    • Phénomène : dans un environnement lumineux, le contenu virtuel devient pâle, difficile à voir voire invisible ; dans un environnement sombre, le contenu virtuel est surexposé, voire produit des images fantômes.
    • Cause : les appareils OST superposent directement la lumière virtuelle de la microprojection ou du guide d'ondes avec la lumière ambiante du monde réel. Si l'environnement réel est trop lumineux, il éclipsera la faible lumière virtuelle ; et vice versa. Ce type d'artefact optique est une caractéristique inhérente des appareils OST.
Note

Ces erreurs font partie des caractéristiques inhérentes de la technologie des lunettes AR OST, et non d'une défaillance fonctionnelle. Lors du dépannage, distinguez les "problèmes logiciels/de suivi réparables" des "limites d'expérience imposées par le matériel et la physiologie". Si les retours utilisateurs concernent des décalages légers, des distorsions périphériques ou des incohérences de perception de la profondeur, il est recommandé de vérifier d'abord si l'utilisation se situe dans les conditions nominales de l'appareil (distance de travail, plage d'éclairage, état d'étalonnage).

Comment traiter les retours sur les appareils OST ?

Si vous rencontrez un problème visuel avec un appareil OST, après avoir exclu les facteurs liés aux limites de l'appareil mentionnées ci-dessus, vous pouvez effectuer un enregistrement d'écran pour le signaler. Mais soumettre uniquement l'enregistrement est généralement insuffisant :

  1. Associez une photo : prenez une photo avec votre téléphone de ce que vous voyez réellement à travers les lentilles (appelée "photo de l'angle de vue oculaire"). Cela montre la position relative des objets virtuels par rapport à l'environnement réel.
  2. Décrivez l'environnement : décrivez en détail votre environnement (conditions d'éclairage, couleur de fond, présence d'éléments dynamiques comme des passants), car l'affichage OST dépend énormément de la lumière ambiante.

Méthodes courantes d'enregistrement d'écran pour casques

Note

Pendant l'enregistrement, l'appareil peut réduire le taux d'images ou la résolution de rendu, affectant le jugement de la fluidité et de la stabilité du suivi. Il est recommandé d'enregistrer dès que possible après la reproduction du problème, pour éviter que les longues exécutions n'affectent les résultats.

Apple Vision Pro

  1. Levez les yeux vers le haut de l'écran jusqu'à voir le point du centre de contrôle. Concentrez-vous sur ce point et cliquez.
  2. Regardez et appuyez sur Centre de contrôle > bouton "Enregistrer mon champ de vision" pour démarrer l'enregistrement.
  3. Pour arrêter l'enregistrement, ouvrez le centre de contrôle, puis appuyez à nouveau sur "Enregistrer mon champ de vision".
  4. Votre enregistrement sera enregistré dans l'App Photos .

PICO 4 Ultra Enterprise

  1. Ouvrez Centre de contrôle > Paramètres > Général > Diffusion, enregistrement d'écran et capture d'écran, dans "Enregistrement d'écran et capture d'écran", sélectionnez le mode d'enregistrement "Spatial".
  2. Appuyez brièvement sur la touche Accueil de la manette, dans le menu qui apparaît à l'écran, sélectionnez le bouton "Enregistrement d'écran", puis appuyez sur la gâchette pour démarrer l'enregistrement.
  3. Le système affichera alors un décompte de départ, revenez immédiatement à l'interface de l'application à enregistrer. L'enregistrement démarre automatiquement à la fin du décompte.
  4. Appuyez à nouveau brièvement sur la touche Accueil de la manette et répétez la sélection du bouton "Enregistrement d'écran" pour arrêter l'enregistrement.
  5. Votre fichier enregistré est par défaut sauvegardé dans le répertoire "Stockage interne/DCIM/ScreenRecord" de l'appareil.

Rokid AR Studio

  1. Accédez au bureau, trouvez la barre d'état en bas, cliquez sur la zone "Paramètres rapides" à côté de l'avatar utilisateur.
  2. Dans la fenêtre contextuelle, cliquez sur le bouton "Enregistrer", revenez immédiatement à l'interface de l'application à enregistrer. Le système démarre automatiquement l'enregistrement.
  3. Appuyez sur le bouton X du Station Pro pour revenir au bureau. Cliquez à nouveau sur le bouton "Enregistrer" de la zone "Paramètres rapides" pour arrêter l'enregistrement.
  4. Votre fichier enregistré est par défaut sauvegardé dans le répertoire "Stockage partagé interne/ScreenRecorder" de l'appareil.

XREAL Air2 Ultra

  1. Faites glisser vers le bas sur l'écran du Beam Pro pour afficher le centre de contrôle des lunettes, cliquez sur le bouton "Enregistrement d'écran" en haut.
  2. Le système affiche alors un décompte, revenez immédiatement à l'interface de l'application à enregistrer.
  3. Cliquez sur le bouton rouge "Arrêter" flottant en haut de l'écran pour arrêter l'enregistrement.
  4. Votre fichier enregistré est par défaut sauvegardé dans le répertoire "Stockage partagé interne/Movies/Record" de l'appareil.

Recommandations de meilleures pratiques

Lors de l'utilisation de l'enregistrement d'écran du casque pour signaler un problème, portez une attention particulière aux points suivants :

  • Lors de la soumission, indiquez clairement le modèle de l'appareil, la méthode d'enregistrement et les facteurs environnementaux.
  • Si le problème concerne la profondeur, l'occlusion ou les tremblements de suivi, complétez par une description textuelle du phénomène réellement observé à l'œil nu, car l'enregistrement pourrait ne pas le représenter avec précision.
  • Pour les scènes critiques, complétez par une vidéo externe filmant l'utilisateur en train d'opérer avec le casque, afin de fournir un contexte plus complet.

Bien que pratique, l'enregistrement d'écran du casque reste toujours une approximation de l'expérience. Le diagnostic le plus fiable nécessite de combiner les journaux, les données des capteurs et les retours subjectifs des utilisateurs. Pour les méthodes de collecte des journaux, consultez :