Enregistrement de fichiers eif et utilisation pour les simulations
Les fichiers eif (easyar input frame file) sont un format de fichier utilisé par easyar sense pour stocker une séquence de trames d'entrée. Cet article décrit comment enregistrer des fichiers eif et les utiliser pour des simulations.
Fichiers eif et contenu
En fonction du mode d'enregistrement, les fichiers eif existent en deux implémentations :
Format eif brut (extension habituelle .eif)
Le fichier eif brut stocke les données de trame d'entrée image par image selon une structure de données interne à easyar, incluant l'image et des informations complémentaires (comme les paramètres de la caméra et l'état du suivi). Ce format n'utilise pas de compression vidéo mais encode chaque image individuellement (par exemple, données d'image jpeg), adapté pour une reproduction fidèle.
Format eif mkv (extension habituelle .mkveif)
Format vidéo basé sur le conteneur mkv, où les informations des trames d'entrée sont encodées dans le conteneur mkv. Le codage vidéo utilise h.264 pour compresser les données d'image, tout en conservant les autres métadonnées des trames d'entrée (comme les données des capteurs imu, les données de localisation, etc.) en tant que flux ou pistes supplémentaires. Cela réduit significativement la taille du fichier et facilite le traitement vidéo standard.
Note
Le format eif mkv n'est actuellement pris en charge pour l'enregistrement que sur android/ios/macos/visionos et pour la lecture sur windows/macos. Le format eif traditionnel n'a pas cette limitation.
Enregistrement et lecture eif
Easyar fournit un mécanisme complet d'enregistrement et de lecture, contrôlé principalement par les composants suivants :
InputFrameRecorder / InputFramePlayer
Usage
Correspond aux composants d'enregistrement et de lecture pour le format eif brut.
Caractéristiques
Pendant l'enregistrement, toutes les trames d'entrée transmises sont sérialisées et sauvegardées, incluant l'image, les paramètres, l'état du suivi, etc.
VideoInputFrameRecorder / VideoInputFramePlayer
Usage
Correspond aux composants d'enregistrement et de lecture pour le format eif mkv.
Caractéristiques
L'enregistrement prend en charge davantage de flux de données de capteurs (comme le gyroscope, l'accéléromètre, les données de localisation, etc.) et les encapsule ensemble dans le fichier eif mkv. Le lecteur peut choisir de sortir ces données, facilitant la simulation complète de diverses entrées lors de l'enregistrement, côté pc.
Principe d'utilisation des fichiers eif pour les simulations et résultats obtenus
Utiliser un fichier eif enregistré comme source de données d'entrée revient à "rejouer" le flux complet de données des capteurs de la caméra physique lors de son exécution au moteur ar. En simulant la séquence de trames d'entrée :
Le moteur ar croit qu'il reçoit toujours les données de la caméra physique
Chaque trame en sortie de lecture possède l'horodatage original, les paramètres de la caméra et l'état de suivi, conduisant les algorithmes à traiter ces trames comme des données en temps réel.
Il est possible de reproduire le comportement d'exécution réel dans un environnement non-appareil (comme un pc ou l'éditeur unity)
Cela permet de déboguer des fonctionnalités comme le suivi visuel, la carte spatiale, etc., sans appareil physique, et de simuler l'exécution de fonctionnalités comme mega sur windows/mac.
Les résultats obtenus avec les simulations utilisant des fichiers eif :
Reproduire le processus réel de flux de données Même sans caméra, il est possible d'alimenter les fonctionnalités ar comme le suivi d'images planes, la localisation spatiale, la génération de cartes denses, etc., comme lors d'une exécution réelle.
Faciliter le développement, le débogage et le diagnostic Les fichiers eif enregistrés peuvent être utilisés pour analyser les causes d'échec de suivi, vérifier le comportement des algorithmes ar sur des entrées spécifiques ou les variations de performances.
Lecture multiplateforme Transférez les fichiers eif entre différentes plateformes, reproduisez sur pc le comportement d'une session ar enregistrée sur mobile, et déboguez sans appareil.
Prochaines étapes
Guides spécifiques à la plateforme
L'enregistrement de fichiers eif et leur utilisation pour des simulations sont étroitement liés à la plateforme. Consultez les guides suivants en fonction de votre plateforme cible :