Table of Contents

Combiner le suivi d'objet et le motion tracking

Cet article explique comment fusionner le suivi d'objet 3D avec le motion tracking de l'appareil afin d'améliorer la stabilité du suivi et l'expérience utilisateur dans des scénarios complexes.

Principe de base

Motion Fusion combine les données de pose du suivi d'objet 3D et du motion tracking de l'appareil pour obtenir une estimation de pose plus robuste.

Synchronisation et complémentarité des données

  • Suivi visuel : calcule la pose du frame courant (position + rotation) par correspondance des points caractéristiques de l'image, mais il est facilement affecté par l'occlusion, le flou ou les mouvements rapides.
  • Motion tracking : utilise la sortie haute fréquence des capteurs IMU et la sortie des images visuelles pour obtenir les données de mouvement de l'appareil, mais peut présenter une erreur de dérive cumulative.
  • Motion Fusion:
    • Aligne les systèmes de coordonnées de la pose du suivi visuel et de la pose du motion tracking de l'appareil.
    • Lorsque l'objet cible est clairement visible et se déplace de manière stable, le suivi visuel domine ; sa pose est envoyée en continu au module de fusion pour réduire la dérive cumulative.
    • Lorsque l'objet cible est perdu, occupe une trop petite partie du frame ou se déplace rapidement, le suivi visuel échoue et le motion tracking domine.

Points techniques clés

  • Alignement des timestamp : aligne les timestamp des frames visuels avec les données de motion tracking afin d'éviter le jitter dû à la latence.
  • Alignement des systèmes de coordonnées : aligne les systèmes de coordonnées selon la trajectoire du suivi visuel et celle du motion tracking.
  • Relocalisation : lorsque l'objet cible réapparaît, le suivi visuel prend le relais et corrige rapidement les erreurs cumulatives.

Scénarios applicables et limites

Motion Fusion ne convient pas à tous les scénarios. Motion Fusion n'est pas applicable dans les cas suivants :

  • L'appareil cible ne prend pas en charge les fonctions de motion tracking telles qu'ARCore/ARKit. Pour la liste détaillée des appareils pris en charge, consultez Prise en charge des appareils de motion tracking.
  • L'objet cible est dynamique dans la scène, par exemple un jouet ou une figurine tenue en main.

Dans les autres scénarios, Motion Fusion améliore fortement l'expérience du suivi d'objet 3D.

  • Mouvement rapide : un mouvement rapide de l'appareil tenu en main peut provoquer un flou de mouvement et faire échouer le suivi visuel.
  • La cible disparaît : le contenu virtuel de toute la scène peut continuer à être affiché lorsque la vue quitte la cible ou que celle-ci est occluse.
  • Éloignement de la cible : le suivi reste stable lorsque l'objet cible devient trop petit dans le frame.
  • Conditions de faible luminosité : les performances du suivi visuel diminuent et l'expérience doit être maintenue.

Effets et résultats attendus

Lorsque le scénario est applicable, Motion Fusion offre une expérience plus stable et fluide que le suivi d'objet 3D seul.

Résultat idéal

  • Suivi plus stable : les objets virtuels ne tremblent pas et ne sautent pas.
  • Transition fluide : lorsque le suivi visuel échoue, le changement de pose fusionnée reste continu et naturel.
  • Résistance aux interférences : lorsque l'objet cible est perdu ou occlus, ou que l'appareil se déplace rapidement, l'objet virtuel peut continuer à suivre le mouvement de l'appareil.

Cas non idéaux et réponses

Phénomène Cause Perception utilisateur Solution
Pas efficace au départ Le motion tracking nécessite un temps d'initialisation Le contenu disparaît au début Fournir des indications UI appropriées et s'assurer que l'initialisation du motion tracking système est terminée
Dérive évidente Les erreurs système s'accumulent et il n'y a pas de correction visuelle pendant longtemps Les objets virtuels s'écartent de leur position d'origine Guider l'utilisateur pour raccourcir le temps d'occlusion ou ajouter des indications de relocalisation visuelle
Baisse des performances Deux fonctions fonctionnent simultanément pendant longtemps Le frame rate baisse et l'image saccade Phénomène normal ; Motion Fusion peut être désactivé via l'API

Méthode de vérification du résultat attendu

Testez avec un appareil pris en charge dans une scène réelle :

  1. Visez l'objet cible et confirmez que l'objet virtuel est stable.
  2. Occultez l'objet avec la main pendant 2 secondes et déplacez l'appareil, puis observez si l'objet virtuel se déplace de manière fluide.
  3. Retirez la main et confirmez que l'objet virtuel revient rapidement à la bonne position sans saut.

Résumé et bonnes pratiques

Motion Fusion améliore nettement la robustesse du suivi d'objet 3D dans de nombreux scénarios, mais nécessite une prise en charge matérielle et des performances suffisantes.

Référence API pour activer/désactiver Motion Fusion en temps réel :