Concepts et workflow de MegaTracker
Ce document présente les concepts de base de MegaTracker ainsi que la relation entre MegaTracker, le système AR natif de WeChat VisionKit et le framework de rendu xr-frame.
Avant de commencer
Consultez Présentation de Mega pour comprendre :
- Les principes de base de la localisation et du suivi Mega.
- Ce qu'est un Mega Block.
- Le résultat attendu après l'intégration de Mega.
Qu'est-ce qu'un Plane AR Tracker
Le Plane AR Tracker de xr-frame est essentiellement une enveloppe autour de la capacité plane 6DoF de VisionKit.
Après l'activation de isARCamera dans le composant caméra de xr-frame, la transformation 3D de la caméra est synchronisée avec le système AR (VisionKit) à chaque frame.
xr-frame fournit les capacités de rendu 3D, tandis que VisionKit fournit les capacités de motion tracking dans le système de coordonnées de l'espace réel.
Le Plane AR Tracker ne peut pas être utilisé avec d'autres trackers AR.
Qu'est-ce que MegaTracker
MegaTracker est le composant algorithmique central qui relie le système AR de WeChat (VisionKit) au service de calcul spatial Mega. Il fournit la localisation cloud.
Entrée : la pose de caméra dans le système de coordonnées VisionKit calculée par VisionKit pour chaque frame (c'est-à-dire les données 6DoF), ainsi que l'image de caméra du frame utilisé pour la localisation Mega.
Sortie : la pose de caméra sous le Mega Block actuellement localisé et suivi.
Fonctionnement de MegaTracker sur xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- Dans le flux de données natif fourni par WeChat, le composant caméra de xr-frame est mis à jour à chaque frame directement à partir du résultat du Plane AR Tracker.
- Dans le flux de données fourni par le mini-programme Mega, la pose de caméra dans le système de coordonnées VisionKit (c'est-à-dire les données 6DoF) et les données d'image du frame de localisation sont transmises à MegaTracker. Après la localisation cloud et le calcul local, il produit la pose de caméra sous le Mega Block actuellement localisé et suivi, puis met à jour le LocalTransform de la caméra sous le nœud Mega Block dans la scène xr-frame. À ce moment-là, MegaTracker prend le contrôle de la caméra, et xr-frame ne met plus la caméra à jour selon le tracker AR.
MegaTracker dépend fortement des données de mouvement 6DoF fournies par le plane tracker. Par conséquent, MegaTracker ne peut pas intervenir avant que le plane tracker ait terminé son initialisation et établi un état de suivi stable. En outre, la stabilité du suivi AR est limitée par les caractéristiques de l'environnement. Dans des scénarios extrêmes, comme de grandes zones sans texture (par exemple des murs blancs) ou une occlusion prolongée de la caméra, si le suivi de plan sous-jacent de WeChat dérive ou est perdu, MegaTracker entrera également en état d'échec car il perdra une source d'entrée fiable.