Concepts et flux de travail de MegaTracker
Ce document présente les concepts fondamentaux de MegaTracker et sa relation avec le système AR natif de WeChat, VisionKit, et le framework de rendu xr-frame.
Avant de commencer
Consultez Présentation de Mega pour comprendre :
- Les principes fondamentaux du positionnement et du suivi de Mega.
- Ce qu'est un Mega Block.
- Les résultats attendus après l'intégration de Mega.
Qu'est-ce que le traqueur AR planaire
Le traqueur AR planaire de xr-frame est essentiellement une encapsulation de la capacité 6DoF-planaire de VisionKit.
Lorsque le composant caméra de xr-frame active isARCamera, la transformation 3D de la caméra est synchronisée à chaque frame avec le système AR (VisionKit).
xr-frame fournit les capacités de rendu 3D, tandis que VisionKit fournit les capacités de suivi de mouvement dans le système de coordonnées de l'espace réel.
Le traqueur AR planaire ne peut pas être utilisé avec d'autres traqueurs AR.
Qu'est-ce que MegaTracker
MegaTracker est le composant algorithmique central qui connecte le système AR de WeChat (VisionKit) au service de calcul spatial Mega, fournissant des fonctionnalités de positionnement cloud.
Entrée : La pose de la caméra dans le système de coordonnées de VisionKit (données 6DoF) calculée par VisionKit pour chaque frame, et l'image de la caméra au moment de la frame de positionnement Mega.
Sortie : La pose de la caméra dans le Mega Block actuellement localisé et suivi.
Comment MegaTracker fonctionne sur xr-frame
flowchart BT
subgraph Utilisation de xr-frame uniquement
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Utilisation du plugin Mega
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- Dans le flux de données natif de WeChat, le composant caméra de xr-frame est mis à jour à chaque frame directement par les résultats du traqueur AR planaire.
- Dans le flux de données de la mini-programme Mega, la pose de la caméra dans le système de coordonnées de VisionKit (données 6DoF) et les données d'image de la frame de positionnement sont envoyées à MegaTracker. Après le positionnement cloud et le calcul local, la pose de la caméra dans le Mega Block actuellement localisé et suivi est produite, mettant à jour finalement le LocalTransform de la caméra dans la scène xr-frame sous le nœud Mega Block. À ce stade, MegaTracker prend le contrôle de la caméra et xr-frame ne met plus à jour la caméra en fonction du traqueur AR.
Le fonctionnement de MegaTracker dépend fortement des données de mouvement 6DoF fournies par le traqueur planaire. Par conséquent, MegaTracker ne peut intervenir qu'après que le traqueur planaire ait terminé son initialisation et établi un état de suivi stable. De plus, la stabilité du suivi AR est limitée par les caractéristiques de l'environnement ; dans des scénarios extrêmes tels que de grandes surfaces sans texture (comme un mur blanc) ou une occlusion prolongée de la caméra, si le suivi planaire sous-jacent de WeChat dérive ou est perdu, MegaTracker perdra sa source d'entrée fiable et entrera simultanément dans un état d'échec.