Détection de plan easyar
La détection de plan EasyAR identifie automatiquement les surfaces horizontales ou verticales dans l'environnement lors de l'exécution du suivi de mouvement EasyAR, offrant des fonctionnalités telles que le placement d'objets virtuels.
Principes de la détection de plan easyar
La détection de plan EasyAR (Plane Detection) est une capacité simple de compréhension de l'environnement effectuée de manière synchrone pendant l'exécution du suivi de mouvement EasyAR (Motion Tracker). Le système modélise en continu l'environnement réel en se basant sur les informations spatio-temporelles obtenues à partir de la caméra de l'appareil et des capteurs inertiels, identifiant et suivant ainsi les surfaces horizontales et verticales de l'environnement. Cela fournit un support de base pour le placement d'objets virtuels, l'alignement des interactions et la compréhension spatiale.
Le processus spécifique est le suivant :
Suivi de mouvement
Pendant l'exécution du suivi de mouvement, EasyAR acquiert continuellement deux types de données principales : des images successives de la caméra RGB et les données de l'accéléromètre et du gyroscope. Grâce à des algorithmes de fusion visio-inertielle, le système estime la position et l'orientation continues à six degrés de liberté de l'appareil dans le système de coordonnées mondial, fournissant une trajectoire caméra stable et à faible dérive pour la modélisation spatiale et l'analyse de plan ultérieures.Détection de points caractéristiques et triangulation
Sur la base de l'estimation de la pose, EasyAR extrait et suit des points caractéristiques visuels stables (comme des coins ou des zones à texture significative) à partir de la séquence d'images. Par des méthodes de géométrie multi-vues, ces points sont triangulés pour retrouver leur position dans l'espace 3D, formant une représentation locale sous forme de nuage de points 3D.Génération de régions candidates pour les plans
Après l'obtention du nuage de points 3D, le système analyse géométriquement ce nuage pour découvrir des ensembles de points susceptibles d'appartenir à un même plan. En évaluant la relation avec la direction de la gravité, le système peut distinguer différents types de candidats plans :- Plans horizontaux : vecteur normal approximativement parallèle à la direction de la gravité (par ex. sol, table).
- Plans verticaux : vecteur normal approximativement perpendiculaire à la direction de la gravité (par ex. mur, pilier).
Suivi et détection des plans
EasyAR vérifie et met à jour les plans détectés sur des images successives :- Détermine si les nouveaux points 3D observés soutiennent les modèles de plan existants.
- Ajuste dynamiquement l'étendue, les limites et la confiance du plan en fonction de la cohérence des observations.
- Élimine les candidats plans temporaires ou instables. Un résultat n'est considéré comme un "plan utilisable" que lorsque la cohérence géométrique et la stabilité temporelle sont satisfaites.
Alignement du système de coordonnées du plan avec le contenu virtuel
Une fois un plan confirmé, vous pouvez réaliser des effets AR plus réalistes basés sur les résultats de la détection de plan :- Placer des objets virtuels sur le plan, assurant un alignement à l'échelle et dans la bonne direction.
- Effectuer des tests d'impact (Hit Test), projetant les clics à l'écran sur la position réelle du plan.
- Implémenter une logique d'interaction basée sur les plans, comme l'aimantation, le déplacement d'objets et le calcul d'occlusion.
Comme les plans partagent le même système de coordonnées mondial que le système de suivi de mouvement, les objets virtuels conservent une cohérence spatiale stable et continue lorsque l'utilisateur déplace l'appareil.
La détection de plan dépend de la pose stable et de la structure spatiale fournies par le suivi de mouvement. Inversement, les résultats de la détection de plan peuvent être utilisés pour améliorer les capacités de compréhension de l'environnement, par exemple en aidant au placement de contenu et à la conception d'interactions. Ensemble, ils constituent le fondement central des capacités de perception spatiale d'EasyAR, mais sont architecturés de manière découplée : la détection de plan ne modifie pas les résultats d'estimation de pose du suivi de mouvement lui-même.
Bonnes pratiques
Pour garantir une bonne expérience utilisateur avec la détection de plan, suivre ces pratiques améliore les résultats :
- Guider l'utilisateur à se déplacer lentement, en évitant de rester immobile, des mouvements rapides ou des rotations sur place.
- Éviter les surfaces sans texture, unies, réfléchissantes ou visuellement difficiles à identifier.
Note
La détection de plan est la fonction EasyAR qui identifie les surfaces horizontales ou verticales dans l'environnement. Le suivi de surface (surface tracking) ne détecte ni n'identifie les structures planes dans la scène ; ces deux fonctionnalités doivent être distinguées.