Détection de plan EasyAR
La détection de plan EasyAR consiste à détecter automatiquement les plans horizontaux dans l'environnement lors de l'exécution du suivi de mouvement EasyAR, fournissant des fonctionnalités telles que le placement d'objets virtuels.
Principe de détection de plan EasyAR
La détection de plan EasyAR (Plane Detection) est une capacité simple de compréhension de l'environnement réalisée synchronisée pendant l'exécution du suivi de mouvement (Motion Tracker) EasyAR. Le système, basé sur les informations spatio-temporelles obtenues par la caméra de l'appareil et les capteurs inertiels, modélise en continu l'environnement réel, identifie et suit ainsi les plans horizontaux, fournissant un support de base pour le placement d'objets virtuels, l'alignement des interactions et la compréhension spatiale.
Le processus spécifique est le suivant :
Suivi de mouvement
Pendant l'exécution du suivi de mouvement, EasyAR acquiert continuellement deux types de données principales : des trames d'images continues de la caméra RGB, et des données de l'accéléromètre et du gyroscope. Le système estime la position et l'orientation continues à six degrés de liberté de l'appareil dans le système de coordonnées mondial grâce à un algorithme de fusion visuoinertielle, fournissant une trajectoire de caméra stable et à faible dérive pour la modélisation spatiale et l'analyse de plan ultérieures.
Détection et triangulation de points caractéristiques
Sur la base de l'estimation de la pose, EasyAR extrait et suit des points caractéristiques visuels stables (comme des coins ou des zones à texture marquée) à partir de la séquence d'images, et les triangule par des méthodes de géométrie multi-vues, reconstruisant leur position dans l'espace 3D pour former une représentation de nuage de points 3D local.
Génération de régions candidates pour les plans
Après l'obtention du nuage de points 3D, le système analyse géométriquement le nuage de points pour découvrir des ensembles de points susceptibles d'appartenir à un même plan. En évaluant la relation avec la direction de la gravité, le système peut distinguer les candidats plans horizontaux, c'est-à-dire les plans dont la normale est approximativement parallèle à la direction de la gravité (comme le sol, le dessus d'une table).
Suivi et détection des plans
EasyAR valide et met à jour les plans détectés sur des trames continues :
- Il détermine si les nouveaux points 3D observés supportent les modèles de plan existants ;
- Il ajuste dynamiquement l'étendue, les limites et la confiance des plans en fonction de la cohérence des observations ;
- Il élimine les candidats plans temporaires ou instables. Ce n'est que lorsque la cohérence géométrique et la stabilité temporelle satisfont aux exigences que le résultat est considéré comme un "plan utilisable".
Alignement du système de coordonnées du plan avec le contenu virtuel
Une fois qu'un plan est confirmé, vous pouvez réaliser des effets AR plus réalistes basés sur les résultats de la détection de plan :
- Placer des objets virtuels sur le plan, réalisant un alignement à l'échelle et dans la direction réelle ;
- Effectuer un test de collision (Hit Test), mappant un clic d'écran à la position réelle du plan ;
- Implémenter une logique d'interaction basée sur le plan, comme l'aimantation, le déplacement et le jugement d'occlusion des objets.
Comme le plan partage le même système de coordonnées mondial que le système de suivi de mouvement, les objets virtuels peuvent maintenir une cohérence spatiale stable et continue lorsque l'utilisateur déplace l'appareil.
La détection de plan dépend de la pose stable et de la structure spatiale fournies par le suivi de mouvement, tandis que les résultats de la détection de plan peuvent à leur tour être utilisés pour améliorer la capacité de compréhension de l'environnement, comme aider au placement de contenu et à la conception d'interactions. Ensemble, ils constituent le fondement central de la capacité de perception spatiale d'EasyAR, mais ils sont découplés dans l'architecture système ; la détection de plan ne modifie pas les résultats d'estimation de pose du suivi de mouvement lui-même.
Bonnes pratiques
Pour garantir l'efficacité de la détection de plan pour l'utilisateur, suivre les pratiques ci-dessous peut améliorer l'expérience utilisateur.
- Guider l'utilisateur à se déplacer lentement, éviter de rester immobile, de se déplacer rapidement ou de tourner sur place.
- Éviter les plans difficiles à identifier visuellement, comme les surfaces sans texture, unies ou réfléchissantes.
Note
La détection de plan est la fonctionnalité d'EasyAR pour identifier les plans horizontaux dans l'environnement. Le suivi de surface ne détecte ni n'identifie la structure plane de la scène, il est nécessaire de les distinguer.