EasyAR Plane Detection
EasyAR Plane Detection détecte automatiquement les plans horizontaux de l'environnement pendant l'exécution de EasyAR Motion Tracker et fournit des fonctions comme le placement d'objets virtuels.
Principe de EasyAR Plane Detection
EasyAR Plane Detection est une capacité simple de compréhension de l'environnement, exécutée automatiquement de manière synchrone pendant l'exécution de EasyAR Motion Tracker. À partir des informations spatio-temporelles obtenues par la caméra de l'appareil et les capteurs inertiels, le système modélise continuellement l'environnement réel, identifie et suit les plans horizontaux, et fournit un support de base pour le placement d'objets virtuels, l'alignement des interactions et la compréhension spatiale.
Le processus concret est :
Motion tracking
Pendant motion tracking, EasyAR obtient continuellement deux types de données essentiels : des frames d'image continues depuis la caméra RGB, et les données de l'accéléromètre et du gyroscope. Grâce à un algorithme de fusion visuelle-inertielle, le système estime la position et l'orientation continues à six degrés de liberté de l'appareil dans le système de coordonnées du monde, fournissant une trajectoire caméra stable et à faible dérive pour la modélisation spatiale et l'analyse des plans suivantes.
Détection de feature point et triangulation
Sur la base de l'estimation de pose, EasyAR extrait et suit des feature point visuels stables depuis la séquence d'images, comme des coins ou zones texturées distinctives, puis triangule ces points par géométrie multi-vues pour récupérer leurs positions dans l'espace 3D et former une représentation locale de point cloud 3D.
Génération de régions candidates de plan
Après obtention du point cloud 3D, le système réalise une analyse géométrique pour trouver les ensembles de points pouvant appartenir à un même plan. Selon la relation avec la direction de la gravité, le système peut distinguer des candidats de plan horizontal, c'est-à-dire des plans dont les vecteurs normaux sont approximativement parallèles à la gravité, comme sols ou tables.
Suivi et détection de plan
EasyAR valide et met à jour les plans détectés sur des frames consécutives :
- Détermine si les nouveaux points 3D observés soutiennent le modèle de plan existant ;
- Ajuste dynamiquement l'étendue, la limite et la confidence du plan selon la cohérence des observations ;
- Supprime les candidats de plan temporaires ou instables. Un résultat ne devient un « plan disponible » que lorsque la cohérence géométrique et la stabilité temporelle satisfont toutes deux aux exigences.
Système de coordonnées du plan et alignement du contenu virtuel
Une fois un plan confirmé, vous pouvez utiliser le résultat de plane detection pour créer des effets AR plus réalistes :
- Placer des objets virtuels sur le plan avec alignement à l'échelle et à la direction réelles ;
- Effectuer un ray casting, Hit Test, pour mapper les tapotements d'écran vers des positions réelles sur le plan ;
- Implémenter une logique d'interaction basée sur le plan, comme l'accrochage d'objets, le déplacement et les décisions d'occlusion.
Comme les plans et le système motion tracking partagent le même système de coordonnées du monde, les objets virtuels peuvent conserver une cohérence spatiale stable et continue lorsque l'utilisateur déplace l'appareil.
Plane detection dépend de la pose stable et de la structure spatiale fournies par motion tracking, et les résultats de plane detection peuvent aussi renforcer la compréhension de l'environnement, par exemple pour aider au placement du contenu et à la conception des interactions. Ensemble, ils constituent la base centrale de la perception spatiale EasyAR, mais ils sont découplés dans l'architecture système. Plane detection ne modifie pas le résultat d'estimation de pose de motion tracking lui-même.
Bonnes pratiques
Pour garantir l'expérience utilisateur avec plane detection, suivez ces pratiques.
- Guidez les utilisateurs pour qu'ils se déplacent lentement et évitent de rester immobiles, de bouger rapidement ou de tourner sur place.
- Évitez les plans sans texture, de couleur uniforme, miroir ou autrement difficiles à reconnaître visuellement.
Note
Plane Detection est la fonction EasyAR qui reconnaît les plans horizontaux dans l'environnement. Surface Tracking ne détecte ni ne reconnaît les structures de plan dans une scène et doit être distingué.