EasyAR обнаружение плоскостей
EasyAR обнаружение плоскостей — это функция, которая автоматически обнаруживает горизонтальные плоскости в окружающей среде во время работы EasyAR Motion Tracker, предоставляя возможности для размещения виртуальных объектов и другие функции.
Принцип обнаружения плоскостей EasyAR
Обнаружение плоскостей (Plane Detection) в EasyAR — это простая способность понимания окружающей среды, которая автоматически выполняется синхронно в процессе работы EasyAR Motion Tracker. Система непрерывно моделирует реальную среду на основе пространственно-временной информации, полученной от камеры устройства и инерциальных датчиков, тем самым распознавая и отслеживая горизонтальные плоскости в окружении, что обеспечивает базовую поддержку для размещения виртуальных объектов, выравнивания взаимодействий и пространственного понимания.
Конкретный процесс выглядит следующим образом:
Motion Tracker
Во время работы Motion Tracker EasyAR непрерывно получает два типа ключевых данных: непрерывные кадры изображения с RGB-камеры и данные акселерометра и гироскопа. Система оценивает непрерывное шестистепенное положение и ориентацию устройства в мировой системе координат с помощью алгоритма слияния визуальной и инерциальной информации, обеспечивая стабильную траекторию камеры с низким дрейфом для последующего пространственного моделирования и анализа плоскостей.
Обнаружение и триангуляция характерных точек
На основе оценки позы EasyAR извлекает и отслеживает стабильные визуальные характерные точки (такие как угловые точки или области с выраженной текстурой) из последовательности изображений и с помощью методов многовидовой геометрии триангулирует эти точки, восстанавливая их положение в трехмерном пространстве, формируя локальное представление в виде трехмерного облака точек.
Генерация кандидатов в плоскости
После получения трехмерного облака точек система проводит геометрический анализ облака точек для обнаружения наборов точек, которые могут принадлежать одной плоскости. Связывая с направлением силы тяжести, система может выделить кандидатов в горизонтальные плоскости, то есть плоскости, нормаль которых приблизительно параллельна направлению силы тяжести (например, пол, поверхность стола).
Отслеживание и обнаружение плоскостей
EasyAR проверяет и обновляет обнаруженные плоскости в последовательных кадрах:
- Определяет, поддерживают ли вновь наблюдаемые трехмерные точки существующую модель плоскости;
- Динамически корректирует границы, размеры и достоверность плоскости на основе согласованности наблюдений;
- Отсеивает временные или нестабильные кандидаты в плоскости. Результат считается "доступной плоскостью" только при выполнении требований как геометрической согласованности, так и временной стабильности.
Выравнивание системы координат плоскости и виртуального контента
Как только плоскость подтверждена, вы можете реализовать более реалистичные AR-эффекты на основе результатов обнаружения плоскостей:
- Размещать виртуальные объекты на плоскости, обеспечивая выравнивание по реальному масштабу и ориентации;
- Выполнять рейкастинг (Hit Test), сопоставляя нажатия на экране с реальным положением на плоскости;
- Реализовывать логику взаимодействия на основе плоскостей, такую как прилипание объектов, перемещение и определение перекрытия.
Поскольку плоскость и система Motion Tracker используют одну и ту же мировую систему координат, виртуальные объекты сохраняют стабильную и непрерывную пространственную согласованность при перемещении устройства пользователем.
Обнаружение плоскостей зависит от стабильной позы и пространственной структуры, предоставляемых Motion Tracker, в то время как результаты обнаружения плоскостей, в свою очередь, могут использоваться для усиления способности понимания окружающей среды, например, помощи в размещении контента и проектировании взаимодействий. Вместе они составляют основу способности пространственного восприятия EasyAR, но в архитектуре системы они развязаны: обнаружение плоскостей не изменяет результаты оценки позы самого Motion Tracker.
Лучшие практики
Для обеспечения эффективности использования обнаружения плоскостей пользователем, следование этим практикам может улучшить пользовательский опыт.
- Рекомендуйте пользователям двигаться медленно, избегая полной неподвижности, быстрых движений или вращения на месте.
- Избегайте плоскостей, которые трудно распознать визуально: без текстуры, однотонных, зеркальных и т.д.
Примечание
Обнаружение плоскостей — это функция EasyAR для распознавания горизонтальных плоскостей в окружающей среде. Surface Tracking не обнаруживает и не распознает плоскостные структуры в сцене, их необходимо различать.