Совместное использование с отслеживанием плоских изображений

Cloud image recognition также можно использовать вместе с planar image tracking, чтобы реализовать гибридный режим "распознавание + непрерывное отслеживание". В этой статье описано, как его использовать, а также анализируются его преимущества и подходящие сценарии.

Рабочий процесс

Основа гибридного режима — бесшовное соединение cloud recognition и local tracking. Процесс выглядит так:

Этап cloud recognition

1. Отправка запроса: камера устройства захватывает текущее изображение и отправляет его на сервер CRS.
2. Сопоставление в облаке: CRS выполняет поиск в библиотеке целей и возвращает ID совпавшей цели, а также данные изображения (Base64 encoded).
3. Получение результата: клиент получает результат распознавания и запускает последующую логику обработки.

Этап local tracking

1. Декодирование изображения: клиент декодирует данные Base64 в изображение и на его основе локально создает экземпляр ImageTarget.
2. Инициализация отслеживания: инициализируйте ImageTracker и вызовите метод loadTarget, чтобы запустить planar image tracking.
3. Непрерывное отслеживание: устройство локально вычисляет позу 6DoF, а виртуальный контент в реальном времени следует за изображением.

Преимущества совместного использования

По сравнению с использованием только cloud recognition, совместный режим лучше проявляет себя в следующих аспектах:

• Снижение вероятности ложного распознавания
  Если использовать только cloud recognition, при наличии похожих изображений в библиотеке целей может быть возвращена неверная цель. С помощью локального image tracking локальное отслеживание продолжает проверять признаки изображения. Если фактическое содержимое изображения не соответствует результату распознавания, отслеживание быстро теряется и запускается повторное распознавание. Поэтому совместное использование может значительно снизить долю ложных распознаваний cloud recognition.

• Поддержка непрерывного отслеживания и взаимодействия
  При использовании только cloud recognition можно получить только ID цели, но нельзя поддерживать непрерывные взаимодействия, такие как вращение и масштабирование. В гибридном режиме после распознавания сразу выполняется переключение на local tracking с поддержкой обновления позы 6DoF в реальном времени. Пользователь может перемещать устройство или изображение, а виртуальный контент будет постоянно следовать за ним, что подходит для AR-игр, демонстрации продуктов и других сценариев.

• Снижение нагрузки на облако
  Частые вызовы cloud recognition, например один раз в секунду, увеличивают нагрузку на сервер и задержку. В гибридном режиме после успешного распознавания дальнейшее отслеживание выполняется локально на устройстве без постоянной загрузки изображений. Cloud recognition повторно запускается только при потере отслеживания, что может значительно сократить число облачных запросов и сетевой трафик клиента.

• Адаптация к слабой сети
  При нестабильной сети cloud recognition в одиночку легко приводит к тайм-аутам или сбоям. В гибридном режиме после успешного распознавания local tracking может продолжать работать даже при отключении сети. Его можно объединить с локальной библиотекой целей, чтобы предоставить деградированный режим до восстановления сети.

Лучшие практики

При выборе между cloud recognition, planar image tracking и гибридным режимом оцените следующие параметры:

Как выбрать функцию

Особенности приложения	Рекомендуемое решение	Причина
Количество целей < 100	Planar image tracking	Достаточно локальной памяти, зависимость от сети не нужна
Нет сети или сеть нестабильна	Planar image tracking	Избежать сбоев распознавания и обеспечить автономную работу
Цели нужно обновлять в реальном времени	Cloud recognition	Изменения вступают в силу сразу после загрузки, подходит для динамического контента
Производительность устройства ограничена	Cloud recognition	Встроенные устройства или экстремальные требования к энергопотреблению
Непрерывное отслеживание не требуется	Cloud recognition	Например, однократное сканирование и распознавание без необходимости отслеживания

Когда выбирать гибридный режим

• Большое количество целей (>100): облако предоставляет практически неограниченное хранилище, а локально загружается только текущая цель, что экономит память.
• Требуется непрерывное взаимодействие: например, AR-обучение (вращение 3D-модели после распознавания учебных материалов) и AR-маркетинг (просмотр 3D-демонстрации после распознавания продукта).
• Критична защита от ложного распознавания: например, медицинские и промышленные сценарии, где нужно обеспечить точность распознавания.
• Нужен деградированный режим при слабой сети: после успешного распознавания отслеживание может продолжаться даже при отключении сети.

Итоги и развитие

Гибридный режим cloud recognition и planar image tracking объединяет большую емкость облака и способность локального отслеживания работать непрерывно, особенно подходя для сложных сценариев, требующих высокой точности и интерактивности. Разработчикам следует гибко выбирать отдельные функции или гибридный режим в зависимости от количества целей, частоты обновления, сетевой среды и требований к взаимодействию.