Table of Contents

Руководство для разработчиков мини-программ Weixin по распознаванию изображений в облаке

В этой главе представлены основные функции и методы реализации интеграции облачного распознавания EasyAR с мини-программами Weixin.

Функции и использование

XR-FRAME для мини-программ Weixin — это официальное решение Weixin для разработки приложений XR/3D. Оно использует гибридную технологию рендеринга для достижения производительности, близкой к нативной, сочетая визуальные эффекты с удобством разработки, что позволяет быстро создавать AR-приложения. Фреймворк поддерживает ключевые функции, такие как отслеживание изображений, загрузка 3D-моделей, управление анимацией, воспроизведение видео и эффекты частиц. Модель разработки основана на шаблонном программировании WXML, позволяя достигать высококачественных визуальных эффектов с минимальным количеством логического кода.

Сервис облачного распознавания EasyAR (CRS) специализируется на сценариях поиска по изображению в обширных библиотеках изображений. Используя облачные алгоритмы для эффективного распознавания целей, он отличается высокой рентабельностью и низким порогом входа. Разработчики могут быстро интегрировать его и завершить разработку функций.

Поток данных

flowchart TB

B[API или EasyAR Web] --> A[Облачное распознавание CRS] <-->  D[Устройство: мини-программа Weixin]

C[Виртуальный контент] <-->  D[Устройство: мини-программа Weixin]

Объединение XR-FRAME и облачного распознавания снимает ограничение на количество целевых изображений на локальном устройстве, решая потребность приложений в сверхбольшом охвате.

Процесс реализации

  1. Вызов сервиса облачного распознавания

    • Инициирование запроса на распознавание изображения через API облачного распознавания EasyAR (CRS)
    • Обработка результата распознавания (успех/неудача, обработка Meta и т.д.)

  2. Конфигурация отслеживаемого изображения

    • Динамическая настройка xr-ar-tracker на основе trackingImage из результата распознавания

  3. Загрузка виртуальных ресурсов

    • Анализ идентификаторов ресурсов в данных Meta
    • Использование xr-asset для загрузки виртуальных активов, таких как 3D-модели или видео
    • Добавление виртуальных активов в сцену и настройка их свойств (например, масштаб, начальное положение и т.д.)

  4. Представление AR-контента

    • Пространственная привязка виртуальных активов к распознанному маркеру
    • Реализация эффекта рендеринга, объединяющего реальность и виртуальность
    • Обработка событий пользовательского взаимодействия (например, клики, перетаскивание)

Распространенные функции

После получения результатов облачного распознавания в мини-программах Weixin обычно используются следующие AR-функции:

  • Только распознавание и отображение результата
  • Только распознавание и отображение связанных видео, анимации, моделей или скриптов целевого изображения
  • Распознавание + отслеживание с наложением видео, анимации, моделей, скриптов

Связанные темы