Введение в разработку EasyAR

EasyAR делает разработку AR простой и эффективной. С EasyAR вы можете легко интегрировать функции augmented reality в приложения на разных платформах.

Обзор продуктов EasyAR

Для разработки AR EasyAR предлагает три основных продукта: EasyAR Mega, EasyAR CRS (Cloud Recognition Service) и EasyAR Sense.

EasyAR Mega - это сервис пространственного распознавания и позиционирования для больших сцен, который дает AR-возможности для масштабных пространств и сложных объектов.
EasyAR CRS - это высокопроизводительный облачный сервис распознавания изображений, который обеспечивает классические AR-возможности image recognition.
EasyAR Sense - это SDK дополненной реальности, который предоставляет кроссплатформенные возможности интеграции AR.

Следующая схема более подробно разделяет структуру продукта:

block
  columns 1
  block:groupTitle
    Title["Схема структуры продуктов EasyAR"]
  end
  block:groupTool
    Tool["Инструменты рабочего процесса"]
    MegaToolbox["Mega Toolbox"]
    MegaStudio["Mega Studio"]
    space
  end
  block:groupSDK
    SDK["SDK"]
    Sense["Sense"]
    SenseUnity["Sense<br>Unity Plugin"]
    MegaWeChat["Mega<br>WeChat MiniProgram Plugin"]
  end
  block:groupService
    Service["Облачные сервисы"]
    Mega["Mega<br>Service"]
    SpatialMap["SpatialMap<br>Service"]
    CRS["Cloud Recognition<br>Service"]
  end
  
  style groupTitle fill:none,stroke:none,stroke-width:0px
  style Title fill:none,stroke:none,stroke-width:0px
  style Tool fill:none,stroke:none,stroke-width:0px
  style SDK fill:none,stroke:none,stroke-width:0px
  style Service fill:none,stroke:none,stroke-width:0px

Cloud services предоставляют возможности крупномасштабного recognition и localization
- Mega Service: основной компонент EasyAR Mega.
- SpatialMap Service: сервис, предоставляющий cloud-поддержку для sparse spatial map EasyAR Sense.
- Cloud Recognition Service: основной компонент EasyAR CRS.
SDK предоставляет богатые локальные функции и использует cloud services для предоставления более мощных возможностей
- Sense: основной SDK EasyAR Sense.
- Sense Unity Plugin: Unity plugin для EasyAR Sense.
- Mega WeChat MiniProgram Plugin: WeChat Mini Program plugin для EasyAR Mega.
Workflow tools предоставляют визуальные инструменты управления и тестирования
- Mega Toolbox: визуальный инструмент collection и testing для EasyAR Mega.
- Mega Studio: визуальный инструмент editing и management для EasyAR Mega.

При разработке AR-приложений можно одновременно использовать один или несколько product modules для удовлетворения функциональных требований в разных сценариях.

Например:

При разработке приложения-раскраски можно использовать Sense Unity Plugin для разработки cross-platform приложения в Unity, tracking изображений и rendering 3D models.

При разработке приложения Live Photo можно использовать Sense для разработки native приложений Android и iOS, которые распознают и track фотографии и воспроизводят видео; или использовать Cloud Recognition Service для cloud recognition service огромного количества фотографий и напрямую вызывать interface этого сервиса в WeChat Mini Program для реализации photo recognition.

При разработке AR navigation приложения можно использовать Mega Service для реализации large-scene localization; использовать Sense Unity Plugin в Unity для вызова интерфейсов EasyAR Mega и функции motion tracking EasyAR Sense, чтобы реализовать возможности AR navigation; а также использовать Mega Toolbox для быстрой проверки эффектов localization и tracking.

EasyAR Mega предоставляет следующие AR-возможности, которые можно использовать для создания AR-приложений для различных платформ, таких как mobile applications и WeChat Mini Programs:

Mega fixed space: подходит для large-space сценариев, таких как AR navigation, cultural tourism guides, landmark shows и large-space games.
Mega complex object: подходит для complex objects, таких как AR-объяснение культурных реликвий, factory training, AR collectible effects и marketing на автосалонах.

EasyAR CRS предоставляет следующие AR-возможности, которые можно использовать для создания AR-приложений для различных платформ, таких как mobile applications, WeChat Mini Programs и Web applications:

Image cloud recognition: подходит для large-scale image recognition сценариев, таких как AR picture books, cultural and creative products, TCG cards и Live Photos.

EasyAR Sense предоставляет следующие AR-возможности, которые можно использовать для создания AR-приложений для различных платформ, таких как mobile phones, XR headsets и PC:

Motion tracking: подходит для сценариев, таких как AR spatial brushes и remote collaboration.
Plane detection: подходит для сценариев, таких как AR product display и virtual decoration.
Sparse spatial map (room-level anchors): подходит для сценариев, таких как small-space interaction и games.
Dense spatial map (meshing): подходит для сценариев, таких как environmental interaction games.
Surface tracking (scaleless anchoring): подходит для сценариев, таких как AR spatial effects.
Image tracking: подходит для сценариев, таких как AR cards, coloring и brand marketing.
Object tracking: подходит для сценариев, таких как AR globes.

Кроме того, EasyAR Sense может интегрировать и использовать следующие cloud или advanced возможности:

Mega fixed space
Mega complex object
Image cloud recognition

Разработка AR-приложений на разных платформах

С EasyAR можно разрабатывать AR-приложения на разных платформах.

Unity `（recommended）`

Разработка AR-приложений на Unity - рекомендуемый подход. Unity позволяет эффективно создавать кроссплатформенный 3D-контент и взаимодействие.

alt text

AR-приложения на Unity могут использовать следующие возможности:

Все возможности EasyAR Mega
Все возможности EasyAR CRS
Все возможности EasyAR Sense

AR-приложения на Unity можно выпускать на следующие устройства и платформы:

Android-смартфоны и планшеты
iPhone и iPad
Различные XR headset
Компьютеры Windows
Компьютеры macOS

WeChat Mini Program

На платформе WeChat Mini Program можно использовать Mega WeChat MiniProgram Plugin или API Cloud Recognition Service для разработки AR-приложений WeChat. В Mini Program можно использовать XR-Frame для 3D-рендеринга и взаимодействия. Также можно использовать другие Web 3D engines, например PlayCanvas или Three.js, но это требует более сложной дополнительной адаптации.

alt text

AR-приложения на платформе WeChat Mini Program могут использовать следующие возможности:

Все возможности EasyAR Mega (только XR-Frame)
Все возможности EasyAR CRS
Motion tracking¹
Plane detection¹
Image tracking¹ (нельзя использовать вместе с EasyAR Mega)
Object tracking¹ (нельзя использовать вместе с EasyAR Mega)

На WeChat мы также предлагаем готовые решения для AR navigation и AR culture and tourism. При необходимости свяжитесь с EasyAR business support.

Нативные приложения

Непосредственное использование native API для разработки AR-приложений тоже возможно, но не рекомендуется. Главная причина в том, что 3D-контент и взаимодействие, обычно необходимые AR, довольно сложно реализовать без 3D engine, а эффективность подготовки контента низкая. Обычно это рекомендуют только для простого контента, например рисования простых геометрических фигур или воспроизведения видео.

alt text

AR-приложения, разработанные с использованием native API, могут использовать следующие возможности:

Все возможности EasyAR Mega
Все возможности EasyAR CRS
Все возможности EasyAR Sense

AR-приложения, разработанные с использованием native API, можно выпускать на следующие устройства и платформы:

Android-смартфоны и планшеты
iPhone и iPad
Различные XR headset²
Компьютеры Windows
Компьютеры macOS

Создание собственной AR-платформы

Если вы разработали 3D engine или хотите использовать EasyAR в 3D engine, который EasyAR пока не поддерживает, вы можете интегрировать функции EasyAR в свой 3D engine с помощью native SDK EasyAR Sense. Этот путь обычно требует сильного опыта разработки на C/C++, а также хорошего понимания и контроля над реализацией 3D engine. Обычно мы рекомендуем его компаниям, которые не хотят добавлять Unity в свои приложения.

AR-платформы или приложения, построенные таким способом, могут использовать следующие возможности:

Все возможности EasyAR Mega
Все возможности EasyAR CRS
Все возможности EasyAR Sense

AR-платформы или приложения, построенные таким способом, можно выпускать на следующие устройства и платформы:

Android-смартфоны и планшеты
iPhone и iPad
Различные XR headset²
Компьютеры Windows
Компьютеры macOS

Unreal

Поддержка EasyAR для Unreal пока находится в экспериментальной стадии. При необходимости свяжитесь с EasyAR business support, чтобы обсудить индивидуальную разработку.

alt text

Если у вас или у вашей команды есть хороший опыт разработки на C/C++, особенно понимание rendering pipeline Unreal Engine и разработки плагинов, вы можете рассмотреть интеграцию функций EasyAR в Unreal Engine с помощью native SDK EasyAR Sense.

Начать отсюда

Поддерживается WeChat VisionKit.↩↩↩↩
Поддержка headset в нативных приложениях обычно также требует специального SDK от производителя устройства. За исключением Apple Vision Pro, большинство производителей не раскрывают в своих native SDK интерфейсы и данные, необходимые для интеграции EasyAR.↩↩

Table of Contents

Введение в разработку EasyAR

Обзор продуктов EasyAR

Разработка AR-приложений на разных платформах

Unity （recommended）

WeChat Mini Program

Нативные приложения

Создание собственной AR-платформы

Unreal

Начать отсюда

Unity `（recommended）`