Table of Contents

Conceitos e fluxo de trabalho do MegaTracker

Este documento apresenta os conceitos básicos do MegaTracker e a relação entre o MegaTracker, o sistema AR nativo do WeChat VisionKit e o framework de renderização xr-frame.

Antes de começar

Conheça os seguintes pontos em Visão geral do Mega:

  • Os princípios básicos de localização e tracking do Mega.
  • O que é um Mega Block.
  • O resultado esperado após integrar o Mega.

O que é um Plane AR Tracker

O Plane AR Tracker do xr-frame é essencialmente um wrapper da capacidade plane 6DoF do VisionKit.

Depois que isARCamera é ativado no componente de câmera do xr-frame, a transformação 3D da câmera é sincronizada com o sistema AR (VisionKit) a cada frame.

O xr-frame fornece recursos de renderização 3D, enquanto o VisionKit fornece recursos de motion tracking no sistema de coordenadas do espaço real.

O Plane AR Tracker não pode ser usado junto com outros trackers AR.

O que é MegaTracker

MegaTracker é o componente de algoritmo central que conecta o sistema AR do WeChat (VisionKit) ao serviço de computação espacial Mega. Ele fornece localização em nuvem.

  • Entrada: a pose da câmera no sistema de coordenadas do VisionKit calculada pelo VisionKit para cada frame (ou seja, dados 6DoF), e a imagem da câmera do frame usado para a localização Mega.

  • Saída: a pose da câmera sob o Mega Block atualmente localizado e rastreado.

Como o MegaTracker funciona no xr-frame

flowchart BT
    subgraph Using xr-frame Only
        direction BT
        PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
    end

    subgraph Using Mega Plugin
        direction BT
        PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
        MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
    end
  • No fluxo de dados fornecido nativamente pelo WeChat, o componente de câmera do xr-frame é atualizado a cada frame diretamente pelo resultado do Plane AR Tracker.
  • No fluxo de dados fornecido pelo mini program Mega, a pose da câmera no sistema de coordenadas do VisionKit (ou seja, dados 6DoF) e os dados de imagem do frame de localização são enviados ao MegaTracker. Após a localização em nuvem e o cálculo local, ele gera a pose da câmera sob o Mega Block atualmente localizado e rastreado e, por fim, atualiza o LocalTransform da câmera sob o nó Mega Block na cena xr-frame. Nesse momento, o MegaTracker assume o controle da câmera, e o xr-frame não atualiza mais a câmera com base no tracker AR.

A execução do MegaTracker depende profundamente dos dados de movimento 6DoF fornecidos pelo plane tracker. Portanto, o MegaTracker não pode atuar antes que o plane tracker conclua a inicialização e estabeleça um estado de tracking estável. Além disso, a estabilidade do tracking AR é limitada pelas características do ambiente. Em cenários extremos, como grandes áreas sem textura (por exemplo, paredes brancas) ou oclusão prolongada da câmera, se o tracking plane subjacente do WeChat sofrer drift ou for perdido, o MegaTracker também entrará em estado de falha por perder uma fonte de entrada confiável.

Próximas etapas