Table of Contents

Konsep dan alur kerja MegaTracker

Dokumen ini akan memperkenalkan konsep dasar MegaTracker dan hubungan MegaTracker dengan sistem AR asli WeChat VisionKit dan kerangka rendering xr-frame.

Sebelum memulai

Pelajari melalui Pengantar Mega tentang:

  • Prinsip dasar pelacakan dan penempatan Mega.
  • Apa itu Mega Block.
  • Hasil yang diharapkan setelah mengintegrasikan Mega.

Apa itu pelacak AR bidang

Pelacak AR bidang dari xr-frame pada dasarnya adalah pembungkus untuk kemampuan bidang 6DoF VisionKit.

Setelah komponen kamera xr-frame mengaktifkan isARCamera, transformasi 3D kamera akan disinkronkan setiap frame dengan sistem AR (VisionKit).

Xr-frame menyediakan kemampuan rendering 3D, sedangkan VisionKit menyediakan kemampuan pelacakan gerak dalam sistem koordinat ruang nyata.

Pelacak AR bidang tidak dapat digunakan bersama pelacak AR lainnya.

Apa itu MegaTracker

MegaTracker adalah komponen algoritma inti yang menghubungkan sistem AR WeChat (VisionKit) dengan layanan komputasi spasial Mega, menyediakan fungsi penempatan berbasis cloud.

  • Masukan: pose kamera dalam sistem koordinat VisionKit (yaitu data 6DoF) yang dihitung VisionKit setiap frame, dan gambar kamera pada saat frame penempatan Mega dilakukan.
  • Keluaran: Pose kamera dalam Mega Block yang sedang dilacak dan ditempatkan.

Bagaimana MegaTracker bekerja pada xr-frame

flowchart BT
    subgraph Using xr-frame Only
        direction BT
        PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
    end

    subgraph Using Mega Plugin
        direction BT
        PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
        MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
    end
  • Dalam aliran data asli WeChat, komponen kamera xr-frame diperbarui setiap frame langsung oleh hasil pelacak AR bidang.
  • Dalam aliran data dari mini-program Mega, pose kamera dalam sistem koordinat VisionKit (yaitu data 6DoF) dan data gambar frame penempatan akan dimasukkan ke MegaTracker. Setelah penempatan cloud dan komputasi lokal, dihasilkan pose kamera dalam Mega Block yang sedang dilacak dan ditempatkan, yang akhirnya memperbarui LocalTransform kamera di node Mega Block dalam adegan xr-frame. Saat ini MegaTracker mengambil alih kendali kamera, dan xr-frame tidak lagi memperbarui kamera berdasarkan pelacak AR.

Operasi MegaTracker sangat bergantung pada data gerak 6DoF yang disediakan oleh pelacak bidang. Oleh karena itu, sebelum pelacak bidang menyelesaikan inisialisasi dan membangun status pelacakan stabil, MegaTracker tidak dapat bekerja. Selain itu, stabilitas pelacakan AR terbatas oleh karakteristik lingkungan; dalam skenario ekstrem seperti area tanpa tekstur besar (misalnya dinding putih), kamera terhalang lama, dll., jika pelacakan bidang dasar WeChat mengalami drift atau hilang, MegaTracker akan kehilangan sumber masukan andal dan secara bersamaan masuk ke status gagal.

Langkah selanjutnya