Table of Contents

Dukungan headset dan glasses EasyAR

EasyAR SDK menyediakan kemampuan AR lintas platform yang kuat, dan konsep desainnya juga cocok untuk perangkat spatial computing yang sedang berkembang, yaitu headset. Artikel ini akan menjelaskan bagaimana EasyAR mendukung perangkat headset, serta bagaimana developer dapat memanfaatkan kemampuan ini untuk membangun pengalaman yang imersif.

Penjelasan istilah

Dalam dokumen ini, "headset" atau "Headset" secara khusus merujuk pada jenis perangkat komputasi yang dikenakan di kepala dan mendukung interaksi immersive atau see-through. Perangkat ini dapat menampilkan konten virtual di depan mata pengguna, sehingga memungkinkan pengalaman augmented reality (AR) atau mixed reality (MR). Termasuk di dalamnya:

  • Optical See-Through, OST Headset: memungkinkan pengguna melihat dunia nyata secara langsung melalui lensa semi-transparan.
  • Video See-Through, VST Headset: menangkap dunia nyata melalui kamera dan menampilkannya sebagai video stream. Secara umum, headset juga sering disebut AR glasses, MR glasses, atau VR helmet. Nama spesifiknya bisa berbeda tergantung vendor dan jenis perangkat, tetapi dalam artikel ini kami menggunakan "headset" untuk merujuk ke jenis perangkat ini secara seragam.

Prinsip dasar kerja headset

Untuk memahami lebih baik prinsip EasyAR dalam mendukung headset, kita perlu memahami alur kerja dasar perangkat headset terlebih dahulu:

  1. Persepsi lingkungan: melalui banyak kamera bawaan, depth sensor (seperti iToF), dan inertial measurement unit (IMU), perangkat dapat merasakan struktur geometris, kondisi cahaya, dan permukaan objek di lingkungan sekitar secara real-time.
  2. Spatial computing: berdasarkan data sensor, sistem SLAM melacak pose kepala 6DoF pengguna (posisi + orientasi) secara real-time.
  3. Rendering dan tampilan konten: merender konten 3D (seperti model dan efek khusus) sesuai pose perangkat, lalu memproyeksikan hasil render ke layar. Pada mode VR, yang ditampilkan hanya gambar virtual murni; pada mode AR/MR, gambar virtual digabung dengan lingkungan nyata (gambar kamera VST atau latar transparan OST).
  4. Sistem interaksi: menerima instruksi pengguna dan merespons melalui controller, pengenalan gesture, suara, atau eye tracking.

Prinsip EasyAR dalam mendukung headset

EasyAR tidak menggantikan spatial tracking atau rendering pipeline bawaan headset, melainkan bekerja bersama sebagai "spatial computing enhancer". Sebagai engine algoritma AR profesional, EasyAR menyediakan kemampuan persepsi dan komputasi spasial untuk berbagai skenario AR, serta bekerja secara efisien bersama sistem asli perangkat.

Scope of Responsibility Role Division
6DOF head tracking, display rendering, basic interaction, dll. SDK/runtime bawaan headset
Kemampuan persepsi tingkat lanjut seperti image/object recognition dan tracking, serta large-scale spatial positioning EasyAR SDK

EasyAR SDK menyediakan fungsi AR inti untuk memahami dunia, seperti image/object recognition, sparse reconstruction, dense reconstruction, dan large-scale spatial positioning. Tugasnya adalah "memahami" dunia dan memberi tahu aplikasi headset di mana konten virtual harus ditempatkan.

EasyAR SDK diintegrasikan ke framework pengembangan aplikasi headset (biasanya Unity atau Unreal) sebagai plugin atau library. SDK menerima aliran data mentah dari sistem perangkat, memproses dan menghitungnya, lalu menghasilkan pose matrix relatif terhadap spatial coordinate system perangkat. Pada akhirnya, rendering pipeline engine headset menggambar objek virtual pada posisi yang benar.

Status dukungan dan metode implementasi

EasyAR menyediakan dukungan menyeluruh untuk platform pengembangan headset utama, yang terutama diimplementasikan dengan dua cara berikut:

  • Melalui Unity/Unreal Engine: ini adalah cara paling utama dan direkomendasikan. Vendor headset biasanya menyediakan plugin Unity/Unreal khusus atau XR SDK. EasyAR dapat diintegrasikan secara mulus ke SDK vendor.
  • Melalui platform Native: untuk skenario yang membutuhkan performa ekstrem atau pengembangan native tertentu, Anda dapat menggunakan interface native EasyAR dalam C++, Java, atau Objective-C. Biasanya ini mengharuskan developer menangani sendiri koneksi interface dengan data tingkat bawah perangkat.

EasyAR telah diuji dan diverifikasi pada beberapa platform headset utama melalui Unity. Perangkat yang saat ini dipastikan didukung adalah sebagai berikut:

Model perangkat headset SDK vendor dan persyaratan versi Persyaratan versi sistem dan firmware
Apple Vision Pro ARKit in visionOS visionOS 2 atau lebih baru
PICO 4 Ultra1 PICO Unity Integration SDK 3.4.0 atau lebih baru Versi yang dinyatakan didukung oleh SDK vendor2
PICO Space Pro1 PICO Unity Integration SDK 3.4.0 atau lebih baru Versi yang dinyatakan didukung oleh SDK vendor2
Meta Quest 3/3S3 Meta MRUK (Mixed Reality Utility Kit) 201 atau lebih baru Versi yang dinyatakan didukung oleh SDK vendor2
Rokid Max Pro
(menggunakan Rokid AR Studio atau cara penggunaan lain yang didukung resmi oleh Rokid)		 Rokid Unity OpenXR Plugin 3.0.3 atau lebih baru Versi yang dinyatakan didukung oleh SDK vendor2
XREAL Air2 Ultra XREAL SDK 3.1 atau lebih baru Versi yang dinyatakan didukung oleh SDK vendor2
Xrany X1 Xrany Yuanni SDK Versi yang dinyatakan didukung oleh SDK vendor2
Catatan

Rokid Max Pro dapat mendukung Rokid UXR 3 melalui Rokid Unity OpenXR Plugin, tetapi disarankan menggunakan XR Interaction Toolkit, terutama untuk penggunaan lintas perangkat.

Penting

Apple Vision Pro dan XREAL sama-sama memerlukan enterprise authorization yang sesuai untuk digunakan. Jika Anda memiliki pertanyaan, silakan hubungi bagian bisnis.

  • Karena pembatasan authorization interface Apple Vision Pro, hanya perangkat yang memiliki Apple enterprise API license yang didukung.
  • Karena pembatasan authorization interface XREAL, hanya perangkat yang memiliki enterprise authorization yang didukung.

Untuk perangkat headset dari vendor lain yang tidak disebutkan di atas, EasyAR menyediakan metode akses yang diperluas seperti custom camera. Anda dapat merujuk ke Create an EasyAR Headset Extension Package untuk melakukan akses, dan dapat menyelesaikan integrasinya sendiri.

Ini biasanya mencakup langkah-langkah berikut:

  1. Mendapatkan hak pengembangan perangkat: ajukan akun developer dan SDK documentation untuk headset target.
  2. Mendapatkan aliran data sensor: ambil data yang diperlukan seperti gambar kamera (video frame) dan parameter kamera dari SDK perangkat.
  3. Memanggil API EasyAR: gunakan API tingkat bawah EasyAR untuk mengirim data sensor yang diperoleh ke EasyAR FrameSource untuk diproses.
  4. Mendapatkan dan menerapkan hasil komputasi: ambil hasil komputasi (camera pose) dari engine EasyAR dan terapkan ke 3D rendering engine Anda.

Kami menyediakan panduan pengembangan detail dan sample code untuk membantu Anda menyelesaikan proses ini. Jika Anda mengalami masalah selama integrasi, Anda dipersilakan mencari dukungan teknis di komunitas developer kami.

Fungsi inti yang tersedia

Pada perangkat headset, Anda dapat memanfaatkan penuh matrix fungsi EasyAR untuk membangun aplikasi spasial yang kaya:

  • Planar Image Tracking: mengenali dan melacak gambar yang telah ditentukan, lalu menumpangkan video dinamis atau model 3D pada gambar tersebut.
  • 3D Object Tracking: mengenali dan melacak model 3D yang telah ditentukan (seperti mainan dan kotak produk), lalu membuat konten virtual berinteraksi dengannya.
  • Sparse Spatial Map: memindai lingkungan sekitar untuk menghasilkan peta visual 3D dan menyediakan fungsi pemosisian serta tracking visual. Peta yang dihasilkan dapat disimpan atau dibagikan secara real-time di beberapa perangkat.
  • Dense Spatial Map: memindai dan menghasilkan peta point cloud padat serta mesh model (Mesh) dari lingkungan sekitar untuk mewujudkan hubungan occlusion fisik antara objek virtual dan nyata, sehingga sangat meningkatkan rasa imersif.
  • Cloud Image Recognition: terhubung ke database cloud EasyAR untuk mengenali dan mengelola banyak gambar, cocok untuk skenario seperti pameran dan pendidikan.
  • Mega Large-Scale Spatial Positioning: solusi spatial computing tingkat kota yang terhubung ke layanan pemosisian cloud EasyAR untuk mencapai pemosisian dan tracking yang stabil, cepat, dan akurat, sehingga secara signifikan memperluas cakupan pengalaman AR.

Panduan khusus platform

Untuk membantu Anda memulai dengan cepat pada platform tertentu, kami menyiapkan panduan integrasi multi-platform yang detail. Klik tab di bawah untuk melihat tutorial quick-start untuk platform yang sesuai.

  1. Anda perlu menggunakan EasyAR Sense Unity Plugin PICO Extension 4000.1 atau lebih baru + EasyAR Sense Unity Plugin 4003.1 atau lebih baru. Versi sebelumnya hanya mendukung perangkat PICO 4 Ultra Enterprise dan memerlukan enterprise interface authorization dari vendor PICO.↩↩

  2. Kompatibilitas sistem dan firmware dikelola oleh vendor. EasyAR hanya menyediakan dukungan kompatibilitas untuk SDK vendor.↩↩↩↩↩↩

  3. Diperlukan EasyAR Sense Unity Plugin 4003.1.1 atau lebih baru.↩