Dukungan headset dan kacamata EasyAR

EasyAR SDK menyediakan fungsi AR lintas platform yang kuat, dengan filosofi desain yang juga berlaku untuk perangkat komputasi spasial baru - headset. Artikel ini akan memperkenalkan bagaimana EasyAR mendukung perangkat headset, dan bagaimana pengembang dapat memanfaatkan fungsi ini untuk membangun pengalaman imersif.

Penjelasan istilah

Dalam dokumen ini, "headset" atau "Headset" secara khusus merujuk pada jenis perangkat komputasi yang memiliki bentuk dipakai di kepala, mendukung interaksi imersif atau see-through, yang dapat menampilkan konten virtual di depan mata pengguna, mewujudkan pengalaman augmented reality (AR) atau mixed reality (MR). Ini termasuk:

Headset optical see-through (OST): Melihat dunia nyata secara langsung melalui lensa semi-transparan
Headset video see-through (VST): Menangkap dunia nyata melalui kamera dan melihatnya dalam bentuk aliran video

Secara kebiasaan, headset juga sering disebut kacamata AR, kacamata MR, atau helm VR, nama spesifik mungkin berbeda berdasarkan produsen dan jenis perangkat, tetapi dalam artikel ini kami menggunakan istilah "headset" secara seragam untuk merujuk pada jenis perangkat ini.

Prinsip dasar kerja headset

Untuk lebih memahami prinsip dukungan EasyAR untuk headset, pertama-tama kita perlu memahami alur kerja dasar perangkat headset:

Persepsi lingkungan: Melalui kamera multi-bawaan, sensor kedalaman (seperti iToF) dan unit pengukuran inersia (IMU), secara real-time merasakan struktur geometris lingkungan sekitarnya, kondisi pencahayaan, dan permukaan objek.
Komputasi spasial: Berdasarkan data sensor, melalui sistem SLAM melacak secara real-time pose 6DoF kepala pengguna (posisi + orientasi).
Rendering dan tampilan konten: Merender konten 3D (seperti model, efek) sesuai pose perangkat, dan memproyeksikan hasil render ke layar. Untuk mode VR, yang ditampilkan adalah gambar virtual murni; untuk mode AR/MR, gambar virtual akan disintesis dengan lingkungan nyata (gambar kamera VST atau latar belakang see-through OST).
Sistem interaksi: Melalui pengontrol, pengenalan gestur, suara, atau pelacakan mata, menerima instruksi pengguna dan merespons.

Prinsip dukungan EasyAR untuk headset

EasyAR tidak menggantikan pelacakan spasial asli atau pipeline rendering headset, tetapi berperan sebagai peningkatan komputasi spasial yang bekerja sama dengannya. Sebagai mesin algoritma AR profesional, menyediakan kemampuan persepsi dan komputasi spasial untuk berbagai skenario AR, bekerja sama secara efisien dengan sistem asli perangkat.

Lingkup tanggung jawab	Pembagian peran
Pelacakan kepala 6DOF, rendering tampilan, interaksi dasar, dll	SDK/waktu proses asli headset
Kemampuan persepsi lanjutan seperti pengenalan/pelacakan gambar/objek, pelokalan ruang besar, dll	EasyAR SDK

EasyAR SDK menyediakan fungsi inti AR untuk persepsi dunia seperti pengenalan/pelacakan gambar/objek, rekonstruksi jarang, rekonstruksi padat, pelokalan ruang besar, yang bertanggung jawab untuk "memahami" dunia, dan memberi tahu aplikasi headset di mana konten virtual harus ditempatkan.

EasyAR SDK diintegrasikan sebagai plugin atau pustaka ke dalam kerangka pengembangan aplikasi headset (biasanya Unity atau Unreal). Ia menerima aliran data mentah dari sistem perangkat, memproses dan menghitungnya, kemudian mengeluarkan matriks pose relatif terhadap sistem koordinat ruang perangkat, yang akhirnya oleh pipeline rendering mesin headset menggambar objek virtual di posisi yang benar.

Dukungan dan metode implementasi

EasyAR memberikan dukungan komprehensif untuk platform pengembangan headset utama, terutama diimplementasikan melalui dua cara berikut:

Melalui Unity/Unreal Engine: Ini adalah cara yang paling utama dan direkomendasikan. Produsen headset biasanya menyediakan plugin Unity/Unreal khusus atau XR SDK. EasyAR dapat diintegrasikan dengan mulus ke dalam SDK produsen.
Melalui platform asli (Native): Untuk skenario yang memerlukan kinerja tertinggi atau pengembangan asli tertentu, dapat menggunakan antarmuka asli C++/Java/Objective-C EasyAR. Ini biasanya mengharuskan pengembang menangani sendiri antarmuka dengan data lapisan bawah perangkat.

EasyAR telah diuji dan divalidasi di beberapa platform headset utama melalui cara Unity. Perangkat yang saat ini telah dikonfirmasi didukung adalah sebagai berikut:

Model perangkat headset	Persyaratan versi sistem/SDK
Apple Vision Pro	visionOS 2 atau versi lebih baru
PICO 4 Ultra Enterprise	PICO Unity Integration SDK 3.1.0 atau versi lebih baru
Rokid AR Studio	Rokid Unity OpenXR Plugin 3.0.3 atau versi lebih baru
XREAL Air2 Ultra	XREAL SDK 3.1 atau versi lebih baru
Xrany X1	Xrany元霓 SDK

Catatan

Rokid AR Studio dapat mendukung Rokid UXR 3 melalui Rokid Unity OpenXR Plugin, tetapi disarankan menggunakan XR Interaction Toolkit, terutama untuk penggunaan lintas perangkat.

Penting

Apple Vision Pro, PICO, XREAL semuanya memerlukan lisensi perusahaan yang sesuai untuk digunakan, jika ada pertanyaan silakan hubungi bisnis.

Karena batasan lisensi antarmuka Apple Vision Pro, hanya mendukung perangkat yang telah mendapatkan izin API perusahaan Apple.
Karena batasan lisensi antarmuka PICO, hanya mendukung perangkat versi perusahaan PICO.
Karena batasan lisensi antarmuka XREAL, hanya mendukung perangkat yang telah mendapatkan lisensi perusahaan.

Untuk perangkat headset produsen lain yang tidak disebutkan di atas, EasyAR menyediakan metode akses ekstensi seperti kamera khusus. Silakan merujuk ke Membuat paket ekstensi headset EasyAR untuk melakukan integrasi, Anda dapat menyelesaikan penyambungan sendiri.

Ini biasanya melibatkan langkah-langkah berikut:

Mendapatkan izin pengembangan perangkat: Mengajukan akun pengembang headset target dan dokumen SDK.
Mendapatkan aliran data sensor: Mendapatkan gambar kamera (bingkai video), parameter kamera, dan data penting lainnya dari SDK perangkat.
Memanggil API EasyAR: Menggunakan API lapisan bawah EasyAR, memasukkan data sensor yang diperoleh ke dalam FrameSource EasyAR untuk diproses.
Mendapatkan dan menerapkan hasil perhitungan: Mendapatkan hasil perhitungan (pose kamera) dari mesin EasyAR, dan menerapkannya ke mesin rendering 3D Anda.

Kami menyediakan panduan pengembangan dan kode contoh yang terperinci untuk membantu Anda menyelesaikan proses ini. Jika Anda mengalami masalah selama penyambungan, silakan mencari dukungan teknis di komunitas pengembang kami.

Fungsi inti yang tersedia

Pada perangkat headset, Anda dapat memanfaatkan sepenuhnya matriks fungsi lengkap EasyAR untuk membangun aplikasi spasial yang kaya:

Pelacakan gambar datar: Mengenali dan melacak gambar yang telah ditentukan, menumpukkan video dinamis atau model 3D di atas gambar.
Pelacakan objek 3D: Mengenali dan melacak model 3D yang telah ditentukan (seperti mainan, kotak produk), dan membuat konten virtual berinteraksi dengannya.
Peta spasial jarang: Memindai lingkungan sekitarnya untuk menghasilkan peta visual tiga dimensi, dan menyediakan fungsi pelokalan dan pelacakan visual. Peta yang dihasilkan dapat disimpan atau dibagikan secara real-time di beberapa perangkat.
Peta spasial padat: Memindai dan menghasilkan peta titik padat dan model mesh lingkungan sekitarnya, mewujudkan hubungan penghalangan fisik antara objek virtual dan objek nyata, sangat meningkatkan imersi.
Pengenalan gambar berbasis cloud: Menghubungkan ke basis data cloud EasyAR, mewujudkan pengenalan dan manajemen gambar dalam jumlah besar, cocok untuk pameran, pendidikan, dan skenario lainnya.
Pelokalan ruang besar Mega: Solusi komputasi spasial tingkat kota, menghubungkan ke layanan pelokalan cloud EasyAR, mewujudkan pelokalan dan pelacakan yang stabil, cepat, dan presisi, sangat melampaui dan memperluas jangkauan pengalaman AR.

Panduan khusus platform

Untuk membantu Anda memulai dengan cepat di platform tertentu, kami telah menyiapkan panduan integrasi multi-platform yang terperinci. Silakan klik tab di bawah ini untuk melihat tutorial cepat mulai platform yang sesuai.

Unity

Table of Contents