Pelacakan planar digabungkan dengan pelacakan gerak
Artikel ini memperkenalkan cara menggabungkan pelacakan gambar planar dengan fungsi pelacakan gerak perangkat untuk meningkatkan stabilitas pelacakan dan pengalaman pengguna dalam skenario kompleks. Konten mencakup prinsip inti, efek yang diharapkan, dan analisis masalah potensial.
Prinsip dasar
Fusi gerak (Motion Fusion) menggabungkan data pose (posisi + rotasi) dari pelacakan gambar planar dengan data pose dari pelacakan gerak perangkat untuk mencapai estimasi pose yang lebih tangguh. Berikut adalah alur intinya:
Sinkronisasi dan komplementaritas data
- Pelacakan visual: Menghitung pose frame saat ini melalui pencocokan titik fitur gambar, tetapi rentan terhadap oklusi, blur, atau pergerakan cepat.
- Pelacakan gerak: Memanfaatkan output frekuensi tinggi sensor IMU dan output gambar visual untuk mendapatkan data gerak perangkat, tetapi memiliki kesalahan drift akumulatif.
- Mekanisme fusi:
- Menyelaraskan sistem koordinat pose pelacakan visual dengan pose pelacakan gerak perangkat.
- Ketika gambar target terlihat jelas dan gerak stabil: Pelacakan visual menjadi prioritas. Pose pelacakan visual terus-menerus dikirim ke modul fusi untuk koreksi, mengurangi drift akumulatif seluruh sistem.
- Ketika gambar target hilang atau terlalu kecil dalam bingkai, atau pergerakan cepat: Pelacakan visual gagal, pelacakan gerak menjadi prioritas. Prediksi pose fusi dilakukan berdasarkan pose pelacakan gerak saat ini.
Poin teknis kunci
- Penyelarasan stempel waktu: Menyelaraskan stempel waktu frame visual dengan data pelacakan gerak untuk menghindari getaran akibat penundaan.
- Penyelarasan sistem koordinat: Menyelaraskan sistem koordinat berdasarkan lintasan pelacakan visual dan lintasan pelacakan gerak.
- Relokasi: Ketika gambar muncul kembali, pelacakan visual mengambil alih untuk mengoreksi kesalahan akumulatif yang mungkin terjadi dengan cepat, "menarik" objek virtual kembali ke posisi yang benar.
Skenario yang sesuai dan batasan
Fusi gerak tidak cocok untuk semua skenario penggunaan. Fitur ini tidak berlaku jika salah satu kondisi berikut terpenuhi:
- Perangkat target tidak mendukung fungsi pelacakan gerak seperti ARCore/ARKit. Daftar dukungan perangkat detail merujuk ke: Dukungan perangkat pelacakan gerak.
- Gambar target/objek planar dalam adegan bersifat dinamis, misalnya kartu yang dipegang tangan saat pengalaman.
Selain skenario tersebut, penggunaan fusi gerak akan sangat meningkatkan pengalaman pengguna pelacakan gambar planar, termasuk tetapi tidak terbatas pada situasi penggunaan berikut:
- Pergerakan cepat: Pengguna menggerakkan perangkat dengan cepat, motion blur menyebabkan pelacakan gambar gagal.
- Target menghilang: Saat bingkai meninggalkan target itu sendiri atau target terhalang oleh objek dinamis (misalnya orang), konten virtual dalam keseluruhan adegan tetap dipertahankan.
- Menjauh dari target: Pengguna menjauhkan perangkat sehingga gambar target terlalu kecil dalam bingkai, tetap stabil dan terus dilacak.
- Kondisi cahaya rendah: Kinerja pelacakan visual menurun, perlu mempertahankan pengalaman.
Efek dan hasil yang diharapkan
Dengan asumsi skenario sesuai, penggunaan fusi gerak akan memberikan pengalaman pengguna yang lebih stabil dan mulus dibandingkan hanya menggunakan pelacakan gambar planar.
Efek ideal
- Pelacakan lebih stabil: Objek virtual tidak bergetar, tidak melompat.
- Transisi mulus: Perubahan pose fusi berkelanjutan dan alami saat pelacakan visual gagal.
- Kemampuan anti-gangguan: Dalam situasi seperti gambar target hilang/terhalang atau pergerakan perangkat cepat, objek virtual tetap dapat mengikuti pergerakan perangkat dan terus dilacak.
Kasus tidak ideal dan penanganan
| Fenomena | Penyebab | Persepsi pengguna | Solusi |
|---|---|---|---|
| Awal tidak aktif | Pelacakan gerak membutuhkan waktu untuk inisialisasi | Konten menghilang di tahap awal | Pemberian petunjuk UI tertentu, pastikan inisialisasi pelacakan gerak sistem selesai |
| Drift terlihat jelas | Akumulasi kesalahan sistem, dan tidak ada koreksi visual dalam waktu lama | Objek virtual menyimpang dari posisi semula | Pandu pengguna untuk memperpendek waktu oklusi, atau tambahkan petunjuk untuk relokasi visual |
| Penurunan kinerja | Menjalankan dua fungsi secara bersamaan dalam waktu lama | Frame rate turun, gambar tersendat | Fenomena normal, dapat menonaktifkan fusi gerak melalui antarmuka |
Metode verifikasi hasil yang diharapkan
Uji dengan perangkat yang didukung dalam skenario nyata:
- Arahkan ke gambar, pastikan objek virtual stabil.
- Tutupi gambar dengan tangan selama 2 detik dan gerakkan perangkat, amati apakah objek virtual bergerak mulus.
- Lepaskan tangan, pastikan objek virtual cepat kembali ke posisi benar tanpa lompatan.
Ringkasan dan praktik terbaik
Fusi gerak secara signifikan meningkatkan ketahanan pelacakan gambar planar di banyak skenario, tetapi memerlukan dukungan perangkat keras perangkat dan kinerja yang memadai. Pengembang harus mengaktifkan fitur ini secara selektif berdasarkan perangkat pengguna target dan menyediakan skema degradasi pada perangkat berkinerja rendah.
API referensi untuk membuka/menutup fungsi fusi gerak secara real-time:
- Native: setResultPostProcessing
- Unity: EnableMotionFusion