3D rendering yang digerakkan AR
Pengembangan aplikasi AR perlu menyelesaikan satu masalah dasar, yaitu rendering AR content. Artikel ini menggunakan planar image tracking sebagai contoh untuk menjelaskan modul dasar, workflow, dan implementasi rendering dalam aplikasi AR.
Workflow aplikasi AR tipikal
Aplikasi AR tipikal biasanya mengenali image, object, atau scene tertentu dari camera image, melacak position dan pose-nya, lalu merender virtual content (3D model) berdasarkan position dan pose tersebut.
Sebagai contoh, gambar di atas menunjukkan aplikasi AR untuk planar image tracking.
Workflow aplikasi ditunjukkan di bawah ini.
flowchart TD
CameraDevice[Camera Device]
Tracker[Tracker]
Renderer[Renderer]
CameraDevice -->|Image Frame| Tracker
Tracker -->|Image Frame + Tracked Pose| Renderer
Workflow ini mencakup modul berikut.
| Modul | Peran |
|---|---|
| Physical camera | Menyediakan sequence input image frame. Image frame mencakup image, timestamp saat image dibuat, dan kadang juga position dan pose camera di ruang |
| Tracker | Menghitung position dan pose tracking target dari image frame. Untuk tracking target yang berbeda, ada berbagai tracker, seperti planar image tracker dan 3D object tracker |
| Renderer | Merender camera image dan 3D model yang sesuai dengan tracked object ke layar. Pada beberapa AR glasses, camera image mungkin tidak dirender, dan hanya 3D model yang dirender |
Rendering pada phone
Rendering pada phone terbagi menjadi dua bagian: rendering camera image dan rendering virtual object.
Rendering camera image
Ada beberapa parameter yang perlu diperhatikan saat merender camera image.
Scaling mode
Biasanya camera image perlu memenuhi seluruh layar atau sebuah window. Dalam kondisi ini, Anda perlu menangani masalah aspect ratio camera image dan screen/window yang tidak sama.
Jika center camera image disejajarkan dengan center screen/window dan aspect ratio dijaga tetap, ada dua scaling mode umum: fit dan fill.
Scaling mode Efek Fit Menampilkan semua content pada layar, tetapi meninggalkan black bar di kiri dan kanan atau atas dan bawah Fill Tidak meninggalkan black bar, tetapi memotong sebagian image di kiri dan kanan atau atas dan bawah Camera image rotation
Pada phone, image yang direkam physical camera biasanya tetap relatif terhadap body device dan tidak berubah mengikuti screen display orientation. Namun perubahan orientasi body phone memengaruhi cara kita mendefinisikan atas, bawah, kiri, dan kanan pada image. Saat rendering, current screen display orientation juga memengaruhi arah image yang ditampilkan.
Biasanya saat rendering, perlu ditentukan rotation angle camera image relatif terhadap screen display orientation.
Camera image flipping
Dalam beberapa kasus, front-facing camera digunakan. Saat itu, image biasanya perlu dibalik secara horizontal agar terlihat seperti mirror.
Rendering virtual object
Saat merender virtual object pada phone, virtual object perlu align dengan camera image. Ini mengharuskan rendering camera dan object ditempatkan dalam virtual space yang sepenuhnya sesuai dengan real space, dan dirender menggunakan field of view serta aspect ratio yang sama dengan physical camera. Camera image dan virtual object melewati perspective projection transform yang identik, kecuali bahwa sebagian besar perspective projection camera image terjadi di dalam physical camera, sedangkan perspective projection transform untuk virtual object sepenuhnya merupakan proses komputasi.
Rendering pada headset
Rendering pada headset berbeda dari phone dan perlu dibagi menjadi dua kasus.
VST
Video See-Through adalah teknologi AR di mana headset menangkap image melalui physical camera, lalu menampilkan camera image dan virtual content pada layar headset. Contoh tipikalnya adalah Vision Pro. Biasanya, perspective projection matrix camera image dan virtual content diatur oleh SDK yang disediakan headset, dan kode eksternal hanya perlu mengatur position dan pose virtual content. Physical camera yang digunakan untuk tracking dan camera image yang dirender pada layar bisa berada pada posisi berbeda, dan coordinate transform diterapkan saat rendering.
OST
Optical See-Through adalah teknologi AR di mana layar headset transparan dan headset hanya menampilkan virtual content pada layar. Contoh tipikalnya adalah HoloLens. Biasanya, perspective projection matrix virtual content diatur oleh SDK yang disediakan headset, dan kode eksternal hanya perlu mengatur position dan pose virtual content. Physical camera yang digunakan untuk tracking dan camera image yang dirender pada layar bisa berada pada posisi berbeda, dan coordinate transform diterapkan saat rendering.
Panduan khusus platform
3D rendering yang digerakkan AR sangat terkait dengan platform. Silakan rujuk panduan berikut untuk development sesuai target platform Anda: