Table of Contents

Merekam layar headset: merekam pengalaman AR/MR yang imersif

Saat mengembangkan, menguji, atau memberi dukungan pengguna dengan headset AR atau MR, perekaman layar adalah alat penting untuk mereproduksi dan menganalisis masalah. Namun, berbeda dengan perangkat mobile, perekaman layar headset melibatkan teknik khusus seperti Passthrough dan Foveated Rendering, sehingga tampilan hasil rekaman biasanya tidak sepenuhnya sama dengan tampilan stereo lengkap yang langsung dilihat kedua mata pengguna. Karena itu, saat menafsirkan konten rekaman, perhatikan baik-baik perbedaannya dengan pengalaman mata pengguna yang sebenarnya.

Mengapa perekaman layar headset memiliki perbedaan visual?

Pengguna harus sangat memperhatikan: tampilan rekaman headset tidak sepenuhnya sama dengan gambar nyata yang Anda lihat di balik lensa. Jika menemukan anomali di rekaman, pastikan menjelaskannya bersama pengalaman nyata agar tidak menyesatkan developer.

Berikut perbedaan utamanya:

  1. Perbedaan resolusi dan ketajaman
  • Rekaman: biasanya berupa stream video monocular, misalnya 1080p atau lebih rendah.
  • Mata manusia: tergantung aplikasinya, resolusi monocular headset modern bisa mencapai 2K atau bahkan lebih tinggi.
  • Dampak: teks atau gambar yang tampak buram di rekaman mungkin sebenarnya tidak buram di headset; sebaliknya, tepi kecil yang bergerigi di headset bisa sama sekali tidak terlihat di rekaman.
  1. Perbedaan field of view (FOV)
  • Rekaman: gambar yang direkam biasanya berbentuk persegi. Pada perangkat dengan FOV lebar, konten di tepi sering terpotong.
  • Mata manusia: tampilan yang dilihat adalah tampilan binocular dengan bidang pandang lebih luas.
  • Dampak: jika masalah terjadi di tepi bidang pandang, rekaman mungkin tidak menampilkannya dengan akurat.
  1. Dampak Foveated Rendering
  • Rekaman: semua konten dalam seluruh bidang pandang ikut terekam, termasuk area tepi beresolusi rendah.
  • Mata manusia: pusat pandangan memiliki resolusi tinggi, sedangkan area di luar pusat pandangan beresolusi lebih rendah.
  • Dampak: Anda merasa gambar sangat jelas, tetapi saat memutar ulang rekaman ternyata sebagian area buram. Ini biasanya normal dan bukan bug. Karena itu, saat merekam, pastikan fokus pada bagian yang ingin ditampilkan agar area tersebut terekam dengan jelas.
  1. Dampak frame rate dan refresh rate
  • Rekaman: frame rate video yang direkam biasanya 30FPS atau 60FPS.
  • Mata manusia: refresh rate layar dalam penggunaan nyata bisa mencapai 90Hz atau 120Hz.
  • Dampak: penurunan frame rate kecil mungkin tidak terlihat di rekaman, tetapi mata manusia bisa merasakan stutter atau motion sickness. Jika rekaman terlihat mulus tetapi pengalaman nyata tidak, biasanya ini masalah performa dan harus disebutkan setelah merekam.

Catatan khusus untuk headset OST

Perhatian khusus: jika Anda menggunakan headset OST (Optical See-Through), misalnya AR glasses seperti Rokid atau XREAL, fungsi perekaman layar tidak dapat merekam scene nyata yang dilihat mata manusia.

Apa itu perangkat OST?

Perangkat OST memproyeksikan cahaya langsung ke mata Anda melalui lensa optik semi-transparan, sementara konten virtual ditumpangkan di bidang pandang melalui proyektor mini atau waveguide. Kamera yang memotret dunia luar hanya digunakan untuk positioning spasial, bukan untuk tampilan. Karena mekanisme ini, perangkat tidak dapat “merekam” scene nyata yang dilihat mata.

Keterbatasan perekaman layar pada perangkat OST

  • Tidak dapat merekam scene nyata: perekaman OST hanya merekam lapisan konten virtual (GUI, model 3D, pointer UI, dan sebagainya).
  • Latar belakang menjadi hitam: saat video diputar di komputer atau ponsel, yang terlihat hanyalah objek virtual di atas latar hitam pekat, sehingga konteks lingkungan nyata hilang.
  • Hubungan occlusion hilang: jika objek virtual seharusnya tertutup oleh objek nyata seperti tangan atau meja, di rekaman objek itu akan tampak mengambang di layar hitam dan terlihat seperti hubungan layer yang salah.

Masalah kesalahan visual saat konten virtual ditumpangkan

Bahkan dalam lingkungan ideal, alignment antara konten virtual yang ditampilkan headset OST dan dunia nyata tetap memiliki tingkat kesalahan visual tertentu. Kesalahan ini tidak selalu disebabkan bug software atau tracking failure, tetapi sering berasal dari perbedaan mendasar antara karakteristik fisik perangkat dan sistem visual manusia. Sebagian kesalahan tidak dapat dihilangkan sepenuhnya dengan kondisi teknologi saat ini.

Saat mengirim feedback, perhatikan perbedaan berikut:

  • Kesalahan optical alignment:
    • Gejala: saat Anda menggerakkan kepala, objek virtual tampak “melayang” atau memiliki sedikit deviasi posisi terhadap objek nyata.
    • Penyebab: pengguna melihat dunia nyata langsung melalui lensa optik, sedangkan sistem koordinat rendering konten virtual biasanya dibangun berdasarkan head tracking dan system pemahaman lingkungan seperti SLAM. Karena ada offset fisik antara jalur optik display dan kamera/IMU yang dipakai untuk positioning spasial, serta sulit melakukan kalibrasi bersama hingga level sub-pixel, alignment nyata-virtual sangat sensitif di tepi bidang pandang atau pada scene jarak dekat.
  • Keterbatasan kalibrasi mata:
    • Gejala: objek virtual tampak ganda, buram di tepi, atau terasa tidak terproyeksi dengan benar ke ruang.
    • Penyebab: perangkat OST sangat bergantung pada kalibrasi IPD dan posisi mata yang presisi. Jika perangkat tidak dikalibrasi secara tepat untuk mata Anda, atau posisi headset bergeser, cahaya yang diproyeksikan engine optik tidak akan masuk ke pupil dengan akurat. Bahkan jika perangkat sudah dikalibrasi, proses kalibrasi berbasis titik sampel terbatas sehingga sulit mencocokkan struktur geometri mata, kelengkungan kornea, dan kebiasaan persepsi visual tiap pengguna. Deviasi kalibrasi kecil dapat menimbulkan offset sistematis pada kedalaman atau posisi lateral objek virtual.
  • Perbedaan visual individual:
    • Gejala: penilaian subjektif pengguna terhadap posisi konten virtual bisa berbeda.
    • Penyebab: perbedaan penglihatan seperti rabun jauh atau astigmatisme, kemampuan fokus dinamis, dan faktor lain memengaruhi penilaian subjektif terhadap efek overlay virtual. Perangkat OST mungkin tidak memiliki eye tracking real-time atau koreksi optik yang dipersonalisasi, sehingga tidak dapat mengompensasi perbedaan ini secara dinamis untuk setiap pengguna.
  • Gangguan faktor lingkungan:
    • Gejala: di lingkungan terang konten virtual memudar, sulit dilihat, atau bahkan tidak terlihat; di lingkungan gelap konten virtual bisa overexposed atau bahkan menimbulkan ghosting.
    • Penyebab: perangkat OST menumpangkan cahaya virtual dari proyektor mini atau waveguide langsung dengan cahaya lingkungan dunia nyata. Jika lingkungan terlalu terang, cahaya virtual yang lemah akan tertutup; sebaliknya juga demikian. Artefak optik semacam ini adalah karakteristik bawaan perangkat OST.
Catatan

Kesalahan semacam ini adalah karakteristik bawaan teknologi AR glasses OST, bukan kegagalan fungsi. Saat menelusuri masalah, bedakan antara “masalah software/tracking yang bisa diperbaiki” dan “batas pengalaman yang ditentukan oleh hardware serta fisiologi”. Jika feedback pengguna melibatkan sedikit pergeseran, distorsi tepi, atau ketidakselarasan persepsi kedalaman, pastikan dulu apakah perangkat digunakan dalam kondisi yang ditentukan pabrikan, seperti jarak kerja, rentang cahaya, dan status kalibrasi.

Bagaimana menangani feedback untuk perangkat OST?

Jika Anda mengalami masalah visual saat menggunakan perangkat OST, setelah mengesampingkan batasan perangkat di atas, Anda dapat membuat rekaman layar untuk feedback. Namun, hanya mengirim rekaman layar biasanya tidak cukup:

  1. Sertakan foto: gunakan ponsel untuk memotret gambar nyata yang Anda lihat melalui lensa (disebut “eye-view photo”). Ini menunjukkan posisi relatif objek virtual terhadap lingkungan nyata.
  2. Jelaskan lingkungan: uraikan secara rinci lingkungan Anda (kondisi cahaya, warna latar, apakah ada objek dinamis seperti pejalan kaki, dan lain-lain), karena efek tampilan OST sangat bergantung pada cahaya lingkungan.

Metode perekaman layar untuk headset yang umum

Catatan

Selama perekaman layar, perangkat mungkin menurunkan frame rate render atau resolusi, yang memengaruhi penilaian kelancaran dan stabilitas tracking. Disarankan merekam segera setelah masalah berhasil direproduksi agar hasilnya tidak dipengaruhi run yang terlalu lama.

Apple Vision Pro

  1. Angkat kepala ke bagian atas layar hingga melihat titik pusat kontrol. Fokus pada titik itu dan klik.
  2. Arahkan pandangan dan klik Kontrol Pusat > tombol “Record My View” untuk mulai merekam.
  3. Untuk menghentikan perekaman, buka Kontrol Pusat lalu ketuk lagi “Record My View”.
  4. Rekaman view Anda akan tersimpan di App “Photos” .

PICO 4 Ultra

  1. Buka Control Center > Settings > General > Casting, Recording, and Screenshot, lalu pilih mode recording “Spatial” di bagian “Recording and Screenshot”.
  2. Tekan singkat tombol Home pada controller, pilih tombol “Recording” di menu yang muncul, lalu tekan trigger untuk mulai merekam.
  3. Sistem akan menampilkan hitung mundur; segera kembali ke tampilan aplikasi yang ingin direkam, dan perekaman akan mulai otomatis setelah hitung mundur selesai.
  4. Tekan singkat lagi tombol Home pada controller, lalu pilih kembali tombol “Recording” untuk menghentikan perekaman.
  5. File rekaman biasanya disimpan di folder Internal Storage/DCIM/ScreenRecord pada perangkat.

Rokid Max Pro

  1. Masuk ke desktop, cari status bar di bawah, lalu klik area “Quick Settings” di samping avatar pengguna.
  2. Di jendela yang muncul, klik tombol “Record” lalu segera kembali ke aplikasi yang ingin direkam. Sistem akan mulai merekam otomatis.
  3. Klik tombol X pada Station Pro untuk kembali ke desktop. Klik lagi tombol “Record” di area “Quick Settings” untuk menghentikan perekaman.
  4. File rekaman biasanya disimpan di folder Internal Shared Storage/ScreenRecorder pada perangkat.

XREAL Air2 Ultra

  1. Pada layar Beam Pro, geser ke bawah untuk membuka control center kacamata, lalu klik tombol “Screen Record” di bagian atas.
  2. Sistem akan menampilkan hitung mundur; segera kembali ke tampilan aplikasi yang ingin direkam.
  3. Klik tombol merah “Stop” yang mengambang di bagian atas layar untuk menghentikan perekaman.
  4. File rekaman biasanya disimpan di folder Internal Shared Storage/Movies/Record pada perangkat.

Saran praktik terbaik

Saat menggunakan rekaman layar headset untuk melaporkan masalah, perhatikan hal berikut:

  • Saat mengirim, jelaskan dengan jelas model perangkat, metode rekaman, dan faktor lingkungan.
  • Jika masalah terkait kedalaman, occlusion, atau jitter tracking, tambahkan deskripsi tentang apa yang benar-benar dilihat mata manusia, karena rekaman mungkin tidak menampilkannya secara akurat.
  • Untuk scene penting, Anda dapat juga merekam operasi nyata saat pengguna memakai headset menggunakan kamera eksternal agar konteksnya lebih lengkap.

Rekaman layar headset memang praktis, tetapi tetap hanya representasi pendekatan dari pengalaman. Diagnosis yang paling andal tetap perlu menggabungkan log, data sensor, dan feedback subjektif pengguna. Untuk metode pengumpulan log, lihat: