Table of Contents

EasyAR 的頭顯及眼鏡支援

EasyAR SDK 提供了強大的跨平台 AR 功能，其設計理念同樣適用於新興的空間計算設備——頭顯（Headset）。本篇將介紹 EasyAR 如何支援頭顯設備，以及開發者可以如何利用這些功能來建構沉浸式體驗。

術語說明

在本文檔中，「頭顯」或「Headset」特指一類具備頭部佩戴形態、支援沉浸式或透視式互動的計算設備，它們能夠將虛擬內容呈現在使用者眼前，實現增強現實（AR）或混合現實（MR）體驗。這包括：

  • 光學透視型頭顯 (Optical See-Through, OST)：通過半透明鏡片直接觀看現實世界
  • 視頻透視型頭顯 (Video See-Through, VST)：通過攝像頭捕捉現實世界並以視頻流的形式觀看

習慣上，頭顯也常被稱為 AR 眼鏡、MR 眼鏡或 VR 頭盔，具體名稱可能因廠商和設備類型而異，但在本文中我們統一使用「頭顯」來指代這一類設備。

頭顯的基本工作原理

為了更好地理解 EasyAR 對頭顯的支援原理，我們首先需要了解頭顯設備的基本工作流程：

  1. 環境感知：通過內置的多攝像頭、深度傳感器（如 iToF）和慣性測量單元（IMU）等，即時感知周圍環境的幾何結構、光照條件和物體表面。
  2. 空間計算：根據傳感器數據，通過 SLAM 系統即時追蹤使用者頭部 6DoF 位姿（位置 + 朝向）。
  3. 內容渲染與顯示：將 3D 內容（如模型、特效）根據設備位姿進行渲染，並將渲染結果投射到顯示屏上。對於 VR 模式，顯示的是純虛擬畫面；對於 AR/MR 模式，虛擬畫面會與真實環境（VST 攝像頭畫面或 OST 透視背景）進行合成。
  4. 互動系統：通過手柄、手勢識別、語音或眼球追蹤，接收使用者指令並作出響應。

EasyAR 支援頭顯的原理

EasyAR不替代頭顯原生的空間追蹤或渲染管線，而是以空間計算增強的角色與其協同工作。作為專業的 AR 算法引擎，提供多種 AR 場景的空間感知和計算能力，與設備原有的系統進行高效協同。

職責範圍 角色分工
頭部 6DOF 追蹤、顯示渲染、基礎互動等 頭顯原生 SDK/運行時
圖像/物體識別與追蹤、大空間定位等進階感知能力 EasyAR SDK

EasyAR SDK 提供圖像/物體識別、稀疏重建、稠密重建、大空間定位等世界感知的核心 AR 功能，負責「看懂」世界，並告訴頭顯的應用程式虛擬內容應該放在哪裡。

EasyAR SDK 作為插件或庫整合到頭顯的應用開發框架中（通常是 Unity或 Unreal）。它接收來自設備系統的原始數據流，進行處理和計算，然後輸出一個相對於設備空間坐標系的位姿矩陣，最終由頭顯引擎的渲染管線將虛擬物體繪製在正確的位置。

支援情況與實現方式

EasyAR 對主流的頭顯開發平台提供了全面的支援，主要通過以下兩種方式實現：

  • 通過 Unity/Unreal Engine：這是最主流和推薦的方式。頭顯廠商通常會提供專門的 Unity/Unreal 插件或 XR SDK。EasyAR 可以無縫接入廠商的 SDK 中使用。
  • 通過原生平台 (Native)：對於需要極致性能或特定原生開發的場景，可以使用 EasyAR 的 C++/Java/Objective-C 原生接口。這通常需要開發者自行處理與設備底層數據的接口對接。

EasyAR 已經在多個主流頭顯平台上通過 Unity 的方式進行了測試和驗證。目前已經確認支援的設備如下：

頭顯設備型號 系統/SDK 版本要求
Apple Vision Pro visionOS 2 或更新版本
PICO 4 Ultra Enterprise PICO Unity Integration SDK 3.1.0 或更新版本
Rokid AR Studio Rokid Unity OpenXR Plugin 3.0.3 或更新版本
XREAL Air2 Ultra XREAL SDK 3.1 或更新版本
Xrany X1 Xrany元霓 SDK
附註

Rokid AR Studio 可通過 Rokid Unity OpenXR Plugin 支援 Rokid UXR 3，但建議使用 XR Interaction Toolkit，尤其是跨設備使用。

重要事項

Apple Vision Pro、PICO、XREAL 都需要其對應的企業授權才能使用，如有疑問請聯繫商務。

  • 受 Apple Vision Pro 接口授權限制，僅支援獲取了 Apple 企業 API 許可的設備。
  • 受 PICO 接口授權限制，僅支援 PICO 企業版設備。
  • 受 XREAL 接口授權限制，僅支援獲取了企業授權的設備。

對於上述沒有提及的其他廠商的頭顯設備，EasyAR 提供了自定義相機等的擴展接入方式。具體可以參考 建立EasyAR頭顯擴展包 來進行接入，您可以自行完成對接。

這通常涉及以下步驟：

  1. 獲取設備開發權限：申請目標頭顯的開發者帳號和 SDK 文檔。
  2. 獲取傳感器數據流：從設備 SDK 中獲取攝像頭圖像（視頻幀）、相機參數等必要數據。
  3. 調用 EasyAR API：使用 EasyAR 的底層 API，將獲取到的傳感器數據送入 EasyAR FrameSource 進行處理。
  4. 獲取並應用計算結果：從 EasyAR 引擎中獲取計算結果（相機位姿），並將其應用到您的 3D 渲染引擎中。

我們提供了詳細的開發指南和範例程式碼，以幫助您完成這一過程。如果您在對接過程中遇到問題，歡迎在我們的開發者社群尋求技術支援。

可供使用的核心功能

在頭顯設備上，您可以充分利用 EasyAR 的全功能矩陣來建構豐富的空間應用：

  • 平面圖像追蹤：識別並追蹤預設的圖片，將動態視頻或 3D 模型疊加在圖片之上。
  • 3D物體追蹤：識別並追蹤預設的 3D 模型（如玩具、產品包裝盒），並讓虛擬內容與之互動。
  • 稀疏空間地圖：掃描周圍環境生成三維視覺地圖，並提供視覺定位與追蹤功能。生成的地圖可以儲存或在多個設備間即時共享。
  • 稠密空間地圖：掃描並生成周圍環境的稠密點雲地圖和網格模型（Mesh），實現虛擬物體與真實物體的物理遮擋關係，極大地增強沉浸感。
  • 雲端圖像識別：連接 EasyAR 雲端數據庫，實現海量圖片的識別與管理，適用於展覽、教育等場景。
  • Mega 大空間定位：城市級空間計算方案，連接 EasyAR 雲定位服務，實現穩定、快速、精準的定位與追蹤，極大的突破和擴展 AR 體驗的範圍。

平台專用指南

為了幫助您快速上手特定平台，我們準備了詳細的多平台整合指南。請點擊下方的標籤頁，查看對應平台的快速入門教程。