EasyAR のヘッドセットおよびメガネサポート
EasyAR SDK は強力なクロスプラットフォーム AR 機能を提供し、その設計理念は新興の空間コンピューティングデバイスであるヘッドセット(Headset)にも同様に適用されます。本稿では、EasyAR がヘッドセットデバイスをどのようにサポートするか、および開発者がこれらの機能を活用して没入型体験を構築する方法について説明します。
用語説明
本文書において、「ヘッドセット」または「Headset」は、頭部装着型で没入型または透過型インタラクションをサポートするコンピューティングデバイスを特に指し、ユーザーの眼前に仮想コンテンツを表示して拡張現実(AR)または複合現実(MR)体験を実現します。これには以下が含まれます:
- 光学透過型ヘッドセット (Optical See-Through, OST):半透明レンズを通じて直接実世界を視認
- ビデオ透過型ヘッドセット (Video See-Through, VST):カメラで実世界を捕捉し、ビデオストリームとして視認
慣例的に、ヘッドセットは AR メガネ、MR メガネ、VR ヘッドセットとも呼ばれますが、本文ではこのカテゴリのデバイスを指すために「ヘッドセット」を統一して使用します。
ヘッドセットの基本動作原理
EasyAR のヘッドセットサポートを理解するために、まずヘッドセットデバイスの基本動作フローを把握する必要があります:
- 環境知覚:内蔵の複数カメラ、深度センサー(iToF など)、慣性計測装置(IMU)などを通じて、周囲環境の幾何構造、照明条件、物体表面をリアルタイムに知覚。
- 空間計算:センサーデータに基づき、SLAM システムでユーザーの頭部 6DoF 姿勢(位置 + 向き)をリアルタイム追跡。
- コンテンツレンダリングと表示:デバイス姿勢に基づいて 3D コンテンツ(モデル、エフェクトなど)をレンダリングし、結果をディスプレイに投射。VR モードでは純仮想画面を表示、AR/MR モードでは仮想画面と実環境(VST カメラ映像または OST 透過背景)を合成。
- インタラクションシステム:コントローラー、ジェスチャ認識、音声、眼球追跡を通じてユーザー指令を受け取り応答。
EasyAR がヘッドセットをサポートする原理
EasyAR はヘッドセットのネイティブ空間追跡やレンダリングパイプラインを置き換えず、空間計算の強化役として連携します。プロフェッショナル AR アルゴリズムエンジンとして、多様な AR シナリオの空間知覚・計算能力を提供し、デバイス既存システムと効率的に協働します。
| 責務範囲 | 役割分担 |
|---|---|
| 頭部 6DOF 追跡、表示レンダリング、基本インタラクション等 | ヘッドセットネイティブ SDK/ランタイム |
| 画像/物体認識・追跡、大規模空間定位等の高度知覚能力 | EasyAR SDK |
EasyAR SDK は画像/物体認識、疎再構築、密再構築、大規模空間定位など、世界を「理解」する中核 AR 機能を提供し、仮想コンテンツの配置位置をヘッドセットアプリケーションに伝えます。
EasyAR SDK はプラグインまたはライブラリとしてヘッドセットのアプリ開発フレームワーク(通常 Unity または Unreal)に統合されます。デバイスシステムからの生データストリームを受け取り処理・計算後、デバイス空間座標系に対する姿勢行列を出力します。最終的にヘッドセットエンジンのレンダリングパイプラインが仮想オブジェクトを正確な位置に描画します。
サポート状況と実装方法
EasyAR は主要なヘッドセット開発プラットフォームに対し、以下の二つの方法で包括的なサポートを提供します:
- Unity/Unreal Engine 経由:最も主流で推奨される方法。ヘッドセットメーカーは通常、専用 Unity/Unreal プラグインまたは XR SDK を提供します。EasyAR はメーカー SDK にシームレスに統合可能です。
- ネイティブプラットフォーム (Native) 経由:究極のパフォーマンスや特定のネイティブ開発が必要な場合、EasyAR の C++/Java/Objective-C ネイティブインターフェースを使用可能。通常、開発者はデバイス低層データとのインターフェース接続を自身で処理する必要があります。
EasyAR は複数の主要ヘッドセットプラットフォームで Unity 経由のテスト・検証を実施済みです。現在確認済みのサポートデバイスは以下の通り:
| ヘッドセットモデル | システム/SDK 要件 |
|---|---|
| Apple Vision Pro | visionOS 2 以降 |
| PICO 4 Ultra Enterprise | PICO Unity Integration SDK 3.1.0 以降 |
| Rokid AR Studio | Rokid Unity OpenXR Plugin 3.0.3 以降 |
| XREAL Air2 Ultra | XREAL SDK 3.1 以降 |
| Xrany X1 | Xrany元霓 SDK |
注記
Rokid AR Studio は Rokid Unity OpenXR Plugin で Rokid UXR 3 をサポート可能ですが、特にクロスデバイス利用時は XR Interaction Toolkit の使用を推奨。
重要
Apple Vision Pro、PICO、XREAL は各社の企業ライセンスが必要です。質問がある場合は営業までお問い合わせください。
- Apple Vision Pro は Apple 企業 API ライセンス取得デバイスのみサポート(インターフェース制限)。
- PICO は企業版デバイスのみサポート(インターフェース制限)。
- XREAL は企業ライセンス取得デバイスのみサポート(インターフェース制限)。
上記に未記載の他社ヘッドセットデバイスについては、EasyAR がカスタムカメラ等の拡張接続方法を提供します。EasyARヘッドセット拡張パッケージ作成 を参照して接続を実装可能です。通常、以下の手順を含みます:
- デバイス開発権限取得:対象ヘッドセットの開発者アカウントと SDK ドキュメントを申請。
- センサーデータストリーム取得:デバイス SDK からカメラ画像(ビデオフレーム)、カメラパラメータ等の必須データを取得。
- EasyAR API 呼び出し:取得したセンサーデータを EasyAR
FrameSourceで処理するよう EasyAR 低層 API を使用。 - 計算結果取得・適用:EasyAR エンジンから計算結果(カメラ姿勢)を取得し、3D レンダリングエンジンに適用。
詳細な開発ガイドとサンプルコードを提供しており、このプロセスの完了を支援します。接続中に問題が発生した場合は、開発者コミュニティでテクニカルサポートを依頼してください。
利用可能なコア機能
ヘッドセットデバイス上で、豊富な空間アプリケーション構築のために EasyAR の全機能マトリックスを活用可能:
- 平面画像追跡:事前設定画像を認識・追跡し、動画や 3D モデルを画像上に重畳。
- 3D物体追跡:事前設定 3D モデル(玩具、製品パッケージ等)を認識・追跡し、仮想コンテンツと連動。
- 疎空間マップ:周辺環境をスキャンして 3D 視覚マップを生成し、視覚的位置推定・追跡機能を提供。生成マップは保存や複数デバイス間リアルタイム共有可能。
- 密空間マップ:周辺環境の密点群マップとメッシュモデルをスキャン生成。仮想オブジェクトと実物体の物理的遮蔽関係を実現し、没入感を大幅強化。
- クラウド画像認識:EasyAR クラウドデータベースに接続し、展示会・教育等のシナリオ向けに大量画像の認識・管理を実現。
- Mega 大規模空間定位:都市規模空間計算ソリューション。EasyAR 雲位置推定サービスに接続し、安定・高速・高精度な位置推定・追跡を実現。AR 体験の範囲を大幅に拡張・突破。
プラットフォーム別ガイド
特定プラットフォームの迅速な開始を支援するため、詳細なマルチプラットフォーム統合ガイドを用意しました。下記タブをクリックし、対応プラットフォームのクイックスタートチュートリアルを参照してください。
- 概要
- ヘッドセットサンプル使用
- ヘッドセットサポート有効化
- プロジェクト設定
- EasyAR ヘッドセット拡張パッケージ作成