Table of Contents

平面画像トラッキングの概要

平面画像トラッキング（Planar Image Tracking）は、日常生活におけるテクスチャ豊かな平面物体の検出と追跡に使用されます。「平面」物体とは、本、名刺、ポスターなどの小さな物体から、落書きの壁のような大きなターゲットまでを指します。これらは平坦な表面と豊富で繰り返しのないテクスチャを持っています。

本稿では、平面画像の検出と追跡の基本原理、期待される効果、およびプラットフォーム適応策を概説し、機能の境界と開発の要点を迅速に理解するのに役立ちます。

基本原理

これらの原理を理解することは、開発者が認識効果を最適化し、一般的な問題を回避するのに役立ちます。

コアプロセス

  1. ロード前処理段階:

    • システムはターゲット画像をロードし、そこから大量の視覚的特徴点を抽出、画像の特徴記述を生成し、特徴ライブラリに挿入します。
    • テクスチャが豊富な画像ほど認識・追跡が容易です。ターゲット画像検出ツールを使用して、事前にターゲット画像の認識度を確認できます。

    参考左図: テクスチャ豊富で認識容易（5 星）; 参考右図: 要素が単純でテクスチャ不足、認識困難（1星）。
    ターゲット画像には 4~5 星品質の画像を使用することを推奨します。

  2. リアルタイム検出追跡段階:

    • カメラが画像をキャプチャ後、システムは現在のフレームの特徴点を分析し、ターゲット画像の特徴ライブラリと特徴マッチングを行います。
    • PnP（Perspective-n-Point）アルゴリズムにより、3D空間内での画像のポーズ（位置＋回転）を計算します。
    • ターゲットの検出に成功すると、システムは追跡モードに移行します。連続フレームを比較し、フレーム間の動きを分析することで、リアルタイムの追跡プロセスを実現します。

  3. 最適化メカニズム:

    • 追跡喪失回復: 短時間の遮蔽や高速動作によるブラー発生後、システムが自動的にターゲットを再検出します。
    • 複数ターゲット同時追跡: Simultaneous Number パラメータで単一 Tracker の同時処理数を制御し、一つの Tracker 呼び出しで複数ターゲットを同時追跡可能にします。

技術的制限

  • 平面画像のみをサポート（3D物体や動的コンテンツは非対応）。
  • 環境照明に依存、過度な暗さや露光過多は検出困難や追跡喪失を引き起こします。
  • 検出時、カメラはターゲットから離れすぎず、画面内でのターゲット画像の比率が少なくとも 30% を確保する必要があります。
  • 複数ターゲット追跡はデバイス性能に制約され、通常 PC では 10 以上、モバイル端末では 4~6 個の平面ターゲットを同時追跡可能です。

効果と期待される結果

画像検出・追跡の動作メカニズムと技術的制限を理解した上で、本機能が達成可能な効果を把握する必要があります。これらの効果を明確にすることで、開発プロセスにおける合理的なテスト基準の設定が可能になります。

理想的な効果

  • 精密なオーバーレイ: 仮想オブジェクトが画像のエッジに正確に位置合わせされます。
  • 高速検出: アプリケーションロードから検出成功までの超低遅延。
  • 安定した追跡: 画像の回転、移動、部分的な遮蔽下でも追跡を維持可能。

非理想的な状況と対応

現象 原因 ユーザーが感知する現象 解決策プレビュー（詳細は後続セクション）
認識不可 画像テクスチャ不足、サイズ過小 仮想オブジェクトが出現しない ターゲット画像を最適化、認識度検出ツールを使用
追跡の揺れ ターゲット画面占有率過小、追跡点不足 仮想オブジェクトが明らかに揺れる ターゲットから過度に離れない、追跡モードを PreferQuality に設定
頻繁な喪失 画像の高速移動または完全遮蔽 仮想オブジェクトの点滅/消失 デバイス/ターゲット画像の安定化、またはターゲットサイズの拡大
複数画像ターゲット欠落 ハードウェア性能の影響 一部のターゲット画像が追跡不可 実行性能を考慮し、適切な Simultaneous Number パラメータを設定

期待される結果の検証方法

  • 開発段階: PC カメラと Unity エディターの Play モードでプレビュー。
  • テスト段階: 公式 Sample シーンまたは自作テスト画像を使用し、異なる照明/角度/距離条件をカバー。

ターゲット画像のベストプラクティス

平面画像追跡の効果は、ターゲット画像の品質に大きく依存します。認識成功率を保証するため、ターゲット画像の準備では以下のガイドラインに従うことを推奨します。

使用シーンに応じて、ターゲット画像は複数の方法で準備可能です：ターゲット物体をカメラで真正面から直接撮影するか、パターンをデザインしてから印刷します。写真でもデザインデータでも、テンプレート画像として使用できます。

基本要件

  • 画像フォーマット: JPG または PNG を推奨。
  • 透過チャネル処理: 透過チャネル付き画像の場合、システムは白色背景として処理します。意図しない場合は透過チャネルを使用しないでください。

コア最適化ポイント

  1. 豊富なテクスチャ詳細を確保
    テンプレート画像は十分なディテールとエッジ変化を持ち、無地や単純な図形を避けてください。

    参考左図: テクスチャ豊富な画像は検出可能; 参考右図: 無地画像は検出不可

  2. 繰り返しパターンを回避
    規則的に繰り返すパターン（チェッカーボード、ストライプなど）は特徴点の一意性を低下させます。

    参考図: 繰り返しパターン画像は追跡不可

  3. 画面を内容で満たす
    主題は画面全体を可能な限り占め、空白領域を減らしてください。

    参考図: 左側（主題が充実）は右側（余白過多）より検出・追跡が容易

  4. 縦横比の制御
    画像は極端に細長くせず、短辺の長さは長辺の少なくとも 20% を確保してください。

    参考図: 細長い画像は追跡困難

  5. 適切な解像度の選択
    推奨範囲: SQCIF(128×96) から QVGA(1280×960) の間。
    過小: 特徴点不足で認識率低下。
    過大: Target データ生成時の不要なメモリ負荷増加、計算時間増加。