画像クラウド認識 WeChat ミニプログラム開発者ガイド
この章では、EasyAR クラウド認識と WeChat ミニプログラムを組み合わせた一般的な機能とその実装方法について説明します。
機能と使用
WeChat ミニプログラム XR-FRAME は、WeChat 公式が提供する XR/3D アプリケーション開発ソリューションです。ハイブリッドレンダリング技術を採用し、ネイティブに近いパフォーマンスを実現し、視覚効果と開発の容易さを兼ね備えており、AR アプリケーションを迅速に構築できます。このフレームワークは、画像トラッキング、3D モデルロード、アニメーション制御、動画再生、パーティクルエフェクトなどのコア機能をサポートしており、開発モードは WXML テンプレートプログラミングが中心で、わずかなロジックコードで高品質の視覚効果を実現できます。
EasyAR クラウド認識(CRS)サービスは、大規模画像ライブラリの画像検索シーンに特化し、クラウド上のアルゴリズムによる効率的なターゲット認識を実現します。コストパフォーマンスが高く、導入障壁が低いという特徴があり、開発者は迅速に統合して機能開発を完了できます。
データフロー
flowchart TB
B[API または EasyAR Web] --> A[クラウド認識 CRS] <--> D[デバイス側 WeChat ミニプログラム]
C[仮想コンテンツ] <--> D[デバイス側 WeChat ミニプログラム]
XR-FRAME とクラウド認識を組み合わせることで、ローカルデバイスはターゲット画像の数に制限されなくなり、超大規模な範囲を必要とするアプリケーションの課題を解決できます。
実装フロー
- クラウド認識サービスの呼び出し
- EasyAR クラウド認識(CRS)API を使用して画像認識リクエストを送信
- 認識結果(成功/失敗、Meta 処理など)の処理
- トラッキング画像設定
- 認識結果の
trackingImageに基づいて、xr-ar-trackerを動的に設定
- 認識結果の
- 仮想リソースのロード
- Meta データ内のリソース識別子を解析
xr-assetを使用して 3D モデルや動画などの仮想アセットをダウンロード- 仮想アセットをシーンに追加し、リソースプロパティ(スケール、初期位置など)を設定
- AR コンテンツの表示
- 仮想アセットと認識マーカーを空間的にバインド
- 実写と仮想の融合したレンダリング効果を実現
- ユーザーインタラクションイベント(タップ、ドラッグなど)の処理
一般的な機能
クラウド認識で結果を取得した後、WeChat ミニプログラムで一般的に使用される AR 機能には以下があります:
- 認識のみを行い、結果を表示
- 認識のみを行い、認識対象に関連付けられた動画、アニメーション、モデル、スクリプトを表示
- 認識 + トラッキングによる動画、アニメーション、モデル、スクリプトのオーバーレイ表示