Kombinierte Verwendung mit planarem Bildtracking

Cloud image recognition kann auch zusammen mit planar image tracking verwendet werden, um einen hybriden Modus aus "Erkennung + kontinuierlichem Tracking" umzusetzen. Dieser Artikel stellt die Verwendung vor und analysiert die Vorteile sowie geeignete Szenarien.

Arbeitsablauf

Der Kern des Hybridmodus ist die nahtlose Verbindung von cloud recognition und local tracking. Der Ablauf ist wie folgt:

Phase der cloud recognition

1. Anfrage senden: Die Gerätekamera erfasst das aktuelle Bild und lädt es auf den CRS-Server hoch.
2. Cloud-Abgleich: CRS durchsucht die Target-Bibliothek und gibt die ID des passenden Targets sowie die Bilddaten zurück (Base64 encoded).
3. Ergebnis empfangen: Der Client empfängt das Erkennungsergebnis und löst die nachfolgende Verarbeitungslogik aus.

Phase des local tracking

1. Bilddekodierung: Der Client dekodiert die Base64-Daten zu einem Bild und erstellt darauf basierend lokal eine ImageTarget-Instanz.
2. Tracking initialisieren: Initialisieren Sie ImageTracker und rufen Sie die Methode loadTarget auf, um planar image tracking zu starten.
3. Kontinuierliches Tracking: Das Gerät berechnet lokal die 6DoF-Pose, und virtuelle Inhalte folgen dem Bild in Echtzeit.

Vorteile der kombinierten Verwendung

Im Vergleich zur alleinigen Verwendung von cloud recognition bietet der kombinierte Modus in den folgenden Punkten bessere Ergebnisse:

• Wahrscheinlichkeit falscher Erkennung verringern
  Wenn nur cloud recognition verwendet wird und sich ähnliche Bilder in der Target-Bibliothek befinden, kann ein falsches Target zurückgegeben werden. Mithilfe von lokalem image tracking überprüft das local tracking die Bildmerkmale kontinuierlich. Wenn der tatsächliche Bildinhalt nicht mit dem Erkennungsergebnis übereinstimmt, geht das Tracking schnell verloren und eine erneute Erkennung wird ausgelöst. Daher kann die kombinierte Verwendung die Fehlerrate der cloud recognition deutlich senken.

• Kontinuierliches Tracking und Interaktion unterstützen
  Cloud recognition allein kann nur die Target-ID zurückgeben und keine kontinuierlichen Interaktionen wie Rotation und Skalierung unterstützen. Im Hybridmodus wird nach der Erkennung sofort zu local tracking gewechselt, wodurch Echtzeit-Updates der 6DoF-Pose unterstützt werden. Benutzer können das Gerät oder das Bild bewegen, und virtuelle Inhalte folgen stets, was sich für AR-Spiele, Produktpräsentationen und andere Szenarien eignet.

• Cloud-Last reduzieren
  Häufige Aufrufe von cloud recognition, etwa einmal pro Sekunde, erhöhen Serverlast und Latenz. Im Hybridmodus wird nach erfolgreicher Erkennung das weitere Tracking lokal auf dem Gerät abgeschlossen, ohne kontinuierlich Bilder hochzuladen. Cloud recognition wird nur erneut ausgelöst, wenn das Tracking verloren geht. Dadurch lassen sich Cloud-Anfragen und Netzwerkverkehr des Clients deutlich reduzieren.

• Anpassungsfähigkeit in schwachen Netzwerkumgebungen
  Cloud recognition allein neigt bei instabilen Netzwerken zu Timeouts oder Fehlern. Im Hybridmodus kann local tracking nach erfolgreicher Erkennung auch dann weiterarbeiten, wenn die Netzwerkverbindung unterbrochen wird. In Kombination mit einer lokalen Target-Bibliothek kann vor der Wiederherstellung des Netzwerks ein degradierter Betrieb bereitgestellt werden.

Best Practices

Wenn Sie entscheiden, ob cloud recognition, planar image tracking oder der Hybridmodus verwendet werden soll, können Sie anhand der folgenden Dimensionen bewerten:

So wählen Sie eine Funktion aus

Anwendungseigenschaft	Empfohlene Lösung	Grund
Anzahl der Targets < 100	Planar image tracking	Ausreichender lokaler Speicher, keine Netzwerkabhängigkeit
Kein Netzwerk oder instabiles Netzwerk	Planar image tracking	Vermeidet Erkennungsfehler und stellt Offline-Verfügbarkeit sicher
Targets müssen in Echtzeit aktualisiert werden	Cloud recognition	Wird nach dem Upload sofort wirksam, geeignet für dynamische Inhalte
Begrenzte Geräteleistung	Cloud recognition	Eingebettete Geräte oder extreme Anforderungen an den Energieverbrauch
Kein kontinuierliches Tracking erforderlich	Cloud recognition	Zum Beispiel einmaliges Scan-Erkennen ohne Tracking-Bedarf

Wann der Hybridmodus gewählt werden sollte

• Große Anzahl von Targets (>100): Die Cloud bietet unbegrenzten Speicher, und lokal wird nur das aktuelle Target geladen, um Speicher zu sparen.
• Kontinuierliche Interaktion erforderlich: Zum Beispiel AR-Bildung (Drehen eines 3D-Modells nach dem Erkennen von Lehrmaterial) und AR-Marketing (Anzeigen einer 3D-Demo nach dem Erkennen eines Produkts).
• Empfindlich gegenüber falscher Erkennung: Zum Beispiel medizinische und industrielle Szenarien, in denen die Erkennungsgenauigkeit sichergestellt werden muss.
• Degradierter Betrieb bei schwachem Netzwerk erforderlich: Nach erfolgreicher Erkennung kann das Tracking auch bei unterbrochener Netzwerkverbindung fortgesetzt werden.

Zusammenfassung und Erweiterung

Der Hybridmodus aus cloud recognition und planar image tracking kombiniert die große Kapazität der Cloud mit der Fähigkeit zum kontinuierlichen lokalen Tracking und eignet sich besonders für komplexe Szenarien, die hohe Genauigkeit und Interaktivität erfordern. Entwickler sollten je nach Anzahl der Targets, Aktualisierungsfrequenz, Netzwerkumgebung und Interaktionsanforderungen flexibel eigenständige Funktionen oder den Hybridmodus wählen.