Table of Contents

Einführung in Planar Image Tracking

Planar Image Tracking (Planar Image Tracking) wird verwendet, um texturierte planare Objekte im Alltag zu erkennen und zu verfolgen. Solche "planaren" Objekte können kleine Gegenstände wie Bücher, Visitenkarten oder Plakate sein, aber auch große Ziele wie eine Graffiti-Wand. Diese Objekte oder Szenen besitzen eine flache Oberfläche sowie reichhaltige und nicht wiederholte Texturen.

Dieser Artikel gibt einen Überblick über die grundlegenden Prinzipien, die erwarteten Ergebnisse und die plattformspezifischen Anpassungsansätze für planar image detection und tracking, damit Sie die Funktionsgrenzen und wichtigsten Entwicklungspunkte schnell verstehen.

Grundlagen

Das Verständnis dieser Prinzipien hilft Entwicklern, die Erkennungsleistung zu optimieren und häufige Probleme zu vermeiden.

Kernablauf

  1. Vorverarbeitungsphase beim Laden:

    • Das System lädt das Zielbild, extrahiert daraus zahlreiche visuelle Merkmale, erzeugt eine Merkmalsbeschreibung für dieses Bild und fügt sie der Merkmalsdatenbank hinzu.
    • Je reicher die Textur des Bildes ist, desto leichter lässt es sich erkennen und verfolgen. Sie können mit dem Target Image Inspection Tool die Erkennbarkeit Ihres Zielbildes im Voraus prüfen.

    Das Referenzbild links: reichhaltige Textur, leicht zu erkennen (5 Sterne); das Referenzbild rechts: einfache Elemente, kaum Textur, schwer zu erkennen (1 Stern).
    Wir empfehlen Bilder mit einer Qualität von 4 bis 5 Sternen als Zielbilder.

  2. Phase der Echtzeit-Erkennung und Verfolgung:

    • Nachdem die Kamera das Bild erfasst hat, analysiert das System die Merkmale des aktuellen Bildes und gleicht sie mit der Merkmalsdatenbank des Zielbilds ab.
    • Mit dem PnP-Algorithmus (Perspective-n-Point) wird die Pose des Bildes im 3D-Raum (Position + Rotation) berechnet.
    • Sobald das Ziel erfolgreich erkannt wurde, wechselt das System in den Tracking-Modus. Dabei vergleicht es fortlaufende Frames und analysiert die Bewegung zwischen den Frames, um das Tracking in Echtzeit auszuführen.

  3. Optimierungsmechanismen:

    • Wiederherstellung nach Tracking-Verlust: Nach kurzzeitiger Verdeckung oder Bewegungsunschärfe erkennt das System das Ziel automatisch erneut.
    • Gleichzeitiges Tracking mehrerer Ziele: Über den Parameter Simultaneous Number wird die Anzahl gleichzeitiger Ziele pro Tracker gesteuert, sodass ein einzelner Tracker mehrere Ziele gleichzeitig verfolgen kann.

Technische Einschränkungen

  • Unterstützt werden nur planare Bilder (keine 3D-Objekte oder dynamischen Inhalte).
  • Die Erkennung hängt vom Umgebungslicht ab; zu dunkel oder zu stark belichtet erschwert die Erkennung und führt leichter zu Tracking-Verlust.
  • Bei der Erkennung darf die Kamera nicht zu weit vom Ziel entfernt sein; der Anteil des Zielbildes im Bild sollte mindestens 30 % betragen.
  • Das Multi-Target-Tracking ist durch die Geräteleistung begrenzt. In der Regel können PCs mehr als 10 Ziele gleichzeitig verfolgen, Mobilgeräte etwa 4 bis 6 planare Ziele.

Ergebnisse und Erwartungen

Nachdem Sie die Funktionsweise und die technischen Grenzen von Bilddetektion und Tracking verstanden haben, sollten Sie auch wissen, welche Ergebnisse diese Funktion erreichen kann. Ein klares Verständnis hilft Ihnen, während der Entwicklung sinnvolle Teststandards festzulegen.

Ideale Ergebnisse

  • Präzise Überlagerung: Das virtuelle Objekt ist an den Bildkanten ausgerichtet.
  • Schnelle Erkennung: Sehr geringe Latenz vom Laden der Anwendung bis zur erfolgreichen Erkennung.
  • Stabiles Tracking: Auch bei Rotation, Bewegung und teilweiser Verdeckung des Bildes bleibt das Tracking erhalten.

Unerwünschte Situationen und Maßnahmen

Phänomen Ursache Wahrnehmung des Benutzers Lösungsvorschau (Details in späteren Kapiteln)
Nicht erkennbar Zu wenig Textur, zu klein Das virtuelle Objekt erscheint nicht Zielbild optimieren, Erkennbarkeit mit dem Tool prüfen
Tracking zittert Ziel nimmt zu wenig Bildfläche ein, zu wenige verfolgbaren Punkte Das virtuelle Objekt wackelt deutlich Zielbild nicht zu weit entfernen, Tracking-Modus auf PreferQuality setzen
Häufiger Verlust Bild bewegt sich schnell oder wird vollständig verdeckt Das virtuelle Objekt blinkt/verschwindet Gerät/Zielbild stabiler halten oder die Zielgröße vergrößern
Mehrbildziel fehlt Beeinträchtigung durch Hardwareleistung Einige Zielbilder können nicht verfolgt werden Laufzeitleistung abwägen und einen passenden Simultaneous Number-Wert setzen

Methode zur Überprüfung der erwarteten Ergebnisse

  • Entwicklungsphase: Verwenden Sie im Unity-Editor den Play-Modus mit einer PC-Kamera zur Vorschau.
  • Testphase: Nutzen Sie die offiziellen Sample-Szenen oder selbst erstellte Testbilder und decken Sie verschiedene Licht-, Winkel- und Distanzbedingungen ab.

Best Practices für Zielbilder

Die Wirkung von planar image tracking hängt stark von der Qualität des Zielbilds ab. Um eine hohe Erkennungsrate sicherzustellen, sollten Sie bei der Vorbereitung des Zielbilds die folgenden Richtlinien beachten.

Je nach Anwendungsfall können Sie Zielbilder auf verschiedene Weise vorbereiten: direkt ein Objekt aus frontalem Kamerawinkel fotografieren oder zunächst ein Muster entwerfen und anschließend drucken. Sowohl Fotos als auch Entwürfe können als Vorlagenbild verwendet werden.

Grundanforderungen

  • Bildformat: JPG oder PNG wird empfohlen.
  • Behandlung transparenter Kanäle: Wenn das Bild einen transparenten Kanal enthält, behandelt das System ihn als weißen Hintergrund. Falls das nicht dem gewünschten Effekt entspricht, vermeiden Sie transparente Kanäle.

Wichtige Optimierungspunkte

  1. Reichhaltige Texturdetails sicherstellen
    Das Vorlagenbild sollte genügend Details und Kantenänderungen enthalten und keine einfarbigen oder sehr einfachen Formen aufweisen.

    Das Referenzbild links: texturreiche Bilder können erkannt werden; das Referenzbild rechts: einfarbige Bilder können nicht erkannt werden.

  2. Wiederholende Muster vermeiden
    Muster mit klarer Wiederholung, etwa Schachbrett- oder Streifenmuster, verringern die Einzigartigkeit der Merkmalsknoten.

    Das Referenzbild: Bilder mit wiederholenden Mustern können nicht verfolgt werden.

  3. Inhalt sollte das Bild ausfüllen
    Das Hauptmotiv sollte möglichst den gesamten Bildbereich ausfüllen und leere Flächen minimieren.

    Das Referenzbild: Das links voll ausgefüllte Bild lässt sich leichter erkennen und verfolgen als das Bild rechts mit viel Leerraum.

  4. Seitenverhältnis kontrollieren
    Bilder sollten nicht zu schmal sein; die kürzere Seite sollte mindestens 20 % der längeren Seite betragen.

    Das Referenzbild: Schmale Bilder sind schwer zu verfolgen.

  5. Geeignete Auflösung wählen
    Empfohlener Bereich: zwischen SQCIF (128×96) und QVGA (1280×960).
    Zu klein: Zu wenige Merkmalsknoten, geringere Erkennungsrate.
    Zu groß: Unnötig höherer Speicherverbrauch und längere Berechnungszeit bei der Erzeugung von Target-Daten.