Google KI erreicht Objekttracking durch Videokolorierung – ein selbstüberwachter Ansatz

Ein neues konvolutionales Netzwerk lernt, Farben von einem Referenzbild auf nachfolgende Bilder zu übertragen. Dabei kann es verschiedene Objekte verfolgen und durch Verdeckungen hindurch tracken. Auch menschliche Posen lassen sich damit erfassen.

Die Herausforderung des Objekttrackings

Maschinen beizubringen, Objekte in Videos zu verfolgen, ist eine der schwierigsten Aufgaben in der Computer Vision – vor allem, weil dafür riesige, gelabelte Trainingsdatensätze nötig wären. Das Aufzeichnen und Labeln aller Vorgänge auf der Erde ist natürlich unpraktikabel.

Daher ist es notwendig, ein System zu entwickeln, das Tracking ohne menschliche Überwachung lernt, statt auf enorme Mengen unlabeled Rohmaterial zurückzugreifen. Warum ist das so wichtig? Objekttracking in Videos ermöglicht zahlreiche Anwendungen: Objektinteraktion, Aktivitätserkennung, Videostilisierung und mehr.

Google's Durchbruch: Re-Colorization

Forscher von Google haben ein konvolutionales Netzwerk entwickelt, das lernt, Farben von einem einzelnen Referenzbild zu kopieren. Anstatt Farben direkt aus einem Graustufenbild zu schätzen, ist das Modell darauf beschränkt, die Farben des ersten Referenzbildes des Videos zu verwenden.

Um die richtigen Farben zu kopieren, muss das Netzwerk lernen, intern auf die korrekte Region zu verweisen. Dieses neue Modell kann verschiedene Objekte verfolgen und durch Verdeckungen hindurch tracken – ohne auf große gelabelte Datensätze trainiert werden zu müssen.

Trainingsmethodik

Die Forscher nutzten den Kinetics-Datensatz (eine halbe Million Videoclips alltäglicher Aktivitäten). Sie konvertierten alle Videobilder – außer dem ersten – in Graustufen und trainierten das Netzwerk, die richtigen Farben in den folgenden Bildern zu schätzen.

Um die Originalfarben aus einem einzigen Bild zu kopieren, lernte das konvolutionale Netzwerk, intern auf die richtigen Farben zu verweisen. Dies zwang das Netzwerk zu einem expliziten Mechanismus, der für Objekttracking genutzt werden kann.

Obwohl das Modell nicht auf feste Identitäten trainiert wurde, lernt es, jedes Objekt oder visuelle Segment im Video nur anhand eines einzelnen (ersten) Bildes zu verfolgen. Es kann einzelne Punkte oder umrissene Entitäten im Video tracken.

Um Objekte durch Kolorierung zu tracken, machten die Forscher nur eine Änderung: Statt Farben durch den Clip zu propagieren, propagierten sie Labels, die Zielregionen repräsentieren.

Pose Tracking

Das Netzwerk kann auch menschliche Posen verfolgen: Es benötigt ein initiales Bild, das mit Schlüsselpunkten gelabelt ist, und erledigt den Rest. Die Vorhersage von Schlüsselpunkten in den folgenden Bildern ist jedoch nicht trivial, da eine feinkörnige Lokalisierung jedes Schlüsselpunkts nötig ist, wenn sich Menschen im Video verformen.

Die Forscher demonstrierten die Pose-Tracking-Fähigkeit am JHMDB-Datensatz (vollständig annotierter Datensatz für menschliche Posen und Aktionen), wo sie ein menschliches Gelenkskelett verfolgten.

Das Netzwerk erreicht eine ähnliche Performance wie Optical Flow, was darauf hindeutet, dass es Bewegungsmerkmale lernt. Es trackt menschliche Posen und Videosegmente gut genug, um die neuesten Optical-Flow-basierten Techniken leicht zu übertreffen.

Das Modell ist noch nicht perfekt. In einigen Experimenten scheiterte es bei der Kolorierung und Segmentverfolgung. Die Forscher planen, den Videokolorierungsprozess weiter zu verbessern, was letztlich zu optimiertem selbstüberwachtem Tracking führen könnte.