DeepLabCut: Open-Source KI für präzises Body-Part-Tracking bei bewegten Tieren

Neuer Deep-Learning-Algorithmus trackt und labelt Körperteile bewegter Arten mit minimalen Trainingsdaten. Er benötigt kein computergestütztes Körpermodell, Zeitdaten oder Strichfiguren.

Was genau wurde getan?

Um Gehirne beliebiger Arten zu verstehen, muss man ihr Verhalten präzise quantifizieren. Videotracking ist eine der besten Optionen, Tierverhalten in verschiedenen Konfigurationen zu beobachten/aufzuzeichnen. Es vereinfacht Analyse und ermöglicht hochpräzises Body-Part-Tracing.

Doch Extraktion spezifischer Verhaltensaspekte für Detailuntersuchung kann mühsam und zeitaufwändig sein. Bestehendes computergestütztes Tracking nutzt reflektierende Markierung (Körperteile mit Markern hervorgehoben), wo Position/Anzahl Marker vor Aufnahme festgelegt sein müssen.

Forscher von Harvard University und University of Tübingen entwickelten nun KI-Tool DeepLabCut, das Körperteile bewegter Arten automatisch trackt und labelt. Diese markerlose Posen-Schätzung basiert auf Deep Learning mit guten Ergebnissen bei minimalen Trainingsdaten.

Funktionsweise

Forscher untersuchten Feature-Detektor-Architektur aus kürzlich entwickeltem Multi-Person-Pose-Estimation-Modell DeeperCut. Sie zeigten: Wenige Trainingsfotos (~200) reichen, um dieses neuronale Netz auf menschliche Genauigkeit zu trainieren.

Möglich durch Transfer Learning: Modell, trainiert auf einer Aufgabe, wird auf verwandte Aufgabe angewendet. Hier: Feature-Detektoren basierend auf intensiv tiefen neuronalen Netzen waren auf riesigem Datensatz (ImageNet) vortrainiert für Objekterkennung.

Daher lassen sich diese robusten Feature-Detektoren durch Labeln weniger Frames (ein paar hundert) trainieren. Einmal trainiert, können sie breite Palette experimentell relevanter Körperteile lokalisieren.

Forscher demonstrierten DeepLabCut durch Tracking von Ohren, Schnauze, Schwanzbasis bei Navigationsaufgabe per Geruchsführung. Auch mehrere Teile einer Fruchtfliege in 3D-Kammer getrackt.

Neuronale Netze trainiert auf NVIDIA Titan Xp und GeForce GTX 1080 Ti GPUs mit TensorFlow beschleunigt durch CUDA Deep Learning Framework. Mit solcher Hardware: 682×540 Frames bei 30 fps verarbeitbar.

Tool liefert Echtzeit-Feedback basierend auf Haltungsestimates aus Videografie. Zudem kann man Input-Frames adaptiv um Art zuschneiden für höhere Geschwindigkeit oder Netzarchitektur anpassen für schnellere Verarbeitung.

Referenz: arXiv:1804.03142 | GitHub

Insgesamt arbeitet DeepLabCut in vier Stufen:

1. Mehrere Frames aus Video extrahieren für Labeling
2. Labels nutzen für Trainingsdatengenerierung
3. Neuronale Netze trainieren gemäß benötigten Feature-Sets
4. Feature-Positionen aus ungelabelten Daten extrahieren.

Mit freundlicher Genehmigung der Forscher

Nutzen

Die Methode benötigt kein computergestütztes Körpermodell, Zeitdaten, Strichfiguren oder komplexe Inferenzalgorithmen. Sie lässt sich schnell auf diverse Verhaltensqualitativ unterschiedliche Computer-Vision-Herausforderungen einsetzen.

Obwohl DeepLabCut an Drosophila, Mäusen, Pferden demonstriert, gibt es keine methodischen Limitationen – anwendbar auf andere Arten.

Tiertracking per Videografie kann neue Einblicke in Biomechanik und Gehirnfunktion liefern. Beim Menschen: Verbesserung physiotherapeutischer Techniken, Athleten erreichen früher unmögliche Meilensteine.