DeepLabCut:Eine Open-Source-KI zur Verfolgung von Körperteilen sich bewegender Arten

• Neuer auf Deep Learning basierender Algorithmus verfolgt und bezeichnet Körperteile von sich bewegenden Arten mit minimalen Trainingsdaten.
• Es erfordert kein rechnerisches Körpermodell, keine Zeitdaten und kein Strichmännchen.

Um das Gehirn einer Spezies zu verstehen, ist es notwendig, ihr Verhalten genau zu quantifizieren. Videotracking ist eine der besten Optionen, um das Verhalten von Tieren in verschiedenen Konfigurationen zu beobachten und aufzuzeichnen. Es vereinfacht die Analyse erheblich und ermöglicht eine hochgenaue Verfolgung von Körperteilen.

Es kann jedoch ein mühsamer und zeitaufwändiger Prozess sein, bestimmte Aspekte eines Verhaltens für eine detaillierte Untersuchung zu extrahieren. Das vorhandene computerbasierte Tracking verwendet reflektierende Markierungen (Körperteile werden mit Markierungen hervorgehoben), wobei Position und Anzahl der Markierungen vor der Aufnahme bestimmt werden sollten.

Jetzt haben Forscher der Harvard University und der Universität Tübingen ein KI-Tool namens DeepLabCut entwickelt, das automatisch Körperteile sich bewegender Arten verfolgt und beschriftet. Diese markerlose Posenschätzungstechnik basiert auf Deep-Learning-Methoden, die mit minimalen Trainingsdaten anständige Ergebnisse liefern.

Was genau haben sie getan?

Die Forscher untersuchten die Detektorarchitektur von Merkmalen aus einem kürzlich entwickelten Modell zur Schätzung der Pose für mehrere Personen, DeeperCut. Sie zeigten, dass eine kleine Menge an Trainingsfotos (etwa 200) ausreicht, um dieses neuronale Netzwerk so zu trainieren, dass es eine menschenähnliche Genauigkeit erreicht.

Möglich wurde dies durch Transfer Learning, eine Methode des maschinellen Lernens, bei der ein an einer Aufgabe trainiertes Modell auf eine andere verwandte Aufgabe angewendet wird. In dieser Forschung wurden die auf intensiv tiefen neuronalen Netzen basierenden Merkmalsdetektoren auf einem riesigen Datensatz (ImageNet) vortrainiert, um Objekte zu erkennen.

Daher kann man diese robusten Merkmalsdetektoren trainieren, indem man weniger Frames (einige hundert) markiert. Einmal trainiert, kann es eine Vielzahl experimentell relevanter Körperteile lokalisieren.

Die Forscher demonstrierten die Leistungsfähigkeit von DeepLabCut, indem sie Ohren, Schnauze und Schwanzansatz während einer durch Gerüche geleiteten Navigationsaufgabe verfolgten. Sie verfolgten auch mehrere Teile einer Fruchtfliege in einer 3D-Kammer.

Die neuronalen Netze werden auf NVIDIA Titan Xp und GeForce GTX 1080 Ti GPUs trainiert, wobei TensorFlow durch das CUDA Deep Learning Framework beschleunigt wird. Mit solch leistungsstarker Hardware kann man Bilder der Größe 682 × 540 mit 30 fps verarbeiten.

Das Tool ist in der Lage, Echtzeit-Feedback basierend auf Haltungsschätzungen aus der Videografie bereitzustellen. Darüber hinaus kann man Eingabeframes adaptiv um die Spezies herum zuschneiden, um die Verarbeitungsgeschwindigkeit weiter zu erhöhen, oder die Netzwerkarchitektur anpassen, um die Verarbeitungszeiten zu erhöhen.

Referenz:  arXiv:1804.03142 | GitHub

Insgesamt arbeitet DeepLabCut in vier Phasen:

1. Extrahieren Sie mehrere Frames aus dem Video zur Kennzeichnung
2. Verwenden von Labels zum Generieren von Trainingsdaten
3. Trainieren Sie neuronale Netze gemäß den erforderlichen Funktionssätzen
4. Extrahiere diese Feature-Positionen aus unbeschrifteten Daten.

Mit freundlicher Genehmigung der Forscher

Inwiefern ist das hilfreich?

Die oben beschriebene Methode benötigt kein rechnerisches Körpermodell, keine Zeitdaten, kein Strichmännchen oder komplizierten Inferenzalgorithmus. Es kann schnell für mehrere Verhaltensweisen eingesetzt werden, die qualitativ unterschiedliche Herausforderungen für die Computer Vision darstellen.

Obwohl die Forscher DeepLabCut an Drosophila, Mäusen und Pferden demonstrierten, gibt es sicherlich keine Einschränkungen für die Methode und sie kann auch auf andere Arten angewendet werden.

Lesen Sie:Spamfilternde KI lernt das Verhalten eines Tieres28

Die Verfolgung von Tieren durch Videografie kann neue Erkenntnisse über ihre Biomechanik gewinnen und uns helfen, die Funktionsweise ihres Gehirns zu verstehen. Beim Menschen kann es Techniken verbessern, die in der Physiotherapie verwendet werden, und Sportlern helfen, Meilensteine ​​​​zu erreichen, die in der Vergangenheit nicht möglich waren.