Intelligente Kameras lernen, ihre visuelle Welt zu verstehen

Robotiker und KI-Forscher wissen, dass es ein Problem gibt, wie aktuelle Systeme die Welt wahrnehmen und verarbeiten. Derzeit kombinieren sie noch Sensoren – wie Digitalkameras, die für die Bildaufnahme konzipiert sind – mit Rechengeräten wie Grafikprozessoren (GPUs), die für die Beschleunigung von Videospielgrafik entwickelt wurden.

Das Effizienzproblem aktueller Systeme

Das bedeutet, KI-Systeme nehmen die Welt erst wahr, nachdem visuelle Informationen zwischen Sensoren und Prozessoren aufgezeichnet und übertragen wurden. Aber viele Dinge, die gesehen werden, sind für die jeweilige Aufgabe oft irrelevant – wie das Detail von Blättern an Straßenbäumen, wenn ein autonomes Auto vorbeifährt. Derzeit werden all diese Informationen von Sensoren in akribischem Detail erfasst und verstopfen das System mit irrelevanten Daten, verbrauchen Strom und benötigen Verarbeitungszeit.

Bio-inspirierter Ansatz: CNN direkt auf der Bildebene

Forschern haben sich von der Art inspirieren lassen, wie natürliche Systeme die visuelle Welt verarbeiten – menschliche Augen und Gehirn arbeiten zusammen, um die Welt zu verstehen, und in manchen Fällen führen die Augen selbst Verarbeitungsschritte durch, um dem Gehirn zu helfen, Irrelevantes zu reduzieren. Die Forscher implementierten Convolutional Neural Networks (CNNs), eine Form von KI-Algorithmen für visuelles Verständnis, direkt auf der Bildebene. Die CNNs können Frames tausendfach pro Sekunde klassifizieren, ohne diese Bilder jemals aufzeichnen oder den Verarbeitungspfad hinunter senden zu müssen. Die Forscher demonstrierten die Klassifizierung von handgeschriebenen Zahlen, Handgesten und sogar Plankton.

Zukunft: Dedizierte KI-Kameras

Die Forschung deutet auf eine Zukunft mit intelligenten, dedizierten KI-Kameras hin – visuelle Systeme, die einfach Hochlevel-Informationen an den Rest des Systems senden können, wie die Art des Objekts oder Ereignisses vor der Kamera. Dieser Ansatz würde Systeme weitaus effizienter und sicherer machen, da keine Bilder aufgezeichnet werden müssen.

SCAMP: Pixel Processor Array

Die Arbeit nutzt SCAMP, einen Kamera-Prozessor-Chip, den das Team als Pixel Processor Array (PPA) beschreibt. Ein PPA hat einen Prozessor in jedem Pixel, der mit anderen kommunizieren kann, um in wahrhaft paralleler Form zu verarbeiten. Dies ist ideal für CNNs und Sehalgorithmen.

Die Integration von Sensorik, Verarbeitung und Speicher auf Pixelebene ermöglicht nicht nur Hochleistungs-Systeme mit geringer Latenz, sondern verspricht auch stromsparende, hocheffiziente Hardware. SCAMP-Geräte können mit Fußabdrücken implementiert werden, die aktuellen Kamerasensoren ähneln, aber die Fähigkeit besitzen, einen universellen, massiv parallelen Prozessor direkt am Punkt der Bildaufnahme zu haben.