TinyML: Ingenieure vereinen sich zur Standardisierung von KI für Ultra-Low-Power-Systeme

Fast 200 Ingenieure und Forscher trafen sich, um eine Community für TinyML zu starten – das aufstrebende Feld, das Deep Learning auf Ultra-Low-Power-Systeme bringt.

SUNNYVALE, Kalifornien – Fast 200 Ingenieure und Forscher versammelten sich, um eine Community zu gründen, die TinyML vorantreibt, das aufstrebende Feld, das Deep Learning auf Ultra-Low-Power-Systeme bringt.

„Es mangelt nicht an innovativen Ideen“, sagte Ian Bratt, Machine-Learning-Fellow bei Arm, zur Eröffnung.

Vor vier Jahren hatte der Fortschritt stagniert. Die Ankunft neuer Floating-Point-Formate und Kompressionstechniken hat die Begeisterung neu entfacht, doch eine erhebliche Lücke bleibt zwischen Spitzenforschung und kommerziell nutzbaren Lösungen, erklärte Bratt.

Das Software-Ökosystem gleicht dem Wilden Westen – fragmentiert und dominiert von Konzernriesen wie Amazon, Google und Facebook, die jeweils eigene Frameworks pushen. Die Herausforderung für Hardware-Ingenieure ist, Produkte zu liefern, die breit nutzbar sind, fügte er hinzu.

Ein Ingenieur von STMicroelectronics stimmte zu: „Ich habe gerade realisiert, dass es mindestens vier KI-Compiler gibt, und die nächste Chip-Generation wird außerhalb des traditionellen Embedded-Designer-Toolkits fallen. Die Stabilisierung von Software-Interfaces und Investition in Interoperabilität – durch ein Standardisierungsgremium – sind essenziell.“

Pete Warden, Co-Chair der TinyML-Gruppe und Technical Lead für TensorFlow Lite, warnte, dass Software-Standards verfrüht sein könnten. „Forscher revidieren ständig Operationen, Architekturen, Gewichte, Kompression, Formate und Quantisierung. Die Semantik ist im Fluss, und wir müssen Schritt halten.“

Warden fügte hinzu, dass Beschleuniger, die in den nächsten Jahren keine General-Purpose-Berechnungen für neue Operationen oder Aktivierungsfunktionen ausführen können, obsolet werden. In zwei Jahren werden wahrscheinlich neue Operationen entstehen, warnte er.

Ein Microsoft KI-Forscher pflichtete bei: „Wir sind noch weit von dem entfernt, wo wir sein sollten, und werden dort nicht in ein oder zwei Jahren ankommen. Deshalb investierte Microsoft in FPGAs zur Beschleunigung seiner Azure Cloud Services. Der Aufbau richtiger Abstraktionsschichten ist entscheidend für Hardware-Innovation. Ein Open-Source-Hardware-Beschleuniger könnte Fortschritt beschleunigen.“

Bratt schlug vor, dass ein Compliance-Standard der erste Schritt sein könnte, um Forschern eine konsistente Edge-Cloud-Erfahrung zu garantieren.

Princeton-Professor Naveen Verma, dessen Arbeit auf KI-Prozessoren-im-Speicher fokussiert, betonte die Notwendigkeit robuster funktionaler Spezifikationen auf jeder Ebene. „Wenn wir klare Specs auf ausreichenden Ebenen definieren können, eröffnet das Wege zu anderen Schichten, und diese Community ist einzigartig positioniert, sie zu definieren.“