Ultra-Low-Power-System fixiert KI-Hoffnungen auf TinyML

SUNNYVALE, Kalifornien – Eine Gruppe von fast 200 Ingenieuren und Forschern versammelte sich hier, um über die Bildung einer Gemeinschaft zur Kultivierung von Deep Learning in Systemen mit extrem niedrigem Stromverbrauch zu diskutieren, einem Gebiet, das sie TinyML nennen. In Präsentationen und Dialogen kämpften sie offen darum, einen noch unreifen Zweig des sich am schnellsten entwickelnden Bereichs der Technologie in den Griff zu bekommen, in der Hoffnung, eine neue Klasse von Systemen zu ermöglichen.

„An großartigen Ideen mangelt es nicht“, sagte Ian Bratt, ein Fellow im Bereich Machine Learning bei Arm, und eröffnete eine Diskussion.

„Vor vier Jahren wurde es langweilig, und dann kam das maschinelle Lernen mit neuen Gleitkommaformaten und Kompressionstechniken – es ist, als wäre man wieder jung. Aber es gibt einen großen Mangel an Möglichkeiten, diese Ideen in einem echten System zu nutzen, um Geld zu verdienen“, sagte Bratt.

„Das Software-Ökosystem ist ein totaler Wilder Westen. Es ist so fragmentiert und ein bisschen wie ein Landraub mit Amazon, Google, Facebook und anderen, die alle ihre Frameworks vorantreiben… Wie kann ein Hardware-Ingenieur also etwas herausholen, das viele Leute verwenden können?“, fragte er.

Ein Ingenieur von STMicroelectronics stimmte zu.

„Ich habe gerade festgestellt, dass es mindestens vier Compiler für KI gibt und die neuen Chips nicht von den traditionellen Embedded-Designern verwendet werden. Wir müssen also die Softwareschnittstellen stabilisieren und in die Interoperabilität investieren – ein Normungsausschuss sollte an gemeinsamen Schnittstellen arbeiten“, schlug der STM-Ingenieur vor.

Für Softwarestandards könnte es zu früh sein, sagte Pete Warden, Co-Vorsitzender der TinyML-Gruppe und technischer Leiter von Googles TensorFlow Lite, einem Framework, das auf mobile und eingebettete Umgebungen abzielt.

„Wir geben den Forschern die Schuld, die die Abläufe und Architekturen ständig ändern. Sie entdecken immer noch Dinge über Gewichtungen, Komprimierung, Formate und Quantisierung. Die Semantik ändert sich ständig, und wir müssen mit ihnen Schritt halten“, sagte Warden.

„In den nächsten Jahren haben Beschleuniger, die keine allgemeinen Berechnungen ausführen, um eine neue Operation oder Aktivierungsfunktion zu verarbeiten, keine Zukunft, da es in zwei Jahren wahrscheinlich ist, dass die Leute unterschiedliche Operationen auf den Tisch bringen“, fügte er hinzu.

Ein Microsoft-KI-Forscher stimmte zu. „Wir sind sehr weit davon entfernt, wo wir unserer Meinung nach sein sollten, und wir werden es nicht in ein oder zwei Jahren schaffen. Aus diesem Grund hat Microsoft in FPGAs investiert“, um seine Azure-Cloud-Dienste zu beschleunigen. „Wir müssen die richtigen Abstraktionsschichten aufbauen, um Hardwareinnovationen zu ermöglichen … und wenn es einen Open-Source-Hardwarebeschleuniger gäbe, könnte er helfen“, fügte er hinzu.

„Vielleicht ist ein Compliance-Standard der erste Schritt, damit Forscher am Edge die gleiche Erfahrung machen wie in der Cloud“, schlug Bratt von Arm vor.

„Wir brauchen robuste Funktionsspezifikationen für jedes Niveau, auf dem Sie leben. Wenn wir sie auf ausreichendem Niveau haben, wird es den Leuten einen Zugang zu anderen Ebenen geben, und diese Gruppe ist die beste, um sie zu definieren“, sagte Naveen Verma, a Princeton-Professor, dessen Forschung sich auf KI-Prozessoren im Speicher konzentriert.