Ingenieurgruppe versucht, 1-mW-KI an den Rand zu bringen

Als die TinyML-Gruppe kürzlich ihre Gründungsversammlung einberufen hat, mussten sich die Mitglieder einer Reihe grundlegender Fragen stellen, beginnend mit:Was ist TinyML?

TinyML ist eine Gemeinschaft von Ingenieuren, die sich darauf konzentriert, wie maschinelles Lernen (ML) am besten in Systemen mit extrem geringem Stromverbrauch implementiert werden kann. Das erste ihrer monatlichen Treffen war der Definition des Themas gewidmet. Ist maschinelles Lernen für Geräte mit geringem Stromverbrauch wie Mikrocontroller erreichbar? Und sind spezielle Prozessoren für maschinelles Lernen mit extrem geringem Stromverbrauch erforderlich?

Evgeni Gousev von Qualcomm AI Research definierte TinyML als Ansätze für maschinelles Lernen (ML), die 1 mW oder weniger verbrauchen. Gousev sagte, dass 1mW die „magische Zahl“ für Always-on-Anwendungen in Smartphones ist.

„Es wird viel über Cloud-ML gesprochen, während ML auf Smartphone-Ebene immer ausgefeilter wird“, sagte er. „Aber wenn man sich die Daten anschaut, sind 90 Prozent der Daten in der realen Welt. Wie verbinden Sie all diese Kameras, IMUs und anderen Sensoren und führen ML auf dieser Ebene durch?“

„Tiny ML wird groß sein, und es besteht ein echter, dringender Bedarf, das gesamte Ökosystem von Tiny ML voranzutreiben, einschließlich Anwendungen, Software, Tools, Algorithmen, Hardware, ASICs, Geräte, Fabs und alles andere“, sagte Gousev .

Google-Ingenieur Nat Jefferies präsentiert beim ersten TinyML-Treffen (Bild:TinyML)

TensorFlow Lite

Google-Ingenieur Daniel Situnayake präsentierte einen Überblick über TensorFlow Lite, eine Version des TensorFlow-Frameworks von Google, die für Edge-Geräte einschließlich Mikrocontroller entwickelt wurde.

„TensorFlow Lite zielt auf Mobiltelefone ab, aber wir freuen uns, es auf immer kleineren Geräten ausführen zu können“, sagte er.

Nach dem Erstellen eines Modells in TensorFlow können Ingenieure es über den Tensor Flow Lite-Konverter ausführen, der „es kleiner macht und Dinge wie Quantisierung durchführt, wodurch Sie die Größe und Präzision des Modells auf einen Maßstab reduzieren können, in den es bequem passt“. auf dem Zielgerät“, sagte er.

Situnayake beschrieb eine Technik, die zur Steigerung der Energieeffizienz verwendet werden könnte, bei der Modelle miteinander verkettet werden.

„Stellen Sie sich ein kaskadierendes Modell von Klassifikatoren vor, bei dem Sie ein Modell mit wirklich geringer Leistung haben, das kaum Leistung benötigt, um zu erkennen, ob ein Geräusch vor sich geht, und dann ein anderes Modell, das mehr Energie benötigt, um herauszufinden, ob es sich um menschliche Sprache handelt oder nicht.“ er erklärte. „Dann ein tieferes Netzwerk, das nur aufwacht, wenn diese Bedingungen erfüllt sind, das mehr Strom und Ressourcen verbraucht. Indem Sie diese miteinander verketten, wecken Sie den [energieintensiven] nur dann auf, wenn es erforderlich ist, sodass Sie große Einsparungen bei der Energieeffizienz erzielen können.“

Kaskadierende Modelle für maschinelles Lernen können helfen, Strom zu sparen (Bild:Google)

Nat Jefferies, ein Ingenieur im Google-Team „TensorFlow Lite für Mikrocontroller“, beschrieb den Trend zu strengen Anforderungen an den Energieverbrauch in modernen Verbrauchergeräten trotz ausgeklügelter Funktionen und ausgeklügelter Sensorsysteme. Diese Geräte können mit Batterien betrieben werden, die Monate oder Jahre halten müssen, oder sie verwenden Energy Harvesting.

„Wir glauben, dass die beste Lösung dafür Tiny ML ist – Deep Learning auf Mikrocontrollern“, sagte er. „Dies ermöglicht es uns, CPU-Zyklen und Sensorauslesungen durchzuführen, die [nicht viel Strom verbrauchen], anstatt alle Informationen außerhalb des Chips zu senden… TinyML kann verwendet werden, um die Sensordaten in nur wenigen Bytes zu verdichten, die Sie kann dann senden… für nur einen Bruchteil der Leistung“, sagte er.

Eine kürzlich durchgeführte Google-Herausforderung, bei der Teilnehmer 250-KByte-Modelle für die Personenerkennung entwickelten, erhielt viele beeindruckende Einreichungen und "bestätigt, dass das, was wir tun, sinnvoll ist", sagte Jefferies.

„Derzeit sind wir in der Lage, TensorFlow-Modelle so weit zu verkleinern, dass sie auf Mikrocontroller passen, und deshalb ist jetzt ein ausgezeichneter Zeitpunkt, um in diesem Bereich zu sein“, sagte er. „Wir freuen uns, diesen Prozess zu beschleunigen.“

Die Roadmap von Google für TensorFlow Lite auf Mikrocontrollern umfasst das Open-Sourcing einiger Google-Demos, die Zusammenarbeit mit Chipherstellern zur Optimierung von Kerneln, die Optimierung der Speichernutzung von TensorFlow Lite, um anspruchsvollere Modelle auf denselben Geräten auszuführen, und die Ermöglichung von mehr Entwicklungsplattformen (SparkFun Edge ist der einzige Board bisher unterstützt, aber Arduino- und Mbed-Board-Unterstützung kommt bald).

Spezialgeräte
Die Argumente für spezielle Anwendungsprozessoren mit geringem Stromverbrauch für ML präsentierte Martin Croome, VP Business Development, GreenWaves Technologies. Croome stimmte zu, dass eine Diskussion in der Industrie über die Vorgehensweise beim maschinellen Lernen mit extrem geringem Stromverbrauch überfällig sei.

„Wir brauchen dringend mehr Konzentration in diesem Bereich, sowohl aus der algorithmischen Perspektive als auch aus unserer [Hardware-]Welt“, sagte er.

GreenWaves hat einen RISC-V-Anwendungsprozessor, GAP8, entwickelt, der sich auf Inferenz in Edge-Geräten konzentriert, Milliwatt Energie verbraucht und extrem niedrige Standby-Ströme bietet. Das Unternehmen zielt sowohl auf batteriebetriebene Geräte als auch auf Geräte, die Energy Harvesting verwenden (lesen Sie mehr darüber, wie der Chip von GreenWaves in unserem früheren Artikel funktioniert).

Der extrem stromsparende Beschleuniger für maschinelles Lernen von GreenWaves verfügt über neun RISC-V-Kerne (Bild:GreenWaves Technologies)

Um den Stromverbrauch niedrig zu halten, werden verschiedene Techniken verwendet. Dazu gehört auch die Parallelisierung, jedoch nicht um die Dinge zu beschleunigen; 8 Kerne werden verwendet, um eine langsamere Taktrate zu ermöglichen, wodurch die Kernspannung sinken kann, was Energie spart (in der Praxis wird die Taktfrequenz dynamisch je nach Auslastung angepasst).

Der Chip ist auf Convolutional Neural Networks (CNNs) ausgerichtet, wobei ein Hardwarebeschleuniger eine 5×5-Faltung an 16-Bit-Daten in einem einzigen Taktzyklus (ohne Zurückschreiben) durchführt. Die explizite Speicherverwaltung beruht auf der Natur von CNNs, die häufig für die Bildverarbeitung verwendet werden; Bildsensoren haben eine feste Größe, Inferenz erfordert die gleiche Anzahl von Gewichten und das Ergebnis ist immer die gleiche Größe. Ein Tool kann daher Code für die gesamte Datenbewegung zur Kompilierzeit generieren.

Croome räumte ein, dass es eine schwierige Balance ist, genug zu spezialisieren, um ML-Workloads effektiv zu verarbeiten und gleichzeitig genügend Flexibilität zu bewahren, um auf technologische Fortschritte zu reagieren.

„Der Umfang der KI schreitet unglaublich schnell voran. Die großartige Idee von heute, wie man Dinge macht, ist wahrscheinlich nicht die großartige Idee von morgen“, sagte Croome. „Wenn wir uns zu sehr spezialisieren, werden wir super gut darin sein, das zu beschleunigen, was alle im letzten Jahr gemacht haben, was für ein Unternehmen nicht gut ist. Wir versuchen also, den Unterschied zwischen Flexibilität, Programmierbarkeit und Beschleunigung auszugleichen.“

Der Chip von GreenWaves wird seit einem Jahr bemustert, die Produktion beginnt in diesem Monat und wird bis Ende des dritten Quartals in großen Mengen an Kunden ausgeliefert, sagte Croome.

TinyML-Meetups finden jeden letzten Donnerstag im Monat in der Bay Area statt und stehen Teilnehmern aus Industrie und Wissenschaft offen.