TinyML Community zielt auf 1-mW KI für Edge Devices

Als die TinyML-Gruppe ihr inaugurales Meeting abhielt, war die erste Tagesordnung eine simple Frage: Was genau ist TinyML?

TinyML ist eine Community von Ingenieuren, dedicated to making Machine Learning (ML) auf Ultra-Low-Power Devices laufen. Das initiale Treffen fokussierte darauf, ob ML auf Mikrocontrollern implementiert werden kann und ob spezialisierte Low-Power ML Prozessoren notwendig sind.

Evgeni Gousev von Qualcomm AI Research definierte TinyML als ML-Techniken, die 1 mW oder weniger konsumieren. Er nannte 1 mW die „Magic Number“ für Always-On-Anwendungen in Smartphones.

„Während Cloud ML das Gespräch dominiert, wird ML auf dem Device zunehmend sophistiziert“, notierte Gousev. „Aber 90 % der Daten stammen aus der realen Welt. Wie fusionieren wir alle Kameras, IMUs und andere Sensoren und führen ML lokal aus?“

„TinyML wird groß werden, und es gibt einen dringenden Bedarf, das gesamte Ökosystem aufzubauen – Applications, Software, Tools, Algorithmen, Hardware, ASICs, Devices, Fabs und mehr“, fügte Gousev hinzu.

Google Engineer Nat Jefferies präsentiert beim ersten TinyML Meetup (Bild: TinyML)

TensorFlow Lite

Google Engineer Daniel Situnayake stellte TensorFlow Lite vor, eine Lightweight-Version von TensorFlow, tailored für Edge Devices, inklusive Mikrocontrollern.

„TensorFlow Lite hat Mobile Phones jahrelang gedient, und wir sind jetzt excited, es auf noch kleinere Geräte zu bringen“, sagte er.

Nach Training eines Modells in TensorFlow konvertieren Engineers es zu TensorFlow Lite, das das Model schrumpft, Quantisierung anwendet und sonst optimiert, um komfortabel auf Target Hardware zu passen.

Eine Power-Saving-Strategie, die er beschrieb, ist Chaining von Models zusammen.

„Stellen Sie sich eine Kaskade von Classifiern vor: ein winziges, Low-Power Model detektiert zuerst, ob Sound vorhanden ist, dann ein etwas größeres Model bestimmt, ob es menschliche Sprache ist, und schließlich aktiviert ein tieferes Netzwerk nur, wenn diese Bedingungen erfüllt sind“, erklärte Situnayake. „Indem wir das energieintensive Model nur bei Notwendigkeit wecken, erzielen wir substantielle Energieeinsparungen.“

Kaskadierende Machine Learning Models können Power sparen (Bild: Google)

Nat Jefferies, Mitglied von Googles „TensorFlow Lite for microcontrollers“ Team, hob die wachsende Nachfrage nach strikten Energiebudgets in Consumer Devices hervor, die sophisticated Sensors feature aber noch auf langlebige Batterien oder Energy Harvesting angewiesen sind.

„TinyML – Deep Learning auf Mikrocontrollern – ist der Schlüssel“, sagte er. „Es lässt uns Sensordaten lokal mit minimalen CPU-Zyklen und Sensor-Reads verarbeiten, vermeidet den Energie-Kosten von Off-Chip-Transmission. TinyML kann rohe Sensordaten in wenige Bytes destillieren, dann nur diesen komprimierten Payload übertragen.“

Er zitierte eine kürzliche Google Challenge, die beeindruckende Submissions für 250 kB Models capable of Person Detection anzog, confirming die Viabilität dieses Ansatzes.

„Wir können TensorFlow Models jetzt so weit schrumpfen, dass sie auf Mikrocontrollern passen, was dies zu einem opportunen Moment macht, in den Space einzusteigen“, schloss Jefferies.

Googles Roadmap für TensorFlow Lite auf Mikrocontrollern umfasst: Open-Sourcing Demo Projects, Kollaboration mit Chip Vendors zur Kernel-Optimierung, Reduktion Memory Usage für komplexere Models, Erweiterung Platform Support – SparkFun Edge ist erstes Board, Arduino und Mbed Support am Horizont.

Spezialisierte Devices

Martin Croome, VP Business Development bei GreenWaves Technologies, machte den Case für spezialisierte Low-Power ML Prozessoren.

„Wir brauchen klareren Fokus auf Ultra-Low-Power ML von sowohl algorithmischer als auch Hardware-Perspektive“, sagte Croome.

GreenWaves' RISC-V Application Processor, der GAP8, zielt auf Inference in Edge Devices mit Milliwatt Power Consumption und Ultra-Low Standby Currents. Der Chip ist designed für batteriebetriebene Devices und Energy Harvesting.

GreenWaves' Ultra-Low-Power ML Accelerator mit neun RISC-V Cores (Bild: GreenWaves Technologies)

Um Consumption niedrig zu halten, employt GAP8 Parallelismus nicht für Speed sondern um niedrigere Clock Frequency und Voltage zu ermöglichen. Der Hardware Accelerator des Chips kann 5×5 Convolution auf 16-Bit Data in einem Single Cycle performen. Da CNNs fixed-size Inputs und Weights nutzen, kann Memory Management zur Compile Time bestimmt werden, weiter reducing Runtime Overhead.

Balance zwischen Spezialisierung und Flexibilität ist eine Challenge. „KI evolviert rasant. Was heute cutting-edge ist, kann morgen obsolete sein“, warnte Croome. „Wir müssen Over-Specialisierung vermeiden, um agil zu bleiben und zukünftige Innovationen adaptieren zu können.“

Der GAP8 ist seit einem Jahr im Sampling; Production beginnt diesen Monat, Volume Shipments slated für Ende Q3.

TinyML Meetups finden jeden letzten Donnerstag im Monat in der Bay Area statt und welcome Teilnehmer aus Industrie und Academia alike.