Arm-Cores für TinyML-Geräte

Arm hat zwei neue IP-Cores vorgestellt, die für maschinelles Lernen in Endpunktgeräten, IoT-Geräten und anderen kostensensiblen Anwendungen mit geringem Stromverbrauch entwickelt wurden. Der Cortex-M55-Mikrocontroller-Kern ist der erste, der die Helium-Vektorverarbeitungstechnologie von Arm verwendet, während der Ethos-U55-Beschleuniger für maschinelles Lernen eine Mikroversion der bestehenden Ethos NPU (Neural Processing Unit)-Familie des Unternehmens ist. Die beiden Kerne sind so konzipiert, dass sie zusammen verwendet werden können, sie können jedoch auch separat verwendet werden.

Die Aktivierung von KI- und maschinellen Lernanwendungen auf Mikrocontrollern und anderen kostensensiblen, energiesparenden Geräten mit begrenzten Ressourcen wird als tinyML-Sektor bezeichnet. Mit dem Aufkommen von 5G, das einen Trend zu mehr Intelligenz bei Endgeräten einleitet, wird tinyML voraussichtlich exponentiell zu einem Markt wachsen, der Milliarden von Verbraucher- und Industriesystemen umfasst.

„Wenn wir in fünf Jahren zurückblicken, sind wir uns vielleicht alle einig, dass diese Zeit einen echten Paradigmenwechsel im Computing markierte“, sagte Thomas Ensergueix, Senior Director für IoT und Embedded, Arm. „Wir haben innerhalb weniger Jahre gesehen, wie KI die Datenanalyse in der Cloud revolutioniert hat, die meisten von uns haben ein KI-erweitertes Smartphone in der Tasche, und jetzt ist hier der nächste Schritt, um sich überall auf KI vorzubereiten.“

Smart-Home-Geräte wie Smart Speaker werden zunehmend in der Lage sein, Machine-Learning-Inferenz selbst durchzuführen (Bild:Sebastian Scholz/Unsplash)

Maschinelles Lernen, einschließlich Spracherkennungs- und Computer-Vision-Anwendungen, wird zunehmend im Mikrocontroller stattfinden. Eine Reihe von Mikrocontroller-Alternativen entsteht, basierend auf ARM-Kernen und anderen, auf die ARM mit diesen beiden neuen Kernen abzielt.

„Wir wissen, dass all diese Daten auf Endpunktebene nicht zurück in die Cloud gehen können“, sagte Ensergueix. „Videokameras zu Hause oder in der Smart City erzeugen buchstäblich Gigabytes pro Tag an Daten und die Infrastruktur ist nicht für diesen Upstream-Datenfluss gebaut. Wir sind davon überzeugt, dass wir für die Skalierung auf Milliarden oder Billionen von IoT-Endpunkten KI-Inferenzfunktionen direkt im IoT-Endpunkt benötigen. Und es muss sicher sein.“

Cortex-M55

Der Cortex M-55 ist die neueste Ergänzung der bekannten Cortex-M-Serie für Mikrocontroller von Arm und wurde als der KI-fähigste Cortex-M-Kern von Arm entwickelt.

Der M55 ist der erste, der die neue Helium-Vektorverarbeitungstechnologie von Arm verwendet, die im Vergleich zu früheren Cortex-M-Generationen eine 5x schnellere DSP-Leistung und eine 15x schnellere ML-Leistung verspricht. Basierend auf der Armv8.1-M-Architektur können benutzerdefinierte Anweisungen erstellt werden, um den Prozessor für bestimmte Arbeitslasten zu optimieren, vielleicht um jeden letzten Tropfen Leistung herauszuholen.

Die Kombination von M55 und U55 nutzt die erhöhte DSP-Leistung des M55, die für die Signalvorverarbeitung verwendet werden kann. Der M55 kann jedoch selbst neuronale Netzwerk-Workloads ausführen. Es bietet spezielle Anweisungen für INT8-Nummern, einschließlich des Punktprodukts, das häufig in Anwendungen für maschinelles Lernen verwendet wird.

Eine erfolgreiche AIoT-Anwendung „hängt nicht nur von einer guten Rechenleistung ab, sondern auch davon, die richtigen Daten, die richtigen Koeffizienten und die richtigen Machine-Learning-Gewichte zur richtigen Zeit zu erhalten alle ein- und ausgehenden Daten verarbeiten. In dieser Hinsicht ist er viel leistungsfähiger als jeder andere Cortex-M-Kern“, sagte Ensergueix.

Die Kombination aus Cortex-M55 und Ethos-U55 bietet genügend Rechenleistung für Anwendungen wie Gestenerkennung, Biometrie und Spracherkennung (Bild:Arm)

Ethos-U55

Der Ethos-U55 wird als erste „Mikro-NPU“ von Arm in Rechnung gestellt und bietet bis zu 0,5 TOPS Beschleunigung (basierend auf kleineren Geometrien wie 16 oder 7 nm bei 1 GHz). Arm hat noch keine Zahlen zur Energieeffizienz veröffentlicht (TOPS/W). Es ist konfigurierbar — 32 bis 256 Multiply-Accumulate-Units (MACs) können verwendet werden — und es verfügt über einen Gewichtsdecoder und direkten Speicherzugriff für die On-the-Fly-Gewichtsdekomprimierung.

Das Ethos-U55 gesellt sich zu den Ethos N77, N57 und N37, die im Vergleich 4, 2 bzw. 1 TOPS bieten. Die Leistung kann durch die Verwendung mehrerer Ethos-Kerne skaliert werden.

Cortex-M55 und Ethos-U55 sind für die gemeinsame Verwendung konzipiert, können aber auch separat verwendet werden (Bild:Arm)

Die beiden neuen Kerne M55 und U55 sind für den gemeinsamen Einsatz konzipiert und können ML-Aufgaben 480x schneller verarbeiten als jedes Cortex-M-Gerät der vorherigen Generation allein. Laut Arm sind typische Zahlen für eine End-to-End-Sprachassistentenanwendung mit ML eine 50-fache Geschwindigkeit im Vergleich zur Verwendung eines Cortex-M7 allein und eine 25-fache Steigerung der Energieeffizienz.

„Der Cortex-M würde den Anwendungssystemcode ausführen und dann, wenn die Verarbeitung einer neuronalen Netzwerk-Workload erforderlich ist, der Befehlsstrom dafür im SRAM platziert wird, ein Interrupt an das U55 gegeben wird und es heißt, hier, arbeiten Sie daran.“ Command Stream“, erklärte Steve Roddy, Vice President der Machine Learning Group bei Arm. „Das könnte eine einzelne Schlussfolgerung eines einzelnen Modells sein. Das U55 läuft zu Ende, legt die Ergebnisse zurück ins SRAM und lässt dann den Cortex-M übernehmen. Oder es könnte die Art von Situation sein, in der Sie kontinuierlich laufen, während Sie eine Art Streaming-Daten verarbeiten, möglicherweise Audio oder Video.“

Silizium auf Basis dieser neuen Kerne sollte Anfang 2021 auf den Markt kommen.