Aufstieg auf eine neue Stufe der Edge-KI

Die Evolutionsphase der Technologien ist bekannt, und die KI, die wichtigste Technologie der letzten Jahre, ist nicht anders. In der KI -- neue Generationen fügen mehr MACs hinzu, mehrere Quantisierungsschichten, diese Funktion, diese Funktion -- alles, um verbesserte TOPS/Watt zu jagen.

In diesem Umfeld haben wir über unsere CEVA NeuPro-Plattform erfolgreich KI-at-the-Edge-Lösungen in verschiedenen Märkten eingeführt. Jetzt wollen die Benutzer mehr, aber manchmal reicht Evolution allein nicht aus.

Anfangs legten die Benutzer großen Wert auf Benutzerfreundlichkeit, um ihnen bei der Einführung dieser neuen KI-at-the-Edge-Technologie zu helfen. Aber während sich ihre Expertise in fortschrittlichen KI-Techniken vertieft, möchten sie Zugang zu allen möglichen Wegen haben, um ihre Produkte zu differenzieren und aktuelle Ansätze um eine Größenordnung zu übertreffen. Durch Evolution ist es nicht möglich, schnell dorthin zu gelangen; revolutionäre Verbesserungen sind notwendig. Was sie wollen, hat sich von Benutzerfreundlichkeit zu maximaler algorithmischer Flexibilität bei maximalem Durchsatz und minimaler Leistung geändert.

Messen

TOPS/W ist eine nette Marketingnummer, aber zu grob, um in echten Anwendungen nützlich zu sein. Bei der visuellen Inferenz beispielsweise ist Frames per Second per Watt (FPS/W) eine viel aussagekräftigere Metrik. Der Wert einer guten Punktzahl in diesem Zusammenhang ist leicht zu verstehen. Das Erkennen eines vorausfahrenden Fußgängers oder Autos oder eines von hinten vorbeifahrenden Autos erfordert eine schnelle Reaktion. Es bleibt wenig Zeit zum Bremsen oder Weglenken und keine Aktion erfolgt sofort. Eine Inferenz-Engine muss mindestens 100 FPS schaffen – bei möglichst geringer Leistung, denn dies ist nur eines von vielen Sensor-/KI-Systemen rund um das Auto. Das erfordert viel höhere fps/W für wettbewerbsfähige Leistung.

Die Marktchancen sind unbestritten. Es wird erwartet, dass Automobil- und Telekommunikationsanwendungen den größten Beitrag zu diesem Wachstum leisten, und im Automobilbereich ist die intelligente Bildgebung weiterhin stark. Übrigens auch der Trend „viele Kameras“ bei Handys. Tatsächlich hat die Bildgebungspipeline in solchen Kameras begonnen, konventionelle Algorithmen durch neuronale Netze für Rauschunterdrückung, Bildstabilisierung, Superauflösung und andere neuartige Funktionen zu ersetzen, die alle mit 60 fps in einem sehr eingeschränkten Energiebereich laufen.

Was ein großer Fortschritt erfordert

Es gibt einige interessante Dinge rund um analoge KI und neuronale Netze, aber Produkthersteller möchten nicht zu weit von dem abweichen, was sie heute sicher auf das Volumen skalieren können. Diese Einschränkung lässt noch viel Potenzial für Algorithmen übrig, aber jetzt wollen Produkthersteller Zugang zu all diesen Algorithmen mit viel mehr Flexibilität, um maximale Leistung bei minimaler Leistung herauszuholen.

Die Liste der Optimierungsmöglichkeiten ist lang:eine breite Palette von Quantisierungsoptionen, Winograd-Unterstützung, Sparsity-Optimierung zum Überspringen von Multiplikationen mit Null, Datentyp-Diversität bei der Aktivierung und Gewichtung über eine Reihe von Bit-Größen, Vektorverarbeitungsfähigkeit parallel zu neuronalen Multiplikationen, Datenkomprimierung zur Reduzierung der Ladezeit für Gewichtungen und Aktivierungen, Unterstützung der Matrixzerlegung, die eine Beschleunigung von bis zu 50:1 über ein Referenznetzwerk liefert, und NN-Architekturen der nächsten Generation wie Transformatoren und 3D-Faltungsunterstützung.

Ein Aufruf zum Handeln

Produktentwickler, die jetzt mehr Erfahrung mit KI haben, wissen, was sie bauen wollen und wie sie es bauen. Was sie brauchen, ist eine Plattform, die alle ihnen bereits bekannten neuronalen Netzkomponentenalgorithmen bietet, um die optimale Lösung für ihr Produkt zu konstruieren.

Dies ist eine Traumliste von Algorithmen und Optimierungen, um die wirklich bahnbrechende Fähigkeit, den Durchsatz und den geringen Stromverbrauch zu liefern, die fortschrittliche Edge-KI benötigt. Aber warum nur ein Traum? Fortgeschrittene Produktentwickler geben sich nicht mehr mit inkrementellen Verbesserungen der KI zufrieden. Sie erwarten jetzt Plattformen, die auf ihr stark verbessertes Verständnis der Möglichkeiten ausgerichtet sind.

Um mehr über die Arbeit von CEVA im Bereich Edge-KI zu erfahren, klicken Sie HIER.

Roni Sadeh verfügt über mehr als 20 Jahre Erfahrung im Prozessor- und Beschleunigerdesign, wobei er sich in den letzten Jahren auf KI-bezogene SW- und HW-Lösungen für Audio-/Sprach-/Computer-Vision-Anwendungen konzentriert und die nächste Generation von KI-Beschleunigern entwickelt hat, die auf Hunderte von TOPs.

Roni hat einen B.Sc. in Aeronautical Engineering von der Technion University.