Softwaretools migrieren GPU-Code auf FPGAs für KI-Anwendungen

Das KI-Software-Startup Mipsology arbeitet mit Xilinx zusammen, um es FPGAs zu ermöglichen, GPUs in KI-Beschleunigeranwendungen mit nur einem einzigen zusätzlichen Befehl zu ersetzen. Die „Null-Aufwand“-Software von Mipsology, Zebra, wandelt GPU-Code so um, dass er auf der KI-Computing-Engine von Mipsology auf einem FPGA ausgeführt wird, ohne dass Codeänderungen oder Umschulungen erforderlich sind.

Xilinx gab heute bekannt, dass Zebra die neueste Version seiner Alveo U50-Karten für das Rechenzentrum ausliefert. Zebra unterstützt bereits die Inferenzbeschleunigung auf anderen Xilinx-Boards, einschließlich Alveo U200 und Alveo U250.

Die neueste Version der Alveo U50-Beschleunigerkarte für Rechenzentren von Xilinx wird jetzt mit der Zebra-Software von Mipsology zur Konvertierung von GPU-KI-Code zur Ausführung auf FPGAs geliefert (Bild:Xilinx)

„Die Beschleunigung, die Zebra unseren Alveo-Karten verleiht, stellt CPU- und GPU-Beschleuniger in den Schatten“, sagte Ramine Roane, Vice President of Marketing bei Xilinx. „In Kombination mit Zebra erfüllt Alveo U50 die Flexibilitäts- und Leistungsanforderungen von KI-Workloads und bietet Leistungsvorteile bei hohem Durchsatz und geringer Latenz für jede Bereitstellung.“

Plug-and-Play

FPGAs galten in der Vergangenheit als notorisch schwierig zu programmieren für Nicht-Spezialisten, aber Mipsology möchte FPGAs zu einer Plug-and-Play-Lösung machen, die so einfach zu verwenden ist wie eine CPU oder GPU. Die Idee ist, den Wechsel von anderen Beschleunigungsarten auf FPGA so einfach wie möglich zu machen.

„Der beste Weg, um [Mipsology] zu sehen, ist, dass wir die Software, die auf FPGAs kommt, so machen, dass sie genauso transparent ist, wie Nvidia Cuda CuDNN gemacht hat, um die GPU für KI-Benutzer vollständig transparent zu machen“, sagte Ludovic Larzul ., CEO von Mipsology , in einem Interview mit EE Times .

Entscheidend ist, dass dies auch von Nicht-Experten ohne tiefgehende KI-Kenntnisse oder FPGA-Kenntnisse durchgeführt werden kann, da für den Übergang keine Umschulung des Modells erforderlich ist.

„Die Benutzerfreundlichkeit ist sehr wichtig, denn wenn man sich die KI-Projekte der Leute ansieht, haben sie oft keinen Zugriff auf das KI-Team, das das neuronale Netzwerk entwickelt“, sagte Larzul. „Wenn jemand ein Robotersystem oder ein Videoüberwachungssystem einrichtet, hat er normalerweise andere Teams oder andere Parteien, die die neuronalen Netze entwickeln und trainieren. Und sobald sie [das trainierte Modell] haben, wollen sie es nicht mehr ändern, weil sie nicht über das Fachwissen verfügen.“

Zebras Stapel. Die Technologie ist für Rechenzentrums-, Edge- und eingebettete Anwendungen anwendbar (Bild:Mipsology)

Versus Vitis

Warum sollte Xilinx Software von Drittanbietern unterstützen, wenn es bereits eine umfassende Lösung gibt, die FPGAs sowohl für Datenwissenschaftler als auch für Softwareentwickler (nämlich Vitis) zugänglich machen soll?

"Die Tonhöhe in einem Satz lautet:Uns geht es besser", sagte Larzul. „Ein anderer Satz wäre:Ours works.“

Mipsology verwendet weder einen Teil von Vitis noch ist es in irgendeiner Weise damit verknüpft, noch verwendet es XDNN, die Neural Network Accelerator Engine von Xilinx. Mipsology verfügt über eine eigene Rechen-Engine innerhalb von Zebra, die die bestehenden Convolutional Neural Network (CNN)-Modelle der Kunden unterstützt, im Gegensatz zu XDNN, das laut Larzul viele Demos unterstützt, aber weniger gut für benutzerdefinierte neuronale Netzwerke geeignet ist. Dies, sagte er, habe die Einrichtung benutzerdefinierter Netzwerke mit XDNN „schmerzhaft“ gemacht. Während XDNN in Anwendungen mithalten kann, bei denen keine Bedrohung durch GPUs besteht, soll Zebra es FPGAs ermöglichen, GPUs basierend auf Leistung, Kosten und Benutzerfreundlichkeit direkt zu bekämpfen.

Zebras Stapel im Detail. Ziel ist es, FPGAs zu einem einfacheren Wechsel von GPUs oder CPUs für die KI-Beschleunigung zu machen, indem die Hardware so weit wie möglich ausgeblendet wird (Bild:Mipsology)

Die Motivation der meisten Kunden, von GPU-Lösungen zu wechseln, sind Kosten, sagte Larzul.

„Sie wollen die Kosten für die Hardware senken, aber das neuronale Netz nicht neu gestalten“, sagte er. „Es fallen einmalige Kosten an, die vermieden werden, weil wir GPUs transparent austauschen können und das neuronale Netzwerk nicht neu trainiert oder modifiziert wird.“

FPGAs bieten auch Zuverlässigkeit, zum Teil, weil sie weniger aggressiv auf Siliziumflächen sind und oft kühler laufen als andere Beschleunigertypen, einschließlich GPUs, so Larzul. Dies ist besonders wichtig in Rechenzentren, in denen die langfristigen Wartungskosten erheblich sind.

„Die Gesamtbetriebskosten sind nicht nur der Preis des Boards“, sagte Larzul. „Es gibt auch den Preis dafür, dass das System betriebsbereit ist.“

Zebra strebt außerdem an, FPGAs hinsichtlich der Leistung konkurrenzfähig zu machen. Obwohl FPGAs normalerweise weniger TOPS (Tera-Operationen pro Sekunde) bieten als andere Beschleuniger, können sie diese TOPS dank der sorgfältig entwickelten Rechen-Engine von Zebra effizienter nutzen, sagte Larzul.

„Das ist etwas, das die meisten ASIC-Start-ups, die die KI beschleunigen, vergessen haben – sie machen ein sehr großes Stück Silizium und versuchen, mehr TOPS einzupacken, aber sie haben nicht darüber nachgedacht, wie Sie Ihr Netzwerk darauf abbilden, um effizient zu sein.“ “, sagte er und bemerkte, dass die FPGA-basierte Engine von Zebra in der Lage ist, mehr Bilder pro Sekunde zu verarbeiten als eine GPU mit der 6-fachen Menge an TOPS.

Wie wird dies erreicht? Obwohl Larzul keine genauen Details nannte, sagte er, dass sie sich nicht auf das Beschneiden verlassen, da die Genauigkeitsreduzierung zu groß ist, um ohne Umschulung akzeptabel zu sein. Sie verwenden aus dem gleichen Grund keine extreme Quantisierung (unter 8 Bit).

Die Engine von Zebra beschleunigt CNNs, die heute hauptsächlich von Bild- und Videoverarbeitungsanwendungen verwendet werden, aber Zebra kann auch auf BERT (Googles Natural Language Processing Model) angewendet werden, das ähnliche mathematische Konzepte verwendet. Zukünftige Iterationen von Zebra können andere Arten von neuronalen Netzwerken abdecken, einschließlich LSTM (langes Kurzzeitgedächtnis) und RNNs (rekurrente neuronale Netzwerke), aber dies ist schwieriger zu erreichen, da RNNs mathematisch vielfältiger sind.

Team von EVE

Mipsology wurde 2015 mit rund 30 Mitarbeitern in der Forschung und Entwicklung in Frankreich und einem kleinen Team in Kalifornien gegründet, das sich hauptsächlich mit der Geschäftsentwicklung befasst. Das Unternehmen hat Fördermittel in Höhe von insgesamt 7 Millionen $ erhalten, davon 2 Millionen US-Dollar im Rahmen eines Innovationswettbewerbs der französischen Regierung im Jahr 2019.

Das Kernteam von Mipsology stammt von EVE – einem ASIC-Emulatorunternehmen, das 2012 von Synopsys für seine hardwareunterstützten Verifikationsprodukte ZeBu (Zero Bug) übernommen wurde, damals ein Konkurrent der Palladium-Verifikationsplattform von Cadence. Laut Larzul wurde die EVE-Technologie von fast allen großen ASIC-Unternehmen verwendet, um ASICs während des Designzyklus zu verifizieren; Diese Technologie beruhte auf Tausenden von miteinander verbundenen FPGAs, um das ASIC-Verhalten zu reproduzieren.

Mipsology hat 12 Patente angemeldet und arbeitet eng mit Xilinx zusammen und ist kompatibel mit Beschleunigerkarten von Drittanbietern wie Western Digital Small Form Factor (SFF U.2) Karten und Advantech Karten wie der Vega-4001.

>> Dieser Artikel wurde ursprünglich veröffentlicht am unsere Schwesterseite EE Times.