KI-Pionier warnt: Heutiger KI-Hardware-Fokus ist fehlgeleitet

Yann LeCun, Facebooks Chief AI Scientist, warnte in seiner NeurIPS-Keynote, dass der Fokus auf exotische Hardware ein Fehlschritt sei. Er untersuchte die Entwicklung spezialisierter Chips für neuronale Netze, teilte Facebooks aktuelle Arbeit und bot Vorhersagen für Deep-Learning-Hardware.

Uralte Geschichte

LeCun, eine Pionierfigur in KI seit den 1980ern, war unter den Ersten, die dedizierte neuronale Netzwerk-Prozessoren bei Bell Labs entwickelten. Diese frühen Geräte, aus Widerstandsarrays gebaut zur Durchführung von Matrixmultiplikation, waren die Grundlage für spätere Fortschritte.

Als neuronale Netze in den späten 1990ern und frühen 2000ern aus der Mode kamen, war LeCun einer der wenigen Wissenschaftler, die das Feld am Leben hielten. In seiner Keynote reflektierte er die Hardware-Lektionen, die in jener Ära gelernt wurden.

Facebook Chief AI Scientist Yann LeCun

Erstens sind Werkzeuge entscheidend. In den 90ern hatten nur eine Handvoll Forscher – LeCun inklusive – Software, die neuronale Netze trainieren konnte. Das Team verbrachte Jahre damit, was heute als Deep-Learning-Framework bezeichnet würde, eine flexible Schicht, die High-Level-Code in effiziente Trainingsroutinen übersetzt. Dieser Durchbruch legte den Grundstein für moderne Frameworks wie TensorFlow und PyTorch, wo Modelle aus differenzierbaren Modulen zusammengesetzt werden, die auto-differenziert werden können.

Die richtigen Werkzeuge gaben LeCuns Team eine „Superkraft“ und ermöglichten reproduzierbare Forschung. Er betonte, dass solide Ergebnisse reproduzierbar sein müssen; sonst bleibt die Community skeptisch.

Hardware-Performance ist ebenso wichtig. LeCun merkte an, dass die Fähigkeiten von Forschungs-Hardware die Forschungsagenda formen. „Ideen, die aufgegeben werden, tun dies oft, weil die verfügbare Hardware unzureichend ist“, sagte er. „Ein Missmatch zwischen Forschungsambitionen und Hardware-Realitäten kann vielversprechende Richtungen zum Scheitern bringen.“

LeCun warnte vor dem Verfolgen exotischer Fertigungsmethoden, die nicht in das bestehende Computing-Ökosystem integriert werden können.

Er hob auch einen Schlüssel-Missmatch in heutigen Beschleunigern hervor: Die meisten sind für Matrixmultiplikation optimiert statt für Faltung, die Kernoperation moderner Bild- und Sprachverarbeitungsnetze. „Der vorherrschende Ansatz wird zunehmend fehlangepasst, je mehr die Stromanforderungen wachsen“, warnte er. „Wenn 95 % der Zyklen für Faltungen aufgewendet werden, ist die Hardware fundamental suboptimal.“

Killer-App

Blickend nach vorn, sieht LeCun Convolutional Neural Networks allgegenwärtige Geräte durchdringen – von Spielzeug über Staubsauger bis zu medizinischer Ausrüstung. Die einzelne „Killer-App“, die KIs Wert in Consumer-Geräten freisetzen wird, ist jedoch das Augmented-Reality-Headset.

Facebook entwickelt aktiv Hardware für AR-Brillen. Die Herausforderung liegt in der Bereitstellung latenzarmer, batteriebetriebener Berechnung. „Wenn der Nutzer sich bewegt, müssen virtuelle Objekte in der Welt verankert bleiben, nicht am Headset“, erklärte LeCun, was die Notwendigkeit von Echtzeit-Tracking unterstreicht.

Facebook stellt sich AR-Brillen vor, die auf Sprachbefehle und gestenbasiertes Hand-Tracking reagieren. Während diese Fähigkeiten heute existieren, fallen sie in puncto Strom, Performance und Formfaktor kurz. LeCun skizzierte mehrere praktische Tricks, um die Lücke zu schließen.

Zum Beispiel, wenn dasselbe neuronale Netz jeden Frame eines Videos verarbeitet – wie Objekterkennung – können pro-Frame-Ungenauigkeiten toleriert werden, weil zeitliche Konsistenz über Frames erzwungen werden kann. Dies erlaubt den Einsatz ultraniedrigenergetischer, unvollkommener Hardware, die gelegentliche Bit-Flips erfahren kann, erreichbar durch Reduzierung der Versorgungsspannung.

Neuronale Netzwerk-Entwicklungen

Die rasante Evolution neuronaler Netzwerk-Architekturen stellt eine Design-Herausforderung für Hardware dar. Dynamische Netze, die sequenzielle Muster lernen, wie viele NLP-Modelle, erfordern Laufzeit-Graphenoptimierung und kämpfen mit Batching. LeCun merkte an, dass die meisten existierenden Hardware eine Batch-Size >1 annimmt, was Forscher zwingt, größere Batches zu verarbeiten als die optimale Einstellung des Modells.

Er forderte die Hardware-Community auf, Architekturen zu schaffen, die gut mit Batch-Size 1 performen, sowohl für Inferenz als auch für Training, wo die ideale Batch-Size oft eins ist.

Self-Supervised Learning

LeCun warnte, dass Lernparadigmen sich dramatisch verschieben werden. Menschen und Tiere lernen durch Beobachtung – einen Prozess, den er Self-Supervised Learning nennt – statt durch explizite Labels oder Verstärkungssignale. Dieser Ansatz, jetzt Standard in Transformer-basiertem NLP, trainiert ein Modell, maskierte Teile von Eingabedaten vorherzusagen.

Während Self-Supervised Learning hochwirksam ist, treibt es Speicheranforderungen in die Höhe. Die größten Transformer-Modelle enthalten heute bis zu fünf Milliarden Parameter und passen nicht in eine einzelne GPU, was Modellpartitionierung erfordert.

„Self-Supervised Learning ist die Zukunft“, behauptete LeCun. „Es verlangt massive Speicher- und Rechenressourcen, und der Hardware-Wettlauf wird sich intensivieren, während wir immer größere Modelle auf reichlich unbeschrifteten Daten trainieren.“

Hardware-Trends

LeCun behält emergente Hardware-Konzepte wie Analog Computing, Spintronik und optische Systeme im Auge. Er wies darauf hin, dass Kommunikationsflaschenhälse – Konvertierung von Signalen zwischen neuartiger Hardware und Mainstream-Systemen – ein großes Hindernis sind. Analog-Designs setzen auf spärliche Aktivierungen, um Energieverbrauch zu reduzieren, aber die Machbarkeit, Spärlichkeit aufrechtzuerhalten, bleibt ungewiss.

Er bleibt skeptisch gegenüber futuristischen Ansätzen wie Spiking Neural Networks und neuromorphen Chips. „Bevor man Chips baut, müssen die Algorithmen sich beweisen“, sagte er. „Hardware-Design vor algorithmischer Reife voranzutreiben, ist riskant.“

Ein Neural-Network Processing Zeitstrahl

Späte 1980er: Widerstandsarrays werden für Matrixmultiplikation genutzt. Ende der 1980er haben die Arrays Verstärker und Konverter um sich, sind aber nach heutigen Standards noch recht primitiv. Die Limitierung ist, wie schnell Daten in den Chip eingespeist werden können.
1991: Der erste Chip für Convolutional Neural Networks (CNNs) wird gebaut. Der Chip leistet 320 Giga-Operationen pro Sekunde (GOPS) auf binären Daten, mit digitalen Shift-Registern, die externen Traffic für Faltung minimieren und so den Betrieb beschleunigen. Der Chip sieht keine Nutzung jenseits der Akademie.
1992: ANNA, ein analoger Neural-Network-ALU-Chip, debütiert. Entworfen für CNNs mit 6-Bit-Gewichten und 3-Bit-Aktivierungen, enthält ANNA 180.000 Transistoren in 0,9-µm CMOS. Er wird für optische Zeichenerkennung von Handschrift genutzt.
1996: DIANA, eine digitale Version von ANNA, wird released. Aber mit neuronalen Netzen, die Mitte der 1990er aus der Mode fielen, wird DIANA schließlich für Signalverarbeitung in Mobilfunkmasten umfunktioniert.
2009–2010: Forscher demonstrieren einen Hardware Neural-Network Accelerator auf einem FPGA (Xilinx Virtex 6). Er läuft eine Demo für semantische Segmentierung für automatisiertes Fahren und leistet 150 GOPS bei ca. 0,5 W. Das Team von der Purdue University versucht, ein ASIC basierend auf dieser Arbeit zu bauen, aber das Projekt erweist sich als erfolglos. (Quelle: Yann Le Cun/Facebook)