Revolutionärer KI-Chip überschreitet Transistorgrenzen und liefert enorme Rechenleistung

Elektronik &Sensoren INSIDER

Forscher aus Princeton haben die Physik des Rechnens völlig neu erfunden, um einen Chip für moderne KI-Workloads zu entwickeln. Und mit der Unterstützung der neuen US-Regierung werden sie sehen, wie schnell, kompakt und energieeffizient dieser Chip werden kann. Ein früher Prototyp ist oben abgebildet. (Bild:Hongyang Jia/Princeton University)

Die größte Forschungsorganisation des Verteidigungsministeriums hat sich mit einem von der Princeton University geleiteten Projekt zusammengetan, um fortschrittliche Mikrochips für künstliche Intelligenz zu entwickeln.

Laut Naveen Verma, Professorin für Elektro- und Computertechnik, stellt die neue Hardware Chips für moderne Arbeitslasten neu dar, die leistungsstarke KI-Systeme mit viel weniger Energie betreiben können als die modernsten Halbleiter von heute. Verma, die das Projekt leiten wird, sagte, dass die Fortschritte wichtige Barrieren durchbrechen, die Chips für KI behindert haben, darunter Größe, Effizienz und Skalierbarkeit.

Chips, die weniger Energie benötigen, können eingesetzt werden, um KI in dynamischeren Umgebungen zu betreiben, von Laptops und Telefonen über Krankenhäuser und Autobahnen bis hin zur erdnahen Umlaufbahn und darüber hinaus. Die Arten von Chips, die die fortschrittlichsten Modelle von heute antreiben, sind zu sperrig und ineffizient, um auf kleinen Geräten zu laufen, sodass sie hauptsächlich auf Server-Racks und große Rechenzentren beschränkt sind.

Jetzt hat die Defense Advanced Research Projects Agency (DARPA) angekündigt, dass sie Vermas Arbeit, die auf einer Reihe wichtiger Erfindungen aus seinem Labor basiert, mit einem Zuschuss von 18,6 Millionen US-Dollar unterstützen wird. Die DARPA-Finanzierung wird die Untersuchung vorantreiben, wie schnell, kompakt und energieeffizient der neue Chip werden kann.

„Es gibt eine ziemlich wichtige Einschränkung, da sich die beste verfügbare KI nur im Rechenzentrum befindet“, sagte Verma. „Wenn man es daraus erschließt, explodieren die Möglichkeiten, wie wir aus der KI einen Mehrwert ziehen können.“

Die Ankündigung erfolgte im Rahmen einer umfassenderen Anstrengung der DARPA, „revolutionäre Fortschritte in Wissenschaft, Geräten und Systemen“ für die nächste Generation des KI-Computings zu finanzieren. Das Programm mit dem Namen OPTIMA umfasst Projekte mehrerer Universitäten und Unternehmen. In der Aufforderung zur Einreichung von Vorschlägen des Programms wurde die Gesamtfinanzierung auf 78 Millionen US-Dollar geschätzt, obwohl die DARPA weder die vollständige Liste der Institutionen noch den Gesamtbetrag der vom Programm bisher vergebenen Mittel offengelegt hat.

In dem von Princeton geleiteten Projekt werden Forscher mit Vermas Startup EnCharge AI zusammenarbeiten. EnCharge AI mit Sitz in Santa Clara, Kalifornien, vermarktet Technologien, die auf Entdeckungen aus Vermas Labor basieren, darunter mehrere wichtige Arbeiten, die er bereits 2016 gemeinsam mit Doktoranden der Elektrotechnik verfasst hat.

Verma gründete EnCharge AI im Jahr 2022 zusammen mit Kailash Gopalakrishnan, einem ehemaligen IBM Fellow, und Echere Iroaga, einem führenden Unternehmen im Bereich Halbleitersystemdesign.

Gopalakrishnan sagte, dass Innovationen innerhalb bestehender Computerarchitekturen sowie Verbesserungen in der Siliziumtechnologie genau zu dem Zeitpunkt nachließen, als KI anfing, massive neue Anforderungen an Rechenleistung und Effizienz zu stellen. Nicht einmal die beste Grafikverarbeitungseinheit (GPU), die zum Betrieb heutiger KI-Systeme verwendet wird, kann die Speicher- und Rechenleistungsengpässe, mit denen die Branche konfrontiert ist, abmildern. „Während GPUs heute das beste verfügbare Werkzeug sind“, sagte er, „sind wir zu dem Schluss gekommen, dass ein neuer Chiptyp erforderlich sein wird, um das Potenzial der KI auszuschöpfen.“

Laut Verma, die auch Direktorin des Keller Center for Innovation in Engineering Education an der Princeton University ist, ist die von KI-Modellen benötigte Rechenleistung zwischen 2012 und 2022 um etwa eine Million Prozent gestiegen. Um der Nachfrage gerecht zu werden, stecken in den neuesten Chips Dutzende Milliarden Transistoren, die jeweils durch die Breite eines kleinen Virus voneinander getrennt sind. Und doch sind die Chips in ihrer Rechenleistung immer noch nicht dicht genug für moderne Anforderungen.

Die heute führenden Modelle, die große Sprachmodelle mit Computer Vision und anderen Ansätzen des maschinellen Lernens kombinieren, wurden unter Verwendung von jeweils mehr als einer Billion Variablen entwickelt. Die von Nvidia entwickelten GPUs, die den KI-Boom vorangetrieben haben, sind so wertvoll geworden, dass große Unternehmen sie Berichten zufolge in gepanzerten Fahrzeugen transportieren. Der Rückstand beim Kauf oder Leasing dieser Chips geht fast zur Neige.

Als Nvidia erst das dritte Unternehmen überhaupt war, das eine Bewertung von 2 Billionen US-Dollar erreichte, berichtete das Wall Street Journal, dass ein schnell wachsender Anteil des steigenden Umsatzes des Unternehmens nicht auf die Entwicklung der Modelle, das sogenannte Training, zurückzuführen sei, sondern auf Chips, die den Einsatz bereits trainierter KI-Systeme ermöglichen. Technologen bezeichnen diese Bereitstellungsphase als Inferenz. Und Verma sagt, dass seine Forschung in der Schlussfolgerung kurz- bis mittelfristig den größten Einfluss haben wird.

„Hier geht es darum, die KI zu dezentralisieren und vom Rechenzentrum aus zu entfesseln“, sagte er. „Es muss aus dem Rechenzentrum an Orte verlagert werden, an denen wir und die für uns wichtigen Prozesse den größten Zugriff auf die Datenverarbeitung haben, und das sind Telefone, Laptops, Fabriken und solche Dinge.“

Um Chips zu entwickeln, die moderne KI-Arbeitslasten in kompakten oder energiebeschränkten Umgebungen bewältigen können, mussten die Forscher die Physik des Rechnens völlig neu überdenken und gleichzeitig Hardware entwerfen und verpacken, die mit vorhandenen Fertigungstechniken hergestellt werden konnte und gut mit vorhandenen Computertechnologien, wie beispielsweise einer Zentraleinheit, funktioniert.

„KI-Modelle sind in ihrer Größe explodiert“, sagte Verma, „und das bedeutet zwei Dinge.“ KI-Chips müssen viel effizienter bei der Berechnung und bei der Verwaltung und Verschiebung von Daten werden.

Ihr Ansatz besteht aus drei Hauptbestandteilen.

Die Kernarchitektur praktisch jedes digitalen Computers folgt einem täuschend einfachen Muster, das erstmals in den 1940er Jahren entwickelt wurde:Daten an einem Ort speichern, Berechnungen an einem anderen durchführen. Das bedeutet, dass Informationen zwischen Speicherzellen und dem Prozessor ausgetauscht werden. Im letzten Jahrzehnt hat Verma Pionierarbeit bei der Erforschung eines aktualisierten Ansatzes geleistet, bei dem die Berechnung direkt in Speicherzellen erfolgt, dem so genannten In-Memory-Computing. Das ist Teil eins. Das Versprechen ist, dass In-Memory-Computing den Zeit- und Energieaufwand für das Verschieben und Verarbeiten großer Datenmengen reduzieren wird.

Bisher waren digitale Ansätze für In-Memory-Computing jedoch sehr begrenzt. Verma und sein Team wandten sich einem alternativen Ansatz zu:der analogen Berechnung. Das ist Teil zwei.

„Im speziellen Fall des In-Memory-Computing müssen Sie nicht nur effizient rechnen“, sagte Verma, „Sie müssen es auch mit sehr hoher Dichte tun, weil es jetzt in diese sehr kleinen Speicherzellen passen muss.“ Anstatt Informationen in einer Reihe von Nullen und Einsen zu kodieren und diese Informationen mithilfe herkömmlicher Logikschaltungen zu verarbeiten, nutzen analoge Computer die umfassendere Physik der Geräte. Die Krümmung eines Zahnrads. Die Fähigkeit eines Drahtes, elektrische Ladung zu speichern.

Digitale Signale begannen in den 1940er Jahren analoge Signale zu ersetzen, vor allem weil Binärcode mit dem exponentiellen Wachstum der Computertechnik besser skaliert werden konnte. Digitale Signale greifen jedoch nicht tief in die Physik von Geräten ein und erfordern daher möglicherweise mehr Datenspeicherung und -verwaltung. Auf diese Weise sind sie weniger effizient. Analog erhält seine Effizienz durch die Verarbeitung feinerer Signale mithilfe der intrinsischen Physik der Geräte. Dies kann jedoch mit einem Kompromiss bei der Präzision einhergehen.

„Der Schlüssel liegt darin, die richtige Physik für die Aufgabe in einem Gerät zu finden, das außerordentlich gut gesteuert und im großen Maßstab hergestellt werden kann“, sagte Verma.

Sein Team fand einen Weg, hochpräzise Berechnungen durchzuführen, indem es das analoge Signal nutzte, das von Kondensatoren erzeugt wurde, die speziell für das Ein- und Ausschalten mit höchster Präzision entwickelt wurden. Das ist Teil drei. Im Gegensatz zu Halbleiterbauelementen wie Transistoren hängt die durch Kondensatoren fließende elektrische Energie nicht von variablen Bedingungen wie Temperatur und Elektronenmobilität in einem Material ab. „Sie hängen nur von der Geometrie ab“, sagte Verma. „Sie hängen vom Abstand zwischen einem Metalldraht und dem anderen Metalldraht ab.“ Und die Geometrie ist eine Sache, die sich mit den modernsten Halbleiterfertigungstechniken von heute hervorragend steuern lässt.

Quelle