Leistungsoptimierung mit Multi-Chip-Inferenz-Architekturen

Die vergangenen zwei Jahre haben einen Schwarm an Innovationen im Inferenz-Chip-Design gesehen. Während neue Lösungen fast wöchentlich erscheinen, kämpfen viele Unternehmen damit, sie zu vergleichen, weil zuverlässige Benchmarks fehlen. Bisher warben Anbieter mit TOPS oder TOPS/Watt, ohne Modelle, Batch-Größen oder Betriebsbedingungen zu spezifizieren, und der beliebte ResNet-50-Benchmark ist für die meisten realen Workloads zu simpel.

Was wirklich zählt, wenn man die Leistung eines Inferenz-Chips misst, sind hohe MAC-Auslastung, niedriger Stromverbrauch und ein kompakter Silizium-Footprint. Sobald diese Metriken verstanden sind, ist der nächste logische Schritt, die Vorteile – und Fallstricke – der Bereitstellung mehrerer Chips in einem einzelnen Design zu erforschen.

Warum mehrere Chips lineare Gewinne liefern können

Wenn ein Chip für Parallelismus ausgelegt ist, kann die Skalierung auf zwei, vier oder mehr Einheiten theoretisch den Durchsatz proportional erhöhen – ähnlich wie der Ausbau einer einspurigen Autobahn zu einem mehrspurigen Korridor. Der Schlüssel liegt darin, Verkehrsengpässe zu vermeiden, indem man den richtigen Chip wählt und das neuronale Netz korrekt partitioniert.

Partitionierung eines neuronalen Netzes über Chips

Neuronale Netze sind in Schichten organisiert. Jede Schicht verbraucht die Ausgabe-Aktivierungen der vorherigen. In tiefen Modellen wie ResNet-50 (50 Schichten) oder YOLOv3 (über 100 Schichten) erzeugen frühe Schichten die größten Aktivierungen, die sich allmählich verringern, je weiter das Netzwerk fortschreitet.

Um ein Modell auf mehrere Chips aufzuteilen, müssen sowohl Aktivierungsgröße als auch die Anzahl der Multiply-Accumulate (MAC) Operationen pro Schicht untersucht werden. Das Ziel ist Workload-Balancierung: Jeder Chip sollte eine vergleichbare Anzahl an MACs und ähnliche Datenvolumina bewältigen. Wenn ein Chip den Großteil der Arbeit verarbeitet, während der andere untätig ist, wird der Gesamtdurchsatz durch die langsamere Einheit begrenzt.

Zusätzlich bestimmt der Schnittpunkt im Modell die Daten, die zwischen Chips übertragen werden müssen. Die Wahl eines Splits, wo die Aktivierungsgröße minimal ist, reduziert Inter-Chip-Bandbreitenanforderungen und Latenz und verhindert, dass der Kommunikationslink zum Performance-Flaschenhals wird.

Illustratives Beispiel: YOLOv3 auf zwei vs. vier Chips

Für YOLOv3 auf einem 2-Megapixel-Bild mit Winograd-Convolution-Algorithmus sind die kumulativen MAC-Operationen und Aktivierungs-Ausgabegrößen unten dargestellt. Eine Zwei-Chip-Konfiguration teilt die Workload typischerweise nahe der 50%-MAC-Marke, was zu ~1–2 MB Aktivierungen führt, die zwischen Chips übergeben werden. Ein Vier-Chip-Setup würde Schnitte bei ca. 25%, 50% und 75% platzieren, wobei der früheste Schnitt oft 4–8 MB Datentransfer erfordert.

Hier klicken für größere Ansicht

Aktivierungs-Ausgabegröße (blaue Balken) und kumulative MAC-Operationen (rote Linie) für YOLOv3/Winograd/2Mpixel-Bilder, illustrierend Workload-Verteilung über mehrere Chips (Bild: Flex Logix)

Nutzung von Performance-Modellierungstools

Moderne Performance-Tools können nun sowohl Einzel- als auch Multi-Chip-Konfigurationen modellieren. Sie berücksichtigen pro-Schicht MAC-Anzahlen, Aktivierungsgrößen und den Einfluss von Datentransfer-Bandbreite. Genaues Modellieren ist essenziell, da unzureichende Inter-Chip-Bandbreite den theoretischen Speedup aufheben kann.

Für eine Vier-Chip-Pipeline steigen Bandbreitenanforderungen, da die frühen Schichten – wo Aktivierungen am größten sind – unter allen Einheiten geteilt werden müssen. Während höhere Bandbreite mehr Chips unterstützt, fügt sie auch Overhead hinzu, den jeder Chip tragen muss, selbst wenn er einzeln eingesetzt wird.

Fazit

Der Einsatz mehrerer Inferenz-Chips kann signifikante Leistungsverbesserungen freisetzen, aber nur wenn das neuronale Netz intelligent partitioniert wird und die gewählte Chip-Architektur hohe MAC-Auslastung und effiziente Datenbewegung unterstützt. Priorisieren Sie Durchsatz über Headline-Benchmarks wie TOPS oder ResNet-50-Scores, und designen Sie das Netzwerk passend zu den Stärken des Chips. Mit der richtigen Strategie können Sie eine einspurige Inferenz-Pipeline in ein hochkapazitives, niedrig-latentes System verwandeln.

— Geoff Tate, CEO von Flex Logix