Edge-KI-Plattformen schlagen GPU/CPU in Bezug auf Leistung und Effizienz

Blaize bietet einen Durchbruch in der Computing-Hardware und -Software mit künstlicher Intelligenz (KI) für Edge-KI-Anwendungen und überwindet die Beschränkungen der Legacy-GPU/CPU .

Die Plattformen basieren auf der Blaize Graph Streaming Processor (GSP)-Architektur. Nach Angaben des Unternehmens kann GSP mit 16 GSP-Kernen und 16TOPS KI-Inferenzleistung innerhalb eines Leistungsbereichs von 7 W eine bis zu 60-mal bessere Effizienz auf Systemebene im Vergleich zu GPU/CPUs für Edge-KI-Anwendungen liefern. Es ermöglicht auch eine 50-mal geringere Speicherbandbreite und eine 10-mal geringere Latenz. Der Blaize GSP ist ein zu 100 % programmierbarer Prozessor und bietet erweiterte Funktionen wie Multi-Threading und Streaming.

Blaize sagte, dass seine Early-Access-Kunden für Pathfinder und Xplorer nach Produktionsbereitstellungen von bisher undurchführbaren Echtzeit-KI-Edge-Smart-Vision-Anwendungsfällen für Industrie-, Automobil-, Smart-Einzelhandels-, Metro- und Fabrikanwendungen suchen. Der Mitbegründer und CEO des Unternehmens, Dinakar Munagala, sagte:„Die heutigen Edge-Lösungen sind entweder zu klein, um die Last zu berechnen, oder zu teuer und zu schwer zu produzieren. Die KI-Edge-Computing-Produkte von Blaize überwinden diese Einschränkungen in Bezug auf Leistung, Komplexität und Kosten, um die Einführung von KI am Edge zu ermöglichen und die Migration von KI-Computing vom Rechenzentrum zum Edge zu erleichtern.“ Es wird erwartet, dass die Edge-KI-Märkte schnell wachsen, da die KI-Funktionalität für viele neue Produkte eine Voraussetzung wird. Omdia Research prognostiziert, dass der Umsatz mit KI-Chipsätzen im Jahr 2025 51 Milliarden US-Dollar erreichen wird.

Die beiden neuen Produkte von Blaize sind der Pathfinder P1600, ein Embedded System on Module (SOM) und die Beschleunigerplattform Xplorer. Blaize sagte, dass der P1600 die Programmierbarkeits- und Effizienzvorteile des GSP für Embedded-Edge-KI-Anwendungen bringt, die am Sensor-Edge oder am Netzwerk-Edge bereitgestellt werden. Für den P1600 wird kein Host-Prozessor benötigt, also nur „Anschließen und loslegen“.

Die Xplorer-Plattformen beschleunigen KI-Anwendungen am Rande des Unternehmens durch Plug-Ins in den PCIe-Steckplatz in einem Hostserver oder einer Appliance. Der X1600E ist eine Beschleunigerplattform mit kleinem Formfaktor für kleine Umgebungen mit eingeschränkter Leistung, wie z. B. Lebensmittelgeschäfte oder Industriestandorte. Es kann einfach hinzugefügt werden, um KI-Apps in Industrie-PCs oder als Kartenrack in einem kleinen 1U-Server zu beschleunigen. Oder es gibt den X1600P, einen standardmäßigen PCIe-basierten Beschleuniger in einem Formfaktor von halber Höhe und halber Breite. Der X1600P kann eine leistungshungrige Desktop-GPU in Edge-Servern ersetzen und bietet 16-64TOPS KI-Inferenzleistung innerhalb eines sehr niedrigen Energiebereichs.

Die Blaize AI Software Suite basiert auf offenen Standards mit einfacher Zugänglichkeit, was bedeutet, dass Produktentwickler nicht an proprietäre Entwicklungsumgebungen gebunden sind. Bestehend aus dem Picasso Software Development Kit (SDK) und AI Studio, einer vollständig codefreien visuellen Schnittstelle, bietet die Software-Suite Tools sowohl für traditionelle Entwickler als auch für Nicht-Programmierer-Experten. Darüber hinaus verwenden beide Toolsets Blaize Netdeploy, ein Blaize-System mit Edge-aware-Algorithmen, um die beste Genauigkeit und Leistung für Edge-Bereitstellungen zu erzielen.

Proof-of-Concept-Kunden

Blaize sagte, dass es eine Reihe von Proof-of-Concept-Kunden (POC) gibt, die sein System verwenden, um KI am Edge zu ermöglichen. Die Bewerbungen sind in:

• Industriell:Betrieb von fünf unabhängigen neuronalen Netzwerken mit 50 FPS mit weniger als 100 ms Gesamtlatenz, Überwachung der Posenerkennung und -position von Mensch und Roboter, Produkt-ID und -Anzahl sowie Produktqualität.
• Smart City:drei unabhängige neuronale Netzwerke, die mit 50 FPS laufen und die menschliche Erkennung, Pose, Position, automatische Erkennung und Sicherheit an Verkehrskreuzungen überwachen.
• Sensorfusion:hochauflösendes FHD-Video und Lidar-/Radarsensor-Fusion, die als vollständige graph-native Anwendung auf Blaize GSP ausgeführt wird.
• Lieferung auf der letzten Meile:Sensorfusion von HD-Kameras mit 30 FPS und Lidar/Radar mit weniger als 100 ms Latenz und weniger als 15 W Leistung.
• Einzelhandel:vier unabhängige neuronale Netzwerke mit 50 FPS zur Überwachung von Personenerkennung, Position, Maske und Diebstahl für die Sicherheit im Geschäft und die Produkterkennung.

Kundenmuster beider Produktlinien sind ab sofort verfügbar, die vollständige Produktion wird voraussichtlich in diesem Jahr beginnen. Der Blaize Xplorer X1600E ist für 299 US-Dollar erhältlich, der Pathfinder P1600 SOM in Industriequalität für 399 US-Dollar und der Xplorer X1600P für 999 US-Dollar.