Was KI an den Rand treibt

Im Jahr 2020 gehen wir davon aus, dass mehr als 750 Millionen Edge-KI-Chips – Chips oder Teile von Chips, die maschinelle Lernaufgaben auf dem Gerät ausführen oder beschleunigen, anstatt in einem Remote-Rechenzentrum – verkauft werden, was einem Umsatz von 2,6 Milliarden US-Dollar entspricht. Darüber hinaus wird der Markt für Edge-KI-Chips viel schneller wachsen als der gesamte Chipmarkt. Bis 2024 erwarten wir, dass der Absatz von Edge-KI-Chips 1,5 Milliarden übersteigen wird, möglicherweise sogar deutlich. Dies entspricht einem jährlichen Absatzwachstum von mindestens 20 %, mehr als das Doppelte der längerfristigen Prognose von 9 % CAGR für die gesamte Halbleiterindustrie.

Diese Edge-KI-Chips werden wahrscheinlich in immer mehr Verbrauchergeräten wie High-End-Smartphones, Tablets, Smart Speakers und Wearables Einzug halten. Sie werden auch in mehreren Unternehmensmärkten eingesetzt:Roboter, Kameras, Sensoren und andere IoT-Geräte (Internet der Dinge) im Allgemeinen.

Der Consumer-Edge-KI-Chipmarkt ist viel größer als der Enterprise-Markt, wird jedoch wahrscheinlich langsamer wachsen, wobei zwischen 2020 und 2024 eine CAGR von 18% erwartet wird. Der Enterprise-Edge-KI-Chipmarkt wächst mit einer prognostizierten CAGR . viel schneller von 50 % im gleichen Zeitraum.

Dennoch wird der Markt für Consumer-Geräte im Jahr 2020 wahrscheinlich mehr als 90 Prozent des Marktes für Edge-KI-Chips ausmachen, sowohl in Bezug auf die verkauften Stückzahlen als auch auf den Dollarwert. Die überwiegende Mehrheit dieser Edge-KI-Chips wird in High-End-Smartphones eingesetzt, die mehr als 70 Prozent aller derzeit verwendeten Consumer-Edge-KI-Chips ausmachen. Daher wird das Wachstum der KI-Chips im Jahr 2020 und in den nächsten Jahren hauptsächlich von Smartphones getrieben. Wir glauben, dass im Jahr 2020 über ein Drittel des 1,56 Milliarden Einheiten umfassenden Smartphone-Marktes über Edge-KI-Chips verfügen könnte.

Aufgrund der extrem prozessorintensiven Anforderungen wurden KI-Berechnungen fast alle remote in Rechenzentren, auf Enterprise-Core-Appliances oder auf Telekommunikations-Edge-Prozessoren durchgeführt – nicht lokal auf Geräten. Edge-KI-Chips ändern das alles. Sie sind physikalisch kleiner, relativ kostengünstig, verbrauchen viel weniger Strom und erzeugen viel weniger Wärme, wodurch sie sowohl in Handheld-Geräte als auch in Nicht-Verbraucher-Geräte wie Roboter integriert werden können. Indem diese Geräte prozessorintensive KI-Berechnungen lokal durchführen, reduzieren oder eliminieren Edge-KI-Chips die Notwendigkeit, große Datenmengen an einen entfernten Standort zu senden – und bieten so Vorteile in Bezug auf Benutzerfreundlichkeit, Geschwindigkeit sowie Datensicherheit und Datenschutz.

Die Verarbeitung auf dem Gerät zu behalten ist in Bezug auf Datenschutz und Sicherheit besser; persönliche Informationen, die niemals ein Telefon verlassen, können nicht abgefangen oder missbraucht werden. Und wenn der Edge-KI-Chip auf dem Telefon ist, kann er all diese Dinge tun, auch wenn er nicht mit einem Netzwerk verbunden ist.

Natürlich müssen nicht alle KI-Berechnungen lokal stattfinden. Für einige Anwendungen kann das Senden von Daten zur Verarbeitung durch ein entferntes KI-Array angemessen oder sogar bevorzugt sein – zum Beispiel, wenn einfach zu viele Daten für den Edge-KI-Chip eines Geräts vorhanden sind. Tatsächlich wird KI die meiste Zeit auf hybride Weise durchgeführt:ein Teil auf dem Gerät und ein Teil in der Cloud. Die bevorzugte Mischung in einer bestimmten Situation hängt davon ab, welche Art von KI-Verarbeitung genau durchgeführt werden muss.

Abbildung 1:Orte, an denen Intelligenz eingebettet werden kann (Bild:Deloitte Insights)

Die Wirtschaftlichkeit von Edge-KI in Smartphones

Smartphones sind nicht die einzigen Geräte, die Edge-KI-Chips verwenden; andere Gerätekategorien – Tablets, Wearables, Smart Speaker – enthalten sie ebenfalls. Kurzfristig werden diese Nicht-Smartphone-Geräte wahrscheinlich einen viel geringeren Einfluss auf den Verkauf von Edge-KI-Chips haben als Smartphones, entweder weil der Markt nicht wächst (wie bei Tablets) oder weil er zu klein ist, um einen wesentlichen Unterschied zu machen ( Smart Speaker und Wearables werden beispielsweise im Jahr 2020 voraussichtlich nur 125 Millionen Einheiten verkaufen). Viele Wearables und Smart Speaker sind jedoch auf Edge-KI-Chips angewiesen, daher ist die Durchdringung bereits hoch.

Abbildung 2:Der Edge-KI-Chipmarkt (Bild:Deloitte Insights)

Derzeit werden wahrscheinlich nur die teuersten Smartphones – die im oberen Drittel der Preisverteilung – Edge-KI-Chips verwenden. Der Einbau eines KI-Chips in ein Smartphone muss für den Verbraucher nicht unerschwinglich sein.

Es ist möglich, eine ziemlich solide Schätzung des Edge-KI-Chips eines Smartphones zu erzielen. Bis heute zeigen Bilder von Telefonprozessoren von Samsung, Apple und Huawei den nackten Siliziumchip mit all seinen Merkmalen sichtbar, sodass erkennbar ist, welche Teile der Chips für welche Funktionen verwendet werden. Ein Die-Shot des Chips für Samsungs Exynos 9820 zeigt, dass etwa 5% der gesamten Chipfläche für KI-Prozessoren reserviert sind. Samsungs Kosten für den gesamten SoC-Anwendungsprozessor werden auf 70,50 US-Dollar geschätzt, was die zweitteuerste Komponente des Telefons (nach dem Display) ist und etwa 17 % der Gesamtstückliste des Geräts ausmacht. Unter der Annahme, dass der KI-Anteil auf Chipflächenbasis genauso viel kostet wie der Rest der Komponenten, macht die Edge AI Neural Processing Unit (NPU) des Exynos etwa 5 % der Gesamtkosten des Chips aus. Dies entspricht etwa 3,50 $ pro Stück.

Abbildung 3:Ein Die-Shot des Chips für Samsungs Exynos 9820 zeigt, dass etwa 5 % der gesamten Chipfläche KI-Prozessoren gewidmet sind. (Bild:ChipRebel, Anmerkung:AnandTech)

In ähnlicher Weise widmet der A12 Bionic-Chip von Apple etwa 7% der Chipfläche dem maschinellen Lernen. Bei geschätzten 72 US-Dollar für den gesamten Prozessor deutet dies auf Kosten von 5,10 US-Dollar für den Edge-KI-Anteil hin. Der Huawei Kirin 970-Chip, der den Hersteller schätzungsweise 52,50 US-Dollar kostet, widmet 2,1% des Chips der NPU, was auf Kosten von 1,10 US-Dollar hinweist. (Die Fläche ist jedoch nicht die einzige Möglichkeit, zu messen, wie viel Prozent der Gesamtkosten eines Chips für KI aufgewendet werden. Laut Huawei verfügt die NPU des Kirin 970 über 150 Millionen Transistoren, was 2,7 % der insgesamt 5,5 Milliarden Transistoren des Chips entspricht schlagen etwas höhere NPU-Kosten von 1,42 $ vor).

Abbildung 4:Apples A12 Bionic Chip widmet etwa 7 % der Chipfläche dem maschinellen Lernen. (Bild:TechInsights / AnandTech)

Obwohl diese Kostenspanne breit ist, kann man davon ausgehen, dass NPUs durchschnittlich 3,50 US-Dollar pro Chip kosten. Multipliziert mit einer halben Milliarde Smartphones (ganz zu schweigen von Tablets, Lautsprechern und Wearables) ergibt das trotz des geringen Preises pro Chip einen großen Markt. Noch wichtiger ist, dass das Hinzufügen einer dedizierten Edge-KI-NPU zu Smartphone-Verarbeitungschips bei durchschnittlichen Kosten von 3,50 US-Dollar für den Hersteller und einem wahrscheinlichen Minimum von 1 US-Dollar wie ein Kinderspiel aussieht. Unter der Annahme eines normalen Aufschlags bedeutet das Hinzufügen von 1 USD zu den Herstellungskosten nur 2 USD mehr für den Endkunden. Das bedeutet, dass NPUs und die damit verbundenen Vorteile – eine bessere Kamera, Offline-Sprachunterstützung usw. – sogar in ein 250-Dollar-Smartphone für weniger als 1 Prozent Preiserhöhung gesteckt werden können.

Beschaffung von KI-Chips:intern oder von Drittanbietern?

Unternehmen, die Smartphones und andere Gerätetypen herstellen, verfolgen unterschiedliche Ansätze, um Edge-KI-Chips zu erhalten, wobei die Entscheidung von Faktoren wie dem Telefonmodell und (manchmal) der Geografie bestimmt wird. Einige kaufen Anwendungsprozessor-/Modemchips von Drittfirmen, die sich auf die Herstellung und den Verkauf an Telefonhersteller spezialisiert haben, stellen jedoch keine eigenen Telefone her. Qualcomm und MediaTek sind zwei prominente Beispiele; Zusammengenommen eroberten diese beiden Unternehmen im Jahr 2018 etwa 60 % des Marktes für Smartphone-SoC-Chips.

Sowohl Qualcomm als auch MediaTek bieten eine Reihe von SoCs zu unterschiedlichen Preisen an; Obwohl nicht alle einen Edge-KI-Chip enthalten, tun dies die High-End-Angebote (einschließlich Qualcomms Snapdragon 845 und 855 und MediaTeks Helio P60) normalerweise. Am anderen Ende der Skala verwendet Apple überhaupt keine externen AP-Chips:Es entwickelt und verwendet seine eigenen SoC-Prozessoren wie die A11-, A12- und A13-Bionic-Chips, die alle über Edge-KI verfügen.

Andere Gerätehersteller wie Samsung und Huawei verwenden eine Hybridstrategie, kaufen einige SoCs von Siliziumlieferanten auf dem Handelsmarkt und verwenden für den Rest ihre eigenen Chips (wie Samsungs Exynos 9820 und Huaweis Kirin 970/980).

Über 50 KI-Beschleuniger-Unternehmen, die um Edge-KI in Unternehmen und Industrie wetteifern

Wenn Edge-KI-Prozessoren, die in Smartphones und anderen Geräten verwendet werden, so großartig sind, warum nicht auch für Unternehmensanwendungen verwenden? Bei einigen Anwendungsfällen ist dies tatsächlich bereits der Fall, beispielsweise bei einigen autonomen Drohnen. Ausgestattet mit einem Smartphone-SoC-Anwendungsprozessor ist eine Drohne in der Lage, Navigation und Hindernisvermeidung in Echtzeit und vollständig auf dem Gerät ohne jegliche Netzwerkverbindung durchzuführen.

Ein für ein Smartphone oder Tablet optimierter Chip ist jedoch für viele Unternehmens- oder Industrieanwendungen nicht die richtige Wahl. Wie bereits erwähnt, beträgt der Edge-KI-Anteil eines Smartphone-SoC nur etwa 5 % der Gesamtfläche, etwa 3,50 US-Dollar der Gesamtkosten, und würde etwa 95 Prozent weniger Strom verbrauchen als der gesamte SoC. Was wäre, wenn jemand einen Chip bauen würde, der nur . hat? der Edge-KI-Anteil (zusammen mit einigen anderen erforderlichen Funktionen wie Speicher), der weniger kostet, weniger Strom verbraucht und kleiner war?

Nun, sie haben. Insgesamt sollen bis zu 50 verschiedene Unternehmen an KI-Beschleunigern verschiedenster Art arbeiten. Die 2019 erhältlichen eigenständigen Edge-KI-Chips richteten sich an Entwickler, die sie einzeln für jeweils etwa 80 US-Dollar kaufen würden. In Mengen von Tausenden oder Millionen werden diese Chips wahrscheinlich die Gerätehersteller viel weniger kosten:einige nur 1 US-Dollar (oder möglicherweise sogar weniger), andere mehrere Dutzend US-Dollar. Wir gehen vorerst von durchschnittlichen Kosten von etwa 3,50 USD aus und verwenden den Smartphone Edge AI-Chip als Proxy.

Abgesehen davon, dass sie relativ kostengünstig sind, haben eigenständige Edge-KI-Prozessoren den Vorteil, dass sie klein sind. Sie haben auch einen relativ geringen Stromverbrauch und verbrauchen zwischen 1 und 10 Watt. Zum Vergleich:Ein Rechenzentrumscluster (wenn auch ein sehr leistungsstarker) mit 16 GPUs und zwei CPUs kostet 400.000 US-Dollar, wiegt 350 Pfund und verbraucht 10.000 Watt Strom.

Mit Chips wie diesen in Arbeit kann Edge-KI Unternehmen viele neue Möglichkeiten eröffnen, insbesondere im Hinblick auf IoT-Anwendungen. Mit Edge-KI-Chips können Unternehmen ihre Fähigkeit, Daten von verbundenen Geräten zu analysieren – nicht nur zu sammeln – erheblich verbessern und diese Analyse in Maßnahmen umsetzen, während gleichzeitig die Kosten, Komplexität und Sicherheitsherausforderungen beim Senden riesiger Datenmengen in die Cloud vermieden werden. Zu den Problemen, bei denen KI-Chips helfen können, gehören:

Datensicherheit und Datenschutz. Das Sammeln, Speichern und Verschieben von Daten in die Cloud setzt ein Unternehmen unweigerlich Bedrohungen der Cybersicherheit und der Privatsphäre aus, selbst wenn Unternehmen wachsam hinsichtlich des Datenschutzes sind. Dieses immens wichtige Risiko wird im Laufe der Zeit immer wichtiger. Vorschriften über personenbezogene Daten werden in allen Rechtsordnungen eingeführt, und Verbraucher werden sich der Daten, die Unternehmen sammeln, immer bewusster. 80 Prozent von ihnen geben an, dass sie nicht das Gefühl haben, dass Unternehmen alles in ihrer Macht Stehende tun, um die Privatsphäre der Verbraucher zu schützen. Einige Geräte wie intelligente Lautsprecher werden zunehmend in Einrichtungen wie Krankenhäusern verwendet, in denen die Privatsphäre der Patienten noch strenger geregelt ist.

Durch die Möglichkeit, große Datenmengen lokal zu verarbeiten, können Edge-KI-Chips das Risiko des Abfangens oder Missbrauchs von persönlichen oder Unternehmensdaten verringern. Sicherheitskameras mit maschineller Lernverarbeitung können beispielsweise Datenschutzrisiken reduzieren, indem sie das Video analysieren, um festzustellen, welche Segmente des Videos relevant sind, und nur diese an die Cloud senden. Machine-Learning-Chips können zudem ein breiteres Spektrum an Sprachbefehlen erkennen, sodass weniger Audio in der Cloud analysiert werden muss. Eine genauere Spracherkennung kann den zusätzlichen Vorteil bieten, dass intelligente Lautsprecher das „Weckwort“ genauer erkennen und verhindern, dass es auf andere Gespräche hört.

Geringe Konnektivität. Damit Daten in der Cloud verarbeitet werden können, muss ein Gerät angeschlossen sein. In manchen Fällen ist das Anschließen des Geräts jedoch unpraktisch. Nehmen wir Drohnen als Beispiel. Die Aufrechterhaltung der Konnektivität mit einer Drohne kann je nach Einsatzort schwierig sein, und sowohl die Verbindung selbst als auch das Hochladen von Daten in die Cloud können die Akkulaufzeit verkürzen. In New South Wales, Australien, patrouillieren Drohnen mit eingebettetem maschinellem Lernen an Stränden, um die Sicherheit von Schwimmern zu gewährleisten. Sie können Schwimmer identifizieren, die von Flutwellen erfasst wurden, oder Schwimmer vor einem Angriff vor Haien und Krokodilen warnen, und das alles ohne Internetverbindung.

(Zu) Big Data. IoT-Geräte können riesige Datenmengen generieren. Ein Airbus A-350 hat beispielsweise über 6.000 Sensoren und generiert jeden Tag 2,5 Terabyte an Daten. Weltweit erzeugen Überwachungskameras täglich etwa 2.500 Petabyte an Daten. Das Senden all dieser Daten zur Speicherung und Analyse in die Cloud ist kostspielig und komplex. Das Aufbringen von Machine-Learning-Prozessoren auf den Endpunkten, seien es Sensoren oder Kameras, kann dieses Problem lösen. Kameras könnten beispielsweise mit Vision Processing Units (VPUs) ausgestattet sein, stromsparenden SoC-Prozessoren, die auf die Analyse oder Vorverarbeitung digitaler Bilder spezialisiert sind. Mit eingebetteten Edge-KI-Chips kann ein Gerät Daten in Echtzeit analysieren, nur das übertragen, was für die weitere Analyse in der Cloud relevant ist, und den Rest „vergessen“, wodurch die Kosten für Speicher und Bandbreite reduziert werden.

Leistungsbeschränkungen. Chips für maschinelles Lernen mit geringem Stromverbrauch können es sogar Geräten mit kleinen Batterien ermöglichen, KI-Berechnungen ohne übermäßigen Stromverbrauch durchzuführen. Arm-Chips werden beispielsweise in Ateminhalatoren eingebettet, um Daten wie die inhalative Lungenkapazität und den Medikamentenfluss in die Lunge zu analysieren. Die KI-Analyse wird am Inhalator durchgeführt und die Ergebnisse werden dann an eine Smartphone-App gesendet, die dem medizinischen Personal hilft, eine personalisierte Versorgung für Asthmapatienten zu entwickeln. Zusätzlich zu den derzeit verfügbaren Low-Power-Edge-KI-NPUs arbeiten Unternehmen an der Entwicklung von „Tiny Machine Learning“:Deep Learning auf Geräten, die so klein wie Mikrocontroller-Einheiten sind. Google zum Beispiel entwickelt eine Version von TensorFlow Lite, die es Mikrocontrollern ermöglicht, Daten zu analysieren und das, was außerhalb des Chips gesendet werden muss, auf wenige Bytes zu komprimieren.

Geringe Latenzanforderungen. Ob über ein kabelgebundenes oder drahtloses Netzwerk, die Durchführung von KI-Berechnungen in einem entfernten Rechenzentrum bedeutet eine Roundtrip-Latenz von mindestens 1–2 Millisekunden im besten Fall und zehn oder sogar Hunderten von Millisekunden im schlimmsten Fall. Die Durchführung von KI auf dem Gerät mit einem Edge-KI-Chip würde dies auf Nanosekunden reduzieren – entscheidend für Anwendungen, bei denen das Gerät Daten praktisch sofort erfassen, verarbeiten und darauf reagieren muss. Autonome Fahrzeuge müssen beispielsweise riesige Datenmengen von Computer-Vision-Systemen sammeln und verarbeiten, um Objekte zu identifizieren, sowie von Sensoren, die die Funktionen des Fahrzeugs steuern. Sie müssen diese Daten dann sofort in Entscheidungen umwandeln – wann sie abbiegen, bremsen oder beschleunigen sollen – um sicher zu fahren. Dazu müssen autonome Fahrzeuge einen Großteil der gesammelten Daten im Fahrzeug selbst verarbeiten. Auch für Roboter ist eine niedrige Latenz wichtig, und diese wird noch wichtiger, wenn Roboter aus den Werkseinstellungen herauskommen, um mit Menschen zusammenzuarbeiten.

Unter dem Strich:Edge-KI wird für datenintensive Anwendungen von entscheidender Bedeutung sein

Die Verbreitung von Edge-KI-Chips wird wahrscheinlich erhebliche Veränderungen für Verbraucher und Unternehmen gleichermaßen bewirken. Für Verbraucher können Edge-KI-Chips eine Fülle von Funktionen ermöglichen – vom Entsperren ihres Telefons über ein Gespräch mit dem Sprachassistenten bis hin zum Aufnehmen atemberaubender Fotos unter extrem schwierigen Bedingungen und ohne die Notwendigkeit einer Internetverbindung.

Langfristig könnte die größere Wirkung von Edge-KI-Chips jedoch aus ihrem Einsatz in Unternehmen resultieren, wo sie es Unternehmen ermöglichen, ihre IoT-Anwendungen auf eine ganz neue Ebene zu heben. Intelligente Maschinen, die von KI-Chips angetrieben werden, könnten dazu beitragen, bestehende Märkte zu erweitern, etablierte Unternehmen zu bedrohen und die Gewinnverteilung in Branchen wie Fertigung, Bau, Logistik, Landwirtschaft und Energie zu verändern. Die Fähigkeit, riesige Datenmengen zu sammeln, zu interpretieren und sofort darauf zu reagieren, ist entscheidend für viele der datenintensiven Anwendungen, die von Zukunftsforschern als verbreitet angesehen werden:Videoüberwachung, virtuelle Realität, autonome Drohnen und Fahrzeuge und mehr. Diese Zukunft hängt zu einem großen Teil davon ab, was Edge-KI-Chips möglich machen:die Intelligenz auf das Gerät zu bringen.

Duncan Stewart und Jeff Loucks sind im Deloitte Center for Technology, Media and Telecommunications tätig. Dieser Artikel basiert auf einem Artikel, der ursprünglich von Deloitte für seinen TMT Predictions 2020-Bericht veröffentlicht wurde.