Google KI generiert Code, der menschliche Programmierer übertrifft

Im Mai 2017 kündigte das Google Brain Team einen neuen Ansatz namens AutoML an. Es ist ein Controller-Neural-Net zur Entwicklung von Child-Modellarchitekturen, das trainiert werden kann, um eine bestimmte Aufgabe auszuführen. Einfach ausgedrückt: eine KI, die ihre eigene KI generiert.

Der verwendete Datensatz

Google-Forscher testeten AutoML auf kleinen akademischen Datensätzen wie Penn Treebank und CIFAR-10. Später stellten sie AutoML seiner bisher härtesten Herausforderung: größere Datensätze wie COCO Object Detection und ImageNet Image Classification – mit erstaunlichen Ergebnissen.

Zahlreiche State-of-the-Art-ML-Architekturen wurden von Menschen für größere Datensätze in akademischen Wettbewerben entwickelt. In „Learning Transferable Architectures for Scalable Image Recognition“ wandten Google-Forscher AutoML auf zwei der beliebtesten akademischen Datensätze an – COCO und ImageNet. Würde man AutoML nativ auf diese massiven Datensätze anwenden, dauerte das Training mehrere Monate für wünschenswerte Ergebnisse.

Wie es funktioniert

AutoML basiert auf Reinforcement-Learning- und Evolutionären Algorithmen. Für die Anwendung auf ImageNet modifizierten Forscher es, um für große Datensätze handhabbarer zu sein:

1. Neugestaltung des Suchraums, um den besten Layer zu finden, der flexibel mehrfach gestapelt werden kann, um das finale Netzwerk zu bauen.
2. Architektursuche wird auf CIFAR-10 durchgeführt und die beste gelernte Architektur auf COCO Object Detection und ImageNet Image Architecture übertragen.

Nach diesen Änderungen fand AutoML beste Layer nicht nur für CIFAR-10, sondern auch für COCO und ImageNet. Diese 2 Layer werden zu einer neuartigen Architektur namens NASNet zusammengefügt.

Wie in der Abbildung gezeigt, enthält die NASNet-Architektur (entwickelt von AutoML) 2 Layer-Typen – Normal Layer und Reduction Layer.

Quelle: Google Research Blog

Ergebnisse

NASNet erreichte 82,7 % Vorhersagegenauigkeit bei ImageNet Image Classification – weit besser als vorherige Inception-Modelle des Google Brain Teams. Zudem performte es 1,2 % besser als zuvor veröffentlichte und unveröffentlichte Ergebnisse.

NASNet kann auch skaliert werden, um eine Reihe von Modellen zu generieren, die anständige Genauigkeit bei niedrigen Rechenkosten erreichen. Eine kleine NASNet-Version erzielt 74 % Genauigkeit (bei halbiertem Rechenaufwand) – über 3 % besser als mehrere State-of-the-Art-Modelle gleicher Größe für mobile Plattformen.

Wie in den Abbildungen zu sehen, sind NASNet-Genauigkeiten höher als menschlich erfundene Modelle bei zahlreichen Modellgrößen mit unterschiedlichen Operationen und Parametern (in Millionen) für ImageNet-Klassifikation.

Diese Tabelle zeigt die Performance von Architektursuche und anderen menschlich entwickelten Modellen bei ImageNet-Klassifikation. Mult-Adds bezieht sich auf die Anzahl der zusammengesetzten Multiply-Accumulate-Operationen pro Bild.

Objekterkennung mit Faster-RCNN und NASNet

Google-Forscher transferierten die auf ImageNet gelernten Features zur COCO-Objekterkennung. In Tests übertraf die Integration der gelernten ImageNet-Features mit dem Faster-RCNN-Framework die vorherige Vorhersageperformance auf COCO. Das größte Modell erreichte 43,1 % mAP – rund 4 % besser als frühere State-of-the-Art-Ergebnisse.

Referenz: arxiv.org

Der Quellcode von NASNet für Inferenz bei Bildklassifikation und Objekterkennung ist auf GitHub verfügbar.

Was kommt als Nächstes?

Die von NASNet auf COCO und ImageNet gelernten Features können für diverse Vision-Apps wiederverwendet werden. Zudem kann dieser Ansatz uns lehren, warum bestimmte neuronale Netze so gut performen.

AutoML könnte Machine Learning für Nicht-Experten öffnen und zur Entwicklung hochentwickelter KI-gestützter Maschinen/Roboter genutzt werden. Laut einer Studie kann KI auf diesem Intelligenzlevel sehbehinderten Menschen helfen, Sehkraft zurückzugewinnen.

Offensichtlich kann diese Architektur in selbstfahrenden Autos eingesetzt werden. Man kann sich das System vorstellen, das Verkehr, Straßenhindernisse und Fußgänger erkennt. Es könnte auch in Augmented Reality genutzt werden, um Anwendungen besser mit der Umwelt interagieren zu lassen. Doch vielleicht sind die faszinierendsten Anwendungen dieser KI noch unentdeckt.

Lesen Sie auch: 15 fortgeschrittene KI-Projekte

In Zukunft wird das Google-Forschungsteam an Analyse und Test solcher computergenerierter Architekturen arbeiten, um sie zu verfeinern und besser zu verstehen. Gelingen sie, können sie eine ganz neue Art neuronaler Netze inspirieren, die einen größeren Einfluss auf alle haben.