Google AI generiert Code, der menschliche Programmierer übertrifft

Im Mai 2017 kündigte das Google Brain Team einen neuen Ansatz namens AutoML an. Es handelt sich um ein Controller-Neuronales Netz zur Entwicklung einer untergeordneten Modellarchitektur, das für die Ausführung einer bestimmten Aufgabe trainiert werden kann. Einfach ausgedrückt handelt es sich um eine KI, die in der Lage ist, ihre eigene KI zu erzeugen.

Der verwendete Datensatz

Google-Forscher testeten AutoML an kleinen akademischen Datensätzen wie Penn Treebank und CIFAR-10. Später beschlossen sie, AutoML vor die bisher größte Herausforderung zu stellen. Dieses Mal testeten sie größere Datensätze wie die COCO-Objekterkennung und die ImageNet-Bildklassifizierung und das Ergebnis war erstaunlich.

Mehrere hochmoderne Architekturen für maschinelles Lernen wurden von Menschen entwickelt, um in akademischen Wettbewerben an größeren Datensätzen zu arbeiten. In „Learning Transferable Architectures for Scalable Image Recognition“ haben Google-Forscher AutoML auf zwei der beliebtesten akademischen Datensätze angewendet – COCO und ImageNet. Wenn Sie AutoML nativ auf diese riesigen Datensätze anwenden, würde es mehrere Monate Training erfordern, um das gewünschte Ergebnis zu erzielen.

Wie funktioniert es?

AutoML basiert auf Reinforcement-Learning-Algorithmen und evolutionären Algorithmen. Um es jedoch auf ImageNet anzuwenden, haben die Forscher es so geändert, dass es besser auf große Datensätze anwendbar ist –

1. Der Suchraum wurde neu gestaltet, um die beste Ebene zu finden, die flexibel mehrfach gestapelt werden kann, um ein endgültiges Netzwerk aufzubauen
2. Die Architektursuche wird auf CIFAR-10 durchgeführt und die am besten erlernte Architektur wird an die COCO-Objekterkennung und die ImageNet-Bildarchitektur übertragen.

Nach diesen Änderungen konnte AutoML nicht nur die besten Ebenen für CIFAR-10, sondern auch für die COCO-Objekterkennung und die ImageNet-Klassifizierung finden. Diese beiden Schichten werden zusammengeführt, um eine neuartige Architektur namens NASNet zu bilden .

Wie in der Abbildung gezeigt, enthält die NASNet-Architektur (entwickelt von AutoML) zwei Arten von Schichten – Normalschicht und Reduktionsschicht

Quelle:Google Research Blog

Ergebnisse

NASNet erreichte eine Vorhersagegenauigkeit von 82,7 % bei der ImageNet-Bildklassifizierung, was weitaus besser ist als frühere Inception-Modelle, die vom Google Brain-Team erstellt wurden. Außerdem schnitt es um 1,2 % besser ab als zuvor veröffentlichte und unveröffentlichte Ergebnisse.

Die Größe von NASNet kann auch geändert werden, um eine Reihe von Modellen zu generieren, die angemessene Genauigkeitsraten bei gleichzeitig niedrigen Rechenkosten erzielen. Beispielsweise erreicht eine kleine Version von NASNet eine Genauigkeit von 74 % (bei gleichzeitiger Reduzierung der Rechenkosten auf die Hälfte), was mehr als 3 % besser ist als mehrere hochmoderne Modelle derselben Größe, die für mobile Plattformen entwickelt wurden.

Wie Sie in den Abbildungen sehen können, ist die NASNet-Genauigkeit bei zahlreichen Modellgrößen höher als bei von Menschen erfundenen Modellen und erfordert eine unterschiedliche Anzahl (in Millionen) von Operationen und Parametern für die ImageNet-Bildklassifizierung.

Diese Tabelle zeigt die Leistung der Architektursuche und anderer von Menschen entwickelter Modelle bei der ImageNet-Klassifizierung. Mult-Adds bezieht sich auf die Anzahl der zusammengesetzten Multiplikations-Akkumulations-Operationen für ein Bild.

Objekterkennung mit Faster-RCNN mit NASNet

Google-Forscher übertrugen die von ImageNet gelernten Funktionen auf die COCO-Objekterkennung. In den Tests übertraf die Integration erlernter Funktionen von ImageNet mit dem Faster RCNN-Framework die vorherige Vorhersageleistung auf dem COCO. Das größte Modell erreichte 43,1 % mAP, was etwa 4 % besser ist als frühere Ergebnisse modernster Modelle.

Referenz: arxiv.org

Der Quellcode von NASNet für Schlussfolgerungen zur Bildklassifizierung und zur Objekterkennung ist auf Github verfügbar.

Was kommt als nächstes?

Die von NASNet auf COCO und ImageNet erlernten Funktionen können für mehrere Vision-Apps wiederverwendet werden. Darüber hinaus kann uns dieser Ansatz etwas darüber lehren, warum bestimmte Arten neuronaler Netze so gut funktionieren.

AutoML könnte den Bereich des maschinellen Lernens auch für Nicht-Experten öffnen und zur Entwicklung anspruchsvoller, KI-gestützter Maschinen/Roboter genutzt werden. Laut einer Studie kann KI auf diesem Intelligenzniveau dazu beitragen, dass sehbehinderte Menschen ihr Sehvermögen wiedererlangen.

Offensichtlich kann diese Architektur in selbstfahrenden Autos verwendet werden. Sie können sich auch vorstellen, dass das System dabei hilft, Verkehr, Gefahren auf der Straße und Fußgänger zu erkennen. Es könnte auch in Augmented Reality verwendet werden, um Anwendungen besser mit der Umgebung interagieren zu lassen. Aber die vielleicht faszinierendsten Anwendungen dieser KI müssen noch entdeckt werden.

Lesen Sie:15 fortgeschrittene Projekte zur künstlichen Intelligenz

In Zukunft wird das Google-Forschungsteam an der Analyse und Erprobung solcher computergenerierter Architekturen arbeiten, um sie zu verfeinern und besser zu verstehen. Wenn ihnen das gelingt, können sie eine ganz neue Art neuronaler Netze inspirieren, die größere Auswirkungen auf alle haben würden.