Integration dualer Deep-Learning-Modelle für verbesserte industrielle Automatisierung

Deep Learning ist ein unschätzbares Werkzeug im Arsenal von Datenanalysten mit neuen Anwendungen in verschiedenen Bereichen, einschließlich industrieller Anwendungen. Das grundlegende Funktionsprinzip von Deep Learning ist die Nutzung großer Datenmengen, um ein Modell zu erstellen, das präzise Vorhersagen treffen kann.

Betrachten wir ein kleines Beispiel, wo Automatisierungsingenieure auf die Notwendigkeit stoßen könnten, zwei Deep-Learning-Modelle zu kombinieren. Ein Smartphone-Hersteller betreibt eine Produktionslinie, die mehrere Smartphone-Modelle fertigt. Computergestützte Vision mit Deep-Learning-Algorithmen führt die Qualitätskontrolle der Produktionslinie durch.

Derzeit baut die Produktionslinie zwei Smartphones: Phone A und Phone B. Modelle A und B führen die Qualitätskontrolle für Phones A und B durch. Das Unternehmen führt ein neues Smartphone ein, Phone C. Die Produktionsstätte benötigt möglicherweise ein neues Modell für die Qualitätskontrolle des dritten Telefons, genannt Modell C. Der Aufbau eines neuen Modells erfordert enorme Datenmengen und Zeit.

 

 Abbildung 1. Video mit freundlicher Genehmigung von Matt Chan

 

Eine Alternative ist, die Erkenntnisse aus Modell A und B zu kombinieren, um Modell C zu erstellen. Das kombinierte Modell kann die Qualitätskontrolle mit geringfügigen Anpassungen der Gewichte durchführen.

Ein weiteres Szenario, in dem Modelle kombiniert werden müssen, ist, wenn ein neues Modell zwei Aufgaben gleichzeitig erfüllen muss. Zwei Deep-Learning-Modelle könnten diese Aufgaben erfüllen. Ein Modell, das einen Datensatz klassifizieren und in jeder Kategorie Vorhersagen treffen muss, kann durch Kombination zweier Modelle erstellt werden: eines, das große Datensätze klassifizieren kann, und eines, das Vorhersagen treffen kann.

 

Ensemble Learning

Das Kombinieren mehrerer Deep-Learning-Modelle nennt man Ensemble Learning. Dies geschieht, um bessere Vorhersagen, Klassifizierungen oder andere Funktionen eines Deep-Learning-Modells zu erzielen. Ensemble Learning kann auch ein neues Modell mit den kombinierten Funktionalitäten verschiedener Deep-Learning-Modelle erstellen.

Das Erstellen eines neuen Modells durch Kombination bietet viele Vorteile gegenüber dem Training eines völlig neuen Modells von Grund auf.

• Erfordert sehr wenig Daten zum Trainieren des kombinierten Modells, da der Großteil des Lernens aus den kombinierten Modellen stammt.
• Es dauert weniger Zeit, ein kombiniertes Modells zu erstellen, im Vergleich zu einem komplett neuen Modell.
• Benötigt weniger Rechenressourcen beim Kombinieren von Modellen.
• Neue kombinierte Modelle haben höhere Genauigkeit und höhere Fähigkeiten als die Modelle, die kombiniert wurden, um das neue Modell zu erhalten.

Aufgrund der verschiedenen Vorteile des Ensemble Learning wird es oft durchgeführt, um ein neues Modell zu erstellen. Respektive Deep-Learning-Algorithmen, Pakete und trainierte Modelle müssen verschiedene Modelle kombinieren, und die meisten fortschrittlichen Deep-Learning-Algorithmen sind in Python geschrieben.

 

Abbildung 2. Ein Stacking-Ensemble für Deep-Learning-Neural-Networks in Python. Bild mit freundlicher Genehmigung von Machine Learning Mastery

 

Kenntnisse in Python und den jeweiligen Deep-Learning-Tools sind Voraussetzungen für die Kombination verschiedener Modelle. Sobald diese vorhanden sind, werden verschiedene Techniken implementiert, um verschiedene Deep-Learning-Algorithmen zu kombinieren. Diese werden in den folgenden Abschnitten erklärt.

 

(Gewichteter) Durchschnitts-Methode

Bei dieser Methode wird der Durchschnitt der beiden Modelle als neues Modell verwendet. Es ist die einfachste Methode, zwei Deep-Learning-Modelle zu kombinieren. Das durch einfachen Durchschnitt erstellte Modell hat eine höhere Genauigkeit als die beiden kombinierten Modelle.

Um die Genauigkeit und das Ergebnis des kombinierten Modells weiter zu verbessern, ist der gewichtete Durchschnitt eine Option. Die den verschiedenen Modellen gegebenen Gewichte könnten auf der Leistung der Modelle oder der Trainingsmenge jedes Modells basieren. In dieser Methode werden zwei verschiedene Modelle zu einem neuen Modell kombiniert.

 

Bagging-Methode

Dasselbe Deep-Learning-Modell kann mehrere Iterationen haben. Die verschiedenen Iterationen würden mit unterschiedlichen Datensätzen trainiert und unterschiedliche Verbesserungsstufen aufweisen. Das Kombinieren der verschiedenen Versionen desselben Deep-Learning-Modells ist die Bagging-Methode.

Die Methodik bleibt dieselbe wie bei der Durchschnittsmethode. Verschiedene Versionen desselben Deep-Learning-Modells werden in einem einfachen oder gewichteten Durchschnitt kombiniert. Diese Methode hilft, ein neues Modell zu erstellen, das nicht den Bestätigungsfehler (Confirmation Bias) aufweist, der sich bei einem einzelnen Modell aufbaut, was das Modell genauer und leistungsstärker macht.

 

Boosting-Methode

Die Boosting-Methode ähnelt der Verwendung einer Rückkopplungsschleife für Modelle. Die Leistung eines Modells wird verwendet, um die nachfolgenden Modelle anzupassen. Dies schafft eine positive Rückkopplungsschleife, die alle Faktoren ansammelt, die zum Erfolg des Modells beitragen.

 

Abbildung 3. Boosting-Methode für Ensemble Learning. Bild mit freundlicher Genehmigung von Ashish Patel

 

Die Boosting-Methode reduziert den Bias und die Varianz, die von den Modellen erfahren werden. Dies ist möglich, da solche negativen Aspekte in nachfolgenden Iterationen herausgefiltert werden. Boosting kann auf zwei unterschiedliche Weisen erfolgen: gewichtsbasiertes Boosting und residualbasiertes Boosting.

 

Konkatenations-Methode

Diese Methode wird verwendet, wenn verschiedene Datenquellen in dasselbe Modell zusammengeführt werden sollen. Diese Kombinationstechnik nimmt verschiedene Eingaben auf und konkateniert sie zum selben Modell. Der resultierende Datensatz wird mehr Dimensionen haben als der ursprüngliche Datensatz.

Wird dies mehrfach sequenziell durchgeführt, wachsen die Dimensionen der Daten auf eine sehr große Zahl an, was zu Overfitting und Verlust kritischer Informationen führen kann, was die Leistung des kombinierten Modells verringert.

 

Stacking-Methode

Die Stacking-Methode für Ensemble-Deep-Learning-Modelle integriert die verschiedenen Methoden, um Deep-Learning-Modelle unter Verwendung der Leistung vorheriger Iterationen zu entwickeln, um die vorherigen Modelle zu verbessern. Das Hinzufügen eines Elements der gewichteten Durchschnittsbildung zu diesem gestapelten Modell verbessert die positiven Beiträge für die Teilmodelle.

Ebenso können Bagging-Techniken und Konkatenationstechniken zu den Modellen hinzugefügt werden. Die Methode, verschiedene Techniken zur Kombination von Modellen zu kombinieren, kann die Leistung des kombinierten Modells verbessern.

Die Methoden, Techniken und Algorithmen, die zur Kombination von Deep-Learning-Modellen verwendet werden können, sind unzählig und entwickeln sich ständig weiter. Es werden neue Techniken entstehen, um dieselbe Aufgabe mit besseren Ergebnissen zu bewältigen. Die wichtigsten Ideen zum Kombinieren von Modellen sind unten zusammengefasst.

• Das Kombinieren von Deep-Learning-Modellen wird auch Ensemble Learning genannt.
• Das Kombinieren verschiedener Modelle wird durchgeführt, um die Leistung von Deep-Learning-Modellen zu verbessern.
• Der Aufbau eines neuen Modells durch Kombination erfordert weniger Zeit, Daten und Rechenressourcen.
• Die gängigste Methode zur Kombination von Modellen ist das Mitteln mehrerer Modelle, wobei ein gewichteter Durchschnitt die Genauigkeit verbessert.
• Bagging, Boosting und Konkatenation sind weitere Methoden zur Kombination von Deep-Learning-Modellen.
• Stacked Ensemble Learning verwendet verschiedene Kombinationstechniken, um ein Modell zu erstellen.