Kombination zweier Deep-Learning-Modelle

Deep Learning ist ein unschätzbares Werkzeug im Arsenal von Datenanalysten mit neuen Anwendungen in verschiedenen Bereichen, einschließlich industrieller Anwendungen. Das grundlegende Arbeitsprinzip von Deep Learning besteht darin, große Datenmengen zu verwenden, um ein Modell zu erstellen, das genaue Vorhersagen treffen kann.

Betrachten wir ein kleines Beispiel, bei dem Ingenieure für Industrieautomatisierung auf die Notwendigkeit stoßen könnten, zwei Deep-Learning-Modelle zu kombinieren. Ein Smartphone-Unternehmen beschäftigt eine Produktionslinie, die mehrere Smartphone-Modelle herstellt. Computergestütztes Sehen mit Deep-Learning-Algorithmen führt die Qualitätskontrolle der Produktionslinie durch.

Derzeit baut die Produktionslinie zwei Smartphones:Phone A und Phone B. Die Modelle A und B führen die Qualitätskontrolle für Phone A bzw. B durch. Das Unternehmen stellt ein neues Smartphone, Phone C, vor. Die Produktionsstätte benötigt möglicherweise ein neues Modell, um die Qualitätskontrolle für das dritte Telefon namens Model C durchzuführen. Die Entwicklung eines neuen Modells erfordert eine enorme Menge an Daten und Zeit.

Abbildung 1. Video mit freundlicher Genehmigung von Matt Chan

Eine andere Alternative besteht darin, die Erkenntnisse aus Modell A und B zu kombinieren, um Modell C zu bauen. Das kombinierte Modell kann eine Qualitätskontrolle mit geringfügigen Anpassungen an den Gewichtungen durchführen.

Ein weiteres Szenario, in dem Modelle kombiniert werden müssen, ist, wenn ein neues Modell zwei Aufgaben gleichzeitig ausführen muss. Zwei Deep-Learning-Modelle könnten diese Aufgaben erfüllen. Ein Modell, das einen Datensatz klassifizieren und Vorhersagen in jeder Kategorie treffen muss, kann durch die Kombination zweier Modelle erstellt werden:eines, das große Datensätze klassifizieren kann, und eines, das Vorhersagen treffen kann.

Ensemble-Lernen

Die Kombination mehrerer Deep-Learning-Modelle ist Ensemble-Learning. Dies geschieht, um bessere Vorhersagen, Klassifizierungen oder andere Funktionen eines Deep-Learning-Modells zu treffen. Ensemble Learning kann auch ein neues Modell mit den kombinierten Funktionalitäten verschiedener Deep-Learning-Modelle erstellen.

Das Erstellen eines neuen Modells hat viele Vorteile im Vergleich zum völligen Training eines neuen Modells.

• Benötigt sehr wenig Daten, um das kombinierte Modell zu trainieren, da der Großteil des Lernens aus den kombinierten Modellen abgeleitet wird.
• Die Erstellung eines kombinierten Modells dauert weniger Zeit als die Erstellung eines neuen Modells.
• Benötigt weniger Rechenressourcen, wenn Modelle kombiniert werden.
• Neue kombinierte Modelle haben eine höhere Genauigkeit und höhere Fähigkeiten als diejenigen, die kombiniert wurden, um das neue Modell zu erhalten.

Aufgrund der unterschiedlichen Vorteile des Ensemble-Lernens wird es oft durchgeführt, um ein neues Modell zu erstellen. Entsprechende Deep-Learning-Algorithmen, Pakete und trainierte Modelle müssen unterschiedliche Modelle kombinieren, und die fortschrittlichsten Deep-Learning-Algorithmen werden mit Python geschrieben.

Abbildung 2. Ein Stacking-Ensemble für neuronale Deep-Learning-Netzwerke in Python. Bild mit freundlicher Genehmigung von Beherrschung des maschinellen Lernens

Die Kenntnis von Python und den jeweils eingesetzten Deep-Learning-Tools sind Voraussetzung für die Kombination verschiedener Modelle. Sobald all dies vorhanden ist, werden verschiedene Techniken implementiert, um verschiedene Deep-Learning-Algorithmen zu kombinieren. Sie werden in den folgenden Abschnitten erklärt.

(gewichtete) Durchschnittsmethode

Bei diesem Verfahren wird der Durchschnitt der beiden Modelle als neues Modell verwendet. Es ist die einfachste Methode, zwei Deep-Learning-Modelle zu kombinieren. Das Modell, das aus dem einfachen Durchschnitt von zwei Modellen erstellt wurde, hat eine höhere Genauigkeit als die beiden kombinierten Modelle.

Um die Genauigkeit und das Ergebnis des kombinierten Modells weiter zu verbessern, ist der gewichtete Durchschnitt eine praktikable Option. Die Gewichtung der verschiedenen Modelle könnte auf der Leistung der Modelle oder auf dem Trainingsumfang jedes Modells basieren. Bei dieser Methode werden zwei verschiedene Modelle zu einem neuen Modell kombiniert.

Einsackmethode

Das gleiche Deep-Learning-Modell kann mehrere Iterationen haben. Die verschiedenen Iterationen würden mit verschiedenen Datensätzen trainiert und hätten unterschiedliche Verbesserungsgrade. Die Kombination der verschiedenen Versionen desselben Deep-Learning-Modells ist die Bagging-Methode.

Die Methodik bleibt dieselbe wie bei der Mittelwertbildungsmethode. Verschiedene Versionen desselben Deep-Learning-Modells werden auf einfache Weise oder gewichteter Durchschnitt kombiniert. Diese Methode hilft, ein neues Modell zu erstellen, bei dem der Bestätigungsfehler nicht mit einem einzelnen Modell aufgebaut ist, wodurch das Modell genauer und leistungsfähiger wird.

Boosting-Methode

Die Boosting-Methode ähnelt der Verwendung einer Feedback-Schleife für Modelle. Die Leistung eines Modells wird verwendet, um die nachfolgenden Modelle anzupassen. Dadurch entsteht eine positive Rückkopplungsschleife, die alle Faktoren akkumuliert, die zum Erfolg des Modells beitragen.

Abbildung 3. Boosing-Methode für Ensemble-Lernen. Bild mit freundlicher Genehmigung von Aschisch-Patel

Die Boosting-Methode reduziert die von den Modellen erfahrene Verzerrung und Varianz. Dies ist möglich, da solche negativen Seiten in nachfolgenden Iterationen herausgefiltert werden. Das Boosten kann auf zwei verschiedene Arten erfolgen:gewichtsbasiertes Boosting und restliches Boosting.

Verkettungsmethode

Diese Methode wird verwendet, wenn verschiedene Datenquellen zu demselben Modell zusammengeführt werden sollen. Diese Kombinationstechnik nimmt verschiedene Eingaben auf und verkettet sie zu demselben Modell. Das resultierende Dataset hat mehr Dimensionen als das ursprüngliche Dataset.

Wenn die Daten mehrmals hintereinander ausgeführt werden, werden die Dimensionen der Daten sehr groß, was zu einer Überanpassung und dem Verlust kritischer Informationen führen kann, wodurch die Leistung des kombinierten Modells verringert wird.

Stapelmethode

Die Stapelmethode für Ensemble-Deep-Learning-Modelle integriert die verschiedenen Methoden zur Entwicklung von Deep-Learning-Modellen unter Verwendung der Leistung früherer Iterationen, um die vorherigen Modelle zu steigern. Das Hinzufügen eines Elements der Bildung eines gewichteten Durchschnitts zu diesem gestapelten Modell verbessert die positiven Beiträge für die Untermodelle.

Auf ähnliche Weise können den Modellen Einsacktechniken und Verkettungstechniken hinzugefügt werden. Das Verfahren zum Kombinieren verschiedener Techniken zum Kombinieren von Modellen kann die Leistung des kombinierten Modells verbessern.

Die Methoden, Techniken und Algorithmen, die verwendet werden können, um Deep-Learning-Modelle zu kombinieren, sind zahllos und entwickeln sich ständig weiter. Es wird neue Techniken geben, um dieselbe Aufgabe zu erfüllen und bessere Ergebnisse zu erzielen. Die wichtigsten Ideen zum Kombinieren von Modellen sind unten aufgeführt.

• Die Kombination von Deep-Learning-Modellen wird auch als Ensemble-Learning bezeichnet.
• Die Kombination verschiedener Modelle dient dazu, die Leistung von Deep-Learning-Modellen zu verbessern.
• Der Aufbau eines neuen Modells durch Kombination erfordert weniger Zeit, Daten und Rechenressourcen.
• Die gebräuchlichste Methode zum Kombinieren von Modellen ist die Mittelung mehrerer Modelle, wobei ein gewichteter Durchschnitt die Genauigkeit verbessert.
• Bagging, Boosting und Verkettung sind weitere Methoden zur Kombination von Deep-Learning-Modellen.
• Gestapeltes Ensemble-Lernen verwendet verschiedene Kombinationstechniken, um ein Modell zu erstellen.