Gewichts-Updates und Backpropagation in Multilayer Perzeptrons meistern

In diesem Artikel präsentieren wir die präzisen Gleichungen für Gewichts-Update-Berechnungen und erklären, wie Backpropagation einen Multilayer Perzeptron (MLP) befähigt, aus Daten zu lernen.

Willkommen zu AAC's umfassender Machine-Learning-Serie.

Holen Sie den bisherigen Serienstand hier nach:

1. Klassifikation mit neuronalen Netzen: Was ist der Perzeptron?
2. Einfaches Perzeptron-Beispiel zur Datenklassifikation nutzen
3. Einen Basic Perzeptron trainieren
4. Einfaches Neuronales Netzwerk Training verstehen
5. Einführung in Trainings-Theorie für Neuronale Netze
6. Lernrate in Neuronalen Netzen verstehen
7. Advanced Machine Learning mit dem Multilayer Perzeptron
8. Die Sigmoid-Aktivierungsfunktion: Aktivierung in Multilayer Perzeptronen
9. Einen Multilayer Perzeptron trainieren
10. Trainingsformeln und Backpropagation für Multilayer Perzeptronen verstehen
11. Neuronales Netzwerk-Architektur für Python-Implementation
12. Einen Multilayer Perzeptron in Python erstellen
13. Signalverarbeitung mit Neuronalen Netzen: Validierung im Neuronalnetz-Design
14. Trainingsdaten für Neuronale Netze: Training und Validierung eines Python Neuronalen Netzes

Wir haben den Kern der Neuronalnetz-Theorie erreicht: die computergestützten Schritte, die die Gewichte eines MLP so feinjustieren, dass es Input-Samples akkurat klassifizieren kann. Dieser Prozess ist das Fundament des Backpropagation-Algorithmus, ein Eckpfeiler modernen Deep Learning.

Gewichte aktualisieren

MLP-Training ist mathematisch dicht, und Terminologie variiert across Quellen. Die untenstehenden Gleichungen stammen aus Dr. Dustin Stansburys klaren Herleitungen, was sie zu exzellenter Referenz für Einsteiger und Praktiker macht.

Das Diagramm zeigt die Architektur, die wir in Code implementieren, und die folgenden Gleichungen mappen direkt auf diese Struktur.

Terminologie

• Pre-Aktivierung (S_preA): Der gewichtete Summen-Eingang zur Aktivierungsfunktion eines Neurons, berechnet als Dot Product eingehender Gewichte und Aktivierungen.
• Post-Aktivierung (S_postA): Der Output des Neurons nach Anwendung der Aktivierungsfunktion f_A(·). Wir nutzen die logistische (Sigmoid) Funktion in unseren Beispielen.
• Gewichtsmatrizen: Im Code benennen wir sie ItoH (Input-to-Hidden) und HtoO (Hidden-to-Output) zur Vermeidung von Ambiguität.
• Target (T): Der korrekte Output für ein Trainingsample.
• Lernrate (LR): Die Schrittweite für Gewichtsupdates.
• Finaler Fehler (FE): S_postA,O – T.
• Fehlersignal (S_ERROR): FE multipliziert mit der Ableitung der Output-Neuron-Aktivierungsfunktion.
• Gradient: Der Beitrag eines spezifischen Gewichts zum Fehlersignal; wir subtrahieren LR × Gradient vom aktuellen Gewicht.

Das begleitende Diagramm illustriert diese Konzepte im Kontext.

Gewichts-Update-Gleichungen resultieren aus der partiellen Ableitung des Sum-of-Squared-Error nach jedem Gewicht. Für Hidden-to-Output Gewichte:

S_ERROR = FE × f_A'(S_preA,O)

gradient_HtoO = S_ERROR × S_postA,H

weight_HtoO ← weight_HtoO – (LR × gradient_HtoO)

Für Input-to-Hidden Gewichte muss der Fehler eine zusätzliche Layer durchlaufen:

gradient_ItoH = S_ERROR × weight_HtoO × f_A'(S_preA,H) × input

weight_ItoH ← weight_ItoH – (LR × gradient_ItoH)

Backpropagation

Backpropagation löst das Hidden-Node-Dilemma: Obwohl Input-to-Hidden Gewichte den finalen Output nur indirekt beeinflussen, können wir ihren Effekt berechnen, indem wir das Fehlersignal rückwärts durch das Netzwerk propagieren und mit ausgehenden Gewichten und Aktivierungsableitungen skalieren. Diese Technik ist fundamental für Deep Model Training.

Fazit

Wir haben die Schlüssengleichungen für Gewichtsupdates und die Mechanik von Backpropagation in MLPs aufgepackt. Diese Konzepte untermauern jede moderne Neuronalnetz-Anwendung, und ihre Beherrschung öffnet die Tür zu fortgeschrittenem Modeling. Bleiben Sie dran für die nächsten Folgen, wo wir Architekturdesign, Python-Implementation und Validierungstechniken vertiefen.