Wie man ein grundlegendes neuronales Perceptron-Netzwerk trainiert

Sehen wir uns diese Anweisungen genauer an.

Netzwerk konfigurieren und Daten organisieren

input_dim =3

Die Dimensionalität ist einstellbar. Unsere Eingabedaten bestehen, wenn Sie sich erinnern, aus dreidimensionalen Koordinaten, daher benötigen wir drei Eingabeknoten. Dieses Programm unterstützt nicht mehrere Ausgabeknoten, aber wir werden die anpassbare Ausgabedimensionalität in ein zukünftiges Experiment einbeziehen.

Lernrate =0,01

Wir werden die Lernrate in einem zukünftigen Artikel besprechen.

Gewichte =np.random.rand(input_dim) #Gewichte[0] =0,5 #Gewichte[1] =0,5 #Gewichte[2] =0,5

Gewichte werden normalerweise auf Zufallswerte initialisiert. Die Funktion numpy random.rand() generiert ein Array der Länge input_dim gefüllt mit Zufallswerten verteilt über das Intervall [0, 1). Die anfänglichen Gewichtungswerte beeinflussen jedoch die durch das Trainingsverfahren erzeugten endgültigen Gewichtungswerte. Wenn Sie also die Auswirkungen anderer Variablen (wie Trainingssatzgröße oder Lernrate) bewerten möchten, können Sie diesen Störfaktor entfernen, indem Sie alle gewichtet auf eine bekannte Konstante statt auf eine zufällig generierte Zahl.

Training_Data =pandas.read_excel("3D_data.xlsx")

Ich verwende die Pandas-Bibliothek, um Trainingsdaten aus einer Excel-Tabelle zu importieren. Im nächsten Artikel wird auf die Trainingsdaten näher eingegangen.

Expected_Output =Training_Data.output Training_Data =Training_Data.drop(['output'], axis=1)

Der Trainingsdatensatz enthält Eingabewerte und entsprechende Ausgabewerte. Die erste Anweisung trennt die Ausgabewerte und speichert sie in einem separaten Array, und die nächste Anweisung entfernt die Ausgabewerte aus dem Trainingsdatensatz.

Training_Data =np.asarray(Training_Data) training_count =len(Training_Data[:,0])

Ich wandele den Trainingsdatensatz, der derzeit eine Pandas-Datenstruktur ist, in ein numpy-Array um und schaue mir dann die Länge einer der Spalten an, um zu bestimmen, wie viele Datenpunkte für das Training verfügbar sind.

Berechnung von Ausgabewerten

für Epoche im Bereich(0,5):

Die Länge einer Trainingseinheit richtet sich nach der Anzahl der verfügbaren Trainingsdaten. Sie können die Gewichtungen jedoch weiter optimieren, indem Sie das Netzwerk mehrmals mit demselben Datensatz trainieren. Die Vorteile des Trainings verschwinden nicht, nur weil das Netzwerk diese Trainingsdaten bereits gesehen hat. Jeder vollständige Durchlauf durch den gesamten Trainingssatz wird als Epoche bezeichnet.

für Datum im Bereich(0, training_count):

Die in dieser Schleife enthaltene Prozedur tritt einmal für jede Zeile im Trainingssatz auf, wobei sich „row“ auf eine Gruppe von Eingabedatenwerten und den entsprechenden Ausgabewert bezieht (in unserem Fall besteht eine Eingabegruppe aus drei Zahlen, die x, y . darstellen). , und z-Komponenten eines Punktes im dreidimensionalen Raum).

Output_Sum =np.sum(np.multiply(Training_Data[datum,:], Gewichte))

Der Ausgabeknoten muss die von den drei Eingabeknoten gelieferten Werte summieren. Meine Python-Implementierung tut dies, indem sie zuerst eine elementweise Multiplikation des Training_Data-Arrays durchführt und die Gewichte Array und dann Berechnen der Summe der Elemente in dem Array, das durch diese Multiplikation erzeugt wird.

wenn Output_Sum <0:Output_Value =0 anders:Output_Value =1

Eine if-else-Anweisung wendet die Einheitsschritt-Aktivierungsfunktion an:Wenn die Summation kleiner als null ist, ist der vom Ausgangsknoten generierte Wert 0; wenn die Summe gleich oder größer Null ist, ist der Ausgabewert Eins.

Gewichtungen aktualisieren

Wenn die erste Ausgabeberechnung abgeschlossen ist, haben wir Gewichtungswerte, aber sie helfen uns nicht bei der Klassifizierung, da sie zufällig generiert werden. Wir machen das neuronale Netz zu einem effektiven Klassifikationssystem, indem wir die Gewichte wiederholt so modifizieren, dass sie allmählich die mathematische Beziehung zwischen den Eingabedaten und den gewünschten Ausgabewerten widerspiegeln. Die Gewichtsmodifikation wird durch Anwenden der folgenden Lernregel für jede Reihe im Trainingssatz erreicht:

\[w_{new} =w+(\alpha\times(output_{expected}-output_{berechnet})\times input)\]

Das Symbol \( \alpha \) bezeichnet die Lernrate. Um einen neuen Gewichtswert zu berechnen, multiplizieren wir also den entsprechenden Eingabewert mit der Lernrate und mit der Differenz zwischen der erwarteten Ausgabe (die vom Trainingssatz bereitgestellt wird) und der berechneten Ausgabe, und dann wird das Ergebnis dieser Multiplikation addiert auf den aktuellen Gewichtswert. Wenn wir Delta definieren (\(\delta\) ) als (\(Ausgabe_{erwartet} - Ausgabe_{berechnet}\)), können wir dies umschreiben als

\[w_{new} =w+(\alpha\times\delta\times Eingabe)\]

So habe ich die Lernregel in Python implementiert:

error =Expected_Output[datum] - Output_Value für n im Bereich (0, input_dim):Gewichte[n] =Gewichte[n] + learning_rate*error*Training_Data[datum,n]

Schlussfolgerung

Sie haben jetzt Code, den Sie zum Trainieren eines Perceptrons mit einer einzelnen Schicht und einem einzelnen Ausgabeknoten verwenden können. Wir werden im nächsten Artikel mehr Details über die Theorie und Praxis des neuronalen Netzwerktrainings untersuchen.