Hindernisvermeidung durch künstliche Intelligenz

Notwendige Werkzeuge und Maschinen

	Lötkolben (generisch)
	Lötdraht, bleifrei
	Lötflussmittel, Löten
	Entlötpumpe Deluxe SOLDAPULLT®
	Abisolierzange und -schneider, 18-10 AWG / 0,75-4 mm² Kapazität Drähte
	Heißklebepistole (generisch)
	Klebeband, doppelseitig

Apps und Onlinedienste

Arduino-IDE

Über dieses Projekt

HINDERNISSE VERMEIDUNG DES ROBOTERS MIT KI/VERSTÄRKUNGSLERNEN

Problembeschreibung: Das Hauptziel ist zu lernen, Hindernisse in "N" Episoden zu vermeiden und die optimale Aktion zu lernen. Nehmen wir in diesem Fall an, dass wir unseren Roboter brauchen, um die optimale Aktion als „Rechts“ zu lernen.

Verwendeter Verstärkungsalgorithmus: Q lernen

Wie L298N zwei Gleichstrommotoren antreibt:

So berechnet der HC-SR04-Sensor die Entfernung:

Wichtige Begriffe im Reinforcement Learning:

1. ZUSTAND: Dies ist die Situation, in der sich der Roboter befindet. Hier für einen einfachen Hindernisvermeidungsroboter gibt es insgesamt 2 Zustände … 1. Zustand ist, wenn kein Hindernis in der Nähe ist und 2. Zustand, in dem sich ein Hindernis davor befindet. (Als ich den Code schrieb, nahm ich 10 verschiedene an Zustände können sein, in denen die gleiche Aktion erwartet wird. Der Grund, warum ich dies getan habe, um eine komplexere Umgebung zu veranschaulichen.)

2. AKTION: In einem bestimmten Zustand führt der Roboter eine bestimmte Aktion aus. Es gibt 4 Aktionen, die der Roboter im 2. Zustand ausführen kann:„FORWARD“, „BACKWARD“, „LINKS“, „STOP“. Im ersten Zustand kann der Roboter 4 Aktionen ausführen, aber der Einfachheit halber habe ich angenommen, dass der Roboter nur eine Aktion ausführen kann, die „FORWARD“ ist ( Dies liegt daran, dass es lahm ist, Aktionen wie LINKS . in Betracht zu ziehen oder RÜCKWÄRTS wenn keine Hindernisse in der Nähe sind.

int AKTIONEN =[0,1,2,3]

/* HIER :
0 =VORWÄRTS
1 =RÜCKWÄRTS
2 =STOP
3 =RECHTS*/ 

3. NÄCHSTER ZUSTAND: Dies ist der Status-Roboter, wenn er eine bestimmte „AKTION“ ausführt in seinem aktuellen "STATE". Bei Hindernissen, die dem Roboterfall ausweichen, wird der NÄCHSTE ZUSTAND kann entweder ein „ABGESCHNITTEN“ . sein Bundesstaat oder ein „ÜBERLEBEN“ Zustand. (Hier ist der SURVIVE-Zustand identisch mit dem Startzustand, in dem sich der Roboter befindet, wenn seine Episode beginnt.)

/*NACH DEM DURCHFÜHREN EINER AKTION DER ROBOTER IN DIESEM HINDERNISFALL IN DEN NÄCHSTEN ZUSTAND GEHT 
ROBOTER VERMEIDEN*/

int NEXT_STATE;
int STATE =0;
NEXT_STATE =STATE+1; 

4. Q-TABELLE / Q-MATRIX: Diese Tabelle besteht aus der Anzahl der „STATES“ und der Anzahl der „ACTIONS“. Im Fall des Hindernisvermeidungsroboters wird diese Tabelle gegeben durch:

float Q[N_STATES][NUMBER_OF_ACTIONS] ={{0.0,0.0,0.0,0.0}, 
 {0.0,0.0,0.0,0.0}, 
 {0.0,0.0,0.0 ,0.0}, 
 {0.0,0.0,0.0,0.0}, 
 {0.0,0.0,0.0,0.0}, 
 {0.0,0.0,0.0,0.0},
 {0.0,0.0,0.0,0.0},
 {0.0,0.0,0.0,0.0},
 {0.0,0.0,0.0,0.0},
 {0.0,0.0,0.0,0.0 }}; 

Hier N_STATES =10 AND N_ACTIONS =4. Hier bedeutet "0.0", dass jede Aktion von jeder der 4 möglichen Aktionen ausgeführt werden kann. wenn Sie jedoch einen Feinstaub eliminieren möchten Aktion in einem Zustand ersetzen Sie einfach "0.0" durch "-1.0" in der Matrix. "-1.0" gibt an, dass die Aktion in diesem Zustand nicht ausgeführt werden kann. hier wird angenommen, dass wir 10 verschiedene Zustände haben, wobei jeder Zustand die gleiche Aktion erwartet. Wenn Sie möchten, dass Ihr Roboter Aktionen lernt, die in jedem Bundesstaat unterschiedlich sind, ändern Sie die Belohnungen aus der Belohnungsmatrix im Code

5. TERMINALSTATUS: Dies ist der letzte Zustand, in dem sich der Roboter befinden kann. Für den hindernisvermeidenden Roboter existiert dieser Zustand nicht, da wir keinen Endzustand haben und unseren Roboter für immer lernen möchten.

6. BELOHNUNGSMATRIX: Diese Tabelle oder Matrix wird verwendet, um dem Roboter Belohnungen für bestimmte Aktionen zu geben. Die Belohnung ist je nach Qualität der Aktion positiv oder negativ.

int REWARDS[STATES][NUMBER_OF_ACTIONS] ={{-10,-2,-1,10}, 
 {-10,-2,-1,10}, 
 {-10,-2,-1,10}, 
 {-10,-2,-1,10}, 
 {-10,-2,-1,10},
 {-10,-2,-1,10},
 {-10,-2,-1,10},
 {-10,-2,-1,10},
 {-10,-2,-1,10},
 {-10,-2,-1,10}}; 

7. UMWELT: Dies kann auch als die Welt für den Roboter angenommen oder betrachtet werden. Zum Beispiel leben wir Menschen auf der Erde, also ist die Erde im Grunde unsere Umwelt.

Hyperparameter im Reinforcement Learning:

1. LERNRATE (ALPHA): Die Lernrate oder Schrittweite bestimmt, inwieweit neu erfasste Informationen alte Informationen überschreiben. Ein Faktor von 0 bewirkt, dass der Agent nichts lernt (ausschließliches Ausnutzen von Vorwissen), während ein Faktor von 1 dazu führt, dass der Agent nur die neuesten Informationen berücksichtigt (Vorwissen ignoriert, um Möglichkeiten auszuloten). In vollständig deterministischen Umgebungen ist eine Lernrate von ALPHA =1,0 optimal. Wenn das Problem stochastisch ist, konvergiert der Algorithmus unter bestimmten technischen Bedingungen auf die Lernrate, die eine Abnahme auf Null erfordern. In der Praxis wird oft eine konstante Lernrate verwendet, beispielsweise ALPHA =0,1 für alle Szenarien.

float ALPHA =0,2; 

2. RABATTFAKTOR (GAMMA): Der Diskontfaktor von 0 bestimmt die Bedeutung zukünftiger Belohnungen. Ein Faktor von 0 macht den Agenten "kurzsichtig" (oder kurzsichtig), indem er nur die aktuellen Belohnungen berücksichtigt, während ein Faktor nahe 1 ihn dazu bringt, eine langfristig hohe Belohnung anzustreben. Wenn der Rabattfaktor 1 erreicht oder überschreitet, können die Aktionswerte abweichen. Für GAMMA =1.0, ohne einen Endzustand oder wenn der Agent nie einen erreicht, werden alle Umgebungshistorien unendlich lang, und Dienstprogramme mit additiven, undiskontierten Belohnungen werden im Allgemeinen unendlich. Selbst mit einem Rabattfaktor von nur etwas weniger als 1, Q Funktionslernen führt zur Ausbreitung von Fehlern und Instabilitäten, wenn die Wertfunktion mit einem künstlichen neuronalen Netz approximiert wird. In diesem Fall wird das Lernen beschleunigt, wenn man mit einem niedrigeren Diskontfaktor beginnt und diesen bis zum Endwert erhöht.

Float-GAMMA =0,9; 

3. EXPLORATIONSRATE (EPSILON): Dieser Parameter entscheidet, inwieweit der Roboter die Umgebung erkunden soll. Das Erkunden der Umgebung bedeutet, zufällige Aktionen durchzuführen und die Ergebnisse durch Q-Werte zu analysieren. Normalerweise werden wir bei Q Learning (im Gegensatz zu SARSA) diesen Parameter irgendwann los, da der Roboter immer mehr lernt. Aber in diesem Projekt werden wir Epsilon nicht los, da wir keinen Endzustand haben. Epsilon reduziert sich in diesem Fall bis zu einem gewissen Grad und wird dann wieder zurückgesetzt, wenn es unter einen Schwellenwert fällt. Dadurch wird sichergestellt, dass der Roboter bis zu seinem Leben auf Erkundungstour geht, genau wie wir Menschen es tun.

Float EPSILON =0,75; 

Q-LEARNING-ALGORITHMUS:

• Initialisieren Sie die Q-Werte-Tabelle, Q(s, a) . Ich habe diese Werte auf 0.0 initialisiert.
• Beobachte den aktuellen Stand, s .
• Wählen Sie eine Aktion, eine , für diesen Zustand basierend auf einer der hier auf der vorherigen Seite erläuterten Aktionsauswahlrichtlinien (📷-soft, 📷-greedy oder softmax).

//////////////////////////Epsilon Greedy Policy/////////////// ///////////////

PROB =RANDOM(EPSILON);
 if (PROB<=EPSILON) //ENTDECKEN SIE DIE AKTIONEN 
 {
 ACTION =random(0,4);
 FLAG =2;
 }
 else //EXPLOIT THE ACTIONS OF THE Q TABLE
 {
 ACTION =ARGMAX(Q,STATE);
 FLAG =2;
 } 

• Ergreifen Sie die Aktion und beobachten Sie die Belohnung, r , sowie der neue Bundesstaat s' .
• Aktualisieren Sie den Q-Wert für den Staat mit der beobachteten Belohnung und der maximal möglichen Belohnung für den nächsten Staat. Die Aktualisierung erfolgt gemäß der oben beschriebenen Formel und Parameter.
• Setzen Sie den Status auf den neuen Status und wiederholen Sie den Vorgang, bis ein Endstatus erreicht ist.
• Um das Q-Lernen zu verstehen Besuchen Sie besser diesen Link:https://towardsdatascience.com/a-beginners-guide-to-q-learning-c3e2a30a653c

///////////////////Implementierung der Q_Learning-Formel///////////////////// ////

 Q_OLD =Q_TABLE[S][A]; 
 Q_MAX =MAX(Q_TABLE, NEXT_S);
 Q_NEW =(1-LEARNING_RATE)*Q_OLD + LEARNING_RATE*(R + DISCOUNT_FACTOR*Q_MAX); 
 Serial.print("Q VALUE:");
 Serial.println(Q_NEW);
 Q_TABLE[S][A] =Q_NEW; 

Arbeitsvideo:Vergessen Sie nicht, sich das Arbeitsvideo von AI Robot anzusehen :)

Code

• Hindernisvermeidungsroboter mit Q-LEARNING

Hindernisvermeidungsroboter mit Q-LEARNINGC/C++

Schaltpläne