Speathe

Sprechen durch Atmen:Ein intelligentes Kommunikationssystem für Gelähmte .

In diesem Projekt verwendete Dinge

Hardwarekomponenten

Lautsprecher:3 W, 4 Ohm

Android-Gerät

Walabot

Raspberry Pi 3 Modell B

Software-Apps und Onlinedienste

Python

reaktionsfreudig

Geschichte

Speathe:Eine innovative und sich weiterentwickelnde Kommunikationsmethode für Gelähmte, die nach einer Lähmung sprachlos sind. Auch wenn es Methoden für den Gelähmten gibt, hilft Speathe mit, indem er den Atem in Hörklänge und übertragbare Texte umwandelt. Ich hoffe, dass dieser Kodex eine große Weiterentwicklung erfahren wird und bitte alle Enthusiasten, daran zu arbeiten, um dies zu einer effektiven Kommunikation für unsere gelähmten Mitmenschen zu machen.

Hardwarekomponenten

Speathe-Komponenten

Walabot hört auf den Atem und teilt ihn in kurze und lange Atemzüge ein. Raspberry weist kurzen und langen Atemzügen jeweils Punkte und Striche zu und fügt sie an, um ein Alphabet zu bilden. Es gibt Sammlungen von Akronymen mit 3 Buchstaben, die vordefinierte Bedeutungen haben, um die Kommunikation zu vereinfachen. Raspberry bestimmt das Wort speathe vom Benutzer und weist einen Wert für eine Variable zu und sendet die Daten an den Server, der in Python ausgeführt wird. Die mobile Anwendung wird mit Reaktiv-native entwickelt, die kontinuierliche Anfragen an den Server sendet, die den Wert der Variablen suchen. Immer wenn ein Wert ungleich null empfangen wird, zeigt die mobile App diesen an. Wir bieten auch eine Erweiterung für Menschen, die gelähmt sind, indem sie den vom Benutzer eingegebenen Text zurück auf den Server senden und ihn laut den Gelähmten aussprechen.

Softwareentwicklung

1. Walabot SDK einrichten und mit Python programmieren

Wenn Sie die Python-IDE nicht installiert haben, ist Python3 verfügbar unter: https://www.python.org/downloads/

Sobald das erledigt ist, können Sie das Walabot SDK für Ihr Betriebssystem herunterladen. Ausführliche Informationen zur Walabot Python API finden Sie unter: https://walabot.com/api/_pythonapi.html

Nachdem Sie die.deb-Datei installiert haben, finden Sie im Quellverzeichnis verschiedene Beispielprogramme, die sowohl für C++ als auch für Python geschrieben wurden. Die Beispielprogramme sind auch auf der Walabot API-Website verfügbar. Für dieses Projekt würde ich empfehlen, das BreathingExample-Python-Programm zu durchlaufen.

2. Atemerkennung und Buchstabenabgleich

Die Fähigkeit von Walabot, die Atemenergie zu bestimmen, wird verwendet, um lange und kurze Atemzüge zu bestimmen. Wir nehmen 10-15 aufeinanderfolgende Schleifen und wenn die Energie in ihnen erheblich über einem Schwellenwert liegt, wird dies als langer Atemzug bezeichnet, und wenn die Energie unter dem Schwellenwert liegt, handelt es sich um einen kurzen Atemzug. In diesem Fall kann für jede Person eine einmalige Kalibrierung erforderlich sein.

Nach dem Erkennen von langen und kurzen Atemzügen aufeinanderfolgende Atemzüge und angeordnet in einem Array mit '-' für lange Atemzüge und '.' für kurze Atemzüge, die einen Morsecode wie ['-.-.-' ]. Spezifische Morsecodemuster und für Buchstaben vordefiniert und wenn Atemzüge mit ihnen übereinstimmen, wird dieser Buchstabe ausgesprochen.

3. Buchstaben, Wörter, Sätze, Gefühle

Wir haben in der ersten Version von Speathe drei Buchstaben-Akronyme für gängige Ausdrücke des täglichen Lebens entwickelt, damit die Gelähmten nicht zu viel speien. Wenn eine Übereinstimmung mit drei Buchstaben gefunden wird, wird der Wert der Variablen, der von der mobilen Anwendung verwendet wird, durch den entsprechenden Ausdruck ersetzt. Somit ist eine effektive Kommunikation für vollständig Gelähmte möglich.

4. Server

Der Server läuft auf Raspberry Pi und wird vollständig von Python gesteuert. Das Flask-Modul wird verwendet, um den Server in Raspberry Pi 3 auszuführen. Eine statische IP wird auf Raspberry Pi eingestellt und der Server wird auf einem Port (z. B. 80) gestartet.

Einrichten Statisch IP

1. Geben Sie an der Eingabeaufforderung sudo nano /etc/dhcpcd.conf ein.

2. Scrollen Sie zum Ende des Skripts und fügen Sie die folgenden Zeilen hinzu:

interface eth0
statische ip_address=192.168.43.211
statische Router=192.168.43.1
statische domain_name_servers=192.168.43.1
interface wlan0
statische ip_address=192.168.43.211
statische Router=192.168.43.1
statische Domänenname_Server=192.168.43.1

3. Speichern Sie die Datei mit Strg + o und beenden Sie Nano mit Strg + X.

4. Starten Sie mit sudo reboot neu.

5. Mobile Anwendung

Die mobile Anwendung wird in reaktiv entwickelt. Reaktive native Anfragen nach dem Wert am gleichen Port des Servers. Wenn ein Wert gefunden wird, wird er in der Benutzeroberfläche angezeigt. Und wenn der Benutzer etwas zurückgeben möchte, posten Sie die Daten reaktiv in eine Variable im Server und Python-Code, der den Wert dieser Variablen überprüft, wird ihn lauter aussprechen, damit der gelähmt ist und bei Bedarf hört und eine Antwort gibt.

Mobile App sucht nach ClientMobile Anwendung hat die Nachricht „Apple“ von paralyzedMessage zurück zum Server erhalten

5. Testen

Führen Sie die Python-Dateien in Raspberry Pi aus und legen Sie eine statische IP-Adresse für Ihren Raspberry Pi fest. Ändern Sie die IP-Adresse und Port-Adresse im JavaScript-Code und rendern Sie die APK. In meinem Fall habe ich die IP-Adresse auf 192.168.43.211 gesetzt und die Debug-Apk ist im Repository angegeben. Nachdem die apk generiert wurde, verbinden Sie Raspberry Pi über Wi-Fi mit dem Android-Gerät und verbinden Sie Walabot mit Raspberry Pi. Öffnen Sie einfach die Anwendung und starten Sie Speathing.

Weitere Informationen lesen….

Speath