Ein Sturzerkennungssystem basierend auf Arduino, Windows und Azure

Über dieses Projekt

Einführung :

Stürze, die zu tödlichen Verletzungen führen, sind zu einer großen Herausforderung geworden, die für ältere Menschen nicht zu vernachlässigen ist. In den letzten Jahren wurden verschiedene Arten von Ansätzen im Bereich der Sturzerkennung vorgeschlagen, die erklärt und in drei Typen eingeteilt werden können:auf tragbaren Geräten, auf Umgebungssensoren und auf Sichtsystemen [1]. Zuallererst nutzen tragbare Geräte normalerweise die Vorteile eingebetteter Sensoren, um die Bewegung und Position des Körpers zu erkennen, wie Beschleunigungsmesser, Magnetometer und Gyroskop [2, 3]. Und die Kosten des auf tragbaren Geräten basierenden Ansatzes sind ziemlich gering, und die Installation und der Betrieb sind für ältere Menschen nicht kompliziert. Zweitens verwenden umgebungsbasierte Ansätze immer Drucksensoren, um Körper zu erkennen und zu verfolgen. Diese Lösung ist zudem kostengünstig und einfach zu implementieren [4, 5]. Die Möglichkeit, andere Objekte als den menschlichen Körper zu erfassen, stellt jedoch eine bemerkenswerte Herausforderung für die Erkennungsgenauigkeit dieses Ansatzes dar. Nicht zuletzt nutzt die Vision-basierte Lösung die eingesetzten Kameras voll aus, um alle Objekte innerhalb der Reichweite, einschließlich des menschlichen Körpers, zu überwachen [6, 7]. Es gibt weniger Eingriffe in das tägliche Leben der Menschen als die beiden oben genannten Ansätze, während der Beobachtungsraum begrenzt ist und eine allgegenwärtige Überwachung nicht erreicht werden kann.

In diesem Projekt wird ein Überwachungssystem basierend auf Arduino, Windows 10 und Microsoft Azure zur Echtzeit-Sturzerkennung vorgeschlagen. Rohdaten des dreidimensionalen Beschleunigungsmessers werden von Arduino mit ADXL345 bereitgestellt. Das Windows 10-Gerät nutzt diese Informationen, um die Orientierung des Probanden durch effiziente Datenfusion und Sturzerkennungsalgorithmen zu erhalten. Microsoft Azure-Dienste und mobile/PC-Anwendungen sind auch darauf ausgelegt, eine nahtlose Datenverarbeitung, -analyse, -speicherung und -erfassung zu jeder Zeit von jedem Ort aus zu erreichen, solange sie Zugang zum Internet haben. Die Systemarchitektur ist in Abb. 1 wie folgt dargestellt.

Referenzen

[1] L. Jian und T. E. Lockhart, "Entwicklung und Bewertung eines Algorithmus zur Erkennung von Sturzereignissen vor dem Aufprall", Biomedical Engineering, IEEE Transactions on, vol. 61, S. 2135-2140, 2014.

[2] P. Pierleoni, A. Belli, L. Palma, M. Pellegrini, L. Pernini und S. Valenti, „A High Reliability Wearable Device for Elderly Sturz Detection“, Sensors Journal, IEEE, vol. 15, S. 4544-4553, 2015.

[3] R. Freitas, M. Terroso, M. Marques, J. Gabriel, A. Torres Marques und R. Simoes, „Wearable sensor networks supported by mobile devices for fall detection“, in SENSORS, 2014 IEEE, 2014, S. 2246-2249.

[4] Z. Xiaodan, H. Jing, G. Potamianos und M. Hasegawa-Johnson, „Acoustic fall detection using Gaussian mixed models and GMM supervectors“, in Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Konferenz am, 2009, S. 69-72.

[5] L. Yun, K. C. Ho und M. Popescu, „Effiziente Quellentrennungsalgorithmen für die akustische Sturzerkennung mit einem Microsoft Kinect“, Biomedical Engineering, IEEE Transactions on, vol. 61, S. 745-755, 2014.

[6] M. Yu, S. M. Naqvi, A. Rhuma und J. Chambers, „Ein-Klassengrenzen-Methodenklassifikatoren für die Anwendung in einem videobasierten Fallerkennungssystem“, Computer Vision, IET, vol. 6, S. 90-100, 2012.

[7] E. E. Stone und M. Skubic, „Fall Detection in Homes of Older Adults Using the Microsoft Kinect“, Biomedical and Health Informatics, IEEE Journal of, vol. 19, S. 290-301, 2015.

Prinzip der Sturzerkennung mit Haltungserkennung

In diesem Projekt wird der Sturzerkennungsalgorithmus nach Bharadwaj Sreenivasan’s Fall-detection-in-Android entwickelt. Der Algorithmus besteht aus zwei Modulen, der Haltungserkennung und der Sturzerkennung. Zuerst lesen wir die x-, y- und z-Werte vom Beschleunigungsmesser ab. Dann berechnen wir die L2-Norm von x, y und z. Dies wird vom Körperhaltungserkennungs- und Sturzerkennungsmodul verwendet.

Im Haltungserkennungsmodul werden die Körperhaltungen des Benutzers in drei Grundhaltungen eingeteilt:Sitzen, Stehen und Gehen. Die Werte von „y“ werden auf einen Schwellenwert angewendet, um die Ausrichtung herauszufinden. Unter Verwendung der Variationsrate der L2-Norm bezüglich der mittleren Erdbeschleunigung (9.8) klassifizieren wir die Daten in Gehen oder nur Übergang zwischen Zuständen.

Das Sturzerkennungsmodul sucht nach bestimmten Mustern im Signal. Abb.2 stellt ein typisches Muster der L2-Norm während eines Sturzereignisses dar.

Wenn die Differenz zwischen aufeinanderfolgenden Minima und Maxima größer als 2 g ist, wird die Ausgabe als Abfall entschieden. Die endgültige Entscheidung über das Ereignis eines Sturzes basiert auf der Ausgabe sowohl der Haltungserkennung als auch des Sturzentscheidungsmoduls. Wenn ein Sturz erkannt wird, sagt uns die Entscheidung des Haltungserkennungsmoduls, ob es sich um einen Fehlalarm handelt. Wenn der Zustand noch wandelt, kann die Entscheidung über das Fallereignis verworfen werden. Tabelle 1 fasst die endgültige Entscheidung zusammen.

Voraussetzungen

In diesem Projekt wird die Bluetooth-Kommunikation für Arduino-Geräte durch HC-06 erreicht, bei dem es sich um ein billiges, kleines Modul handelt. Für Windows 10-Geräte benötigen Sie kein Bluetooth-Modul, wenn Sie Surface Pro und Lumia 1520 verwenden. Wenn Sie jedoch Raspberry Pi oder MBM als Windows 10 IoT-Geräte verwenden, benötigen Sie einen Bluetooth-Dongle. Informationen zum Einrichten der Umgebung finden Sie in Generic Serial Bluetooth with Win 10 IoT-Core RPI2 von unserem MVP David Jones.

Hinweis:Es dauert 2-3 Stunden, bis die Voraussetzungen erfüllt sind, wenn Sie Windows 10 und Visual Studio 2015 noch nicht eingerichtet haben, die meiste Zeit jedoch unbeaufsichtigt ist.

Was Sie brauchen

Teile:

1. Arduino Uno und Standard-A/B-USB-Kabel

2. HC-06 Bluetooth-Modul

3. ADXL345 Beschleunigungssensormodul

4. Überbrückungsdrähte männlich-männlich und männlich-weiblich

5. Mini-Breadboard

6. Lumia 1520 oder ein anderes mit Windows Phone 10 kompatibles Gerät

7. ORICO Bluetooth-Modul

Projektanleitung

Schritt 1:Verbinden Sie das Beschleunigungssensormodul ADXL345 mit dem Arduino

Zeit :5 Minuten

Teile :Arduino Uno R3, ADXL345, Überbrückungsdrähte, Mini-Breadboard

Tools :N/A

Der ADXL345 ist ein kleiner, dünner, stromsparender 3-Achsen-MEMS-Beschleunigungsmesser mit hochauflösender (13-Bit) Messung bei bis zu +-16 g. Die digitalen Ausgangsdaten werden als 16-Bit-Zweierkomplement formatiert und sind entweder über eine SPI- (3- oder 4-Draht) oder eine digitale I2C-Schnittstelle zugänglich.

Der ADXL345 unterstützt sowohl SPI als auch I2C, wir werden hier in diesem Projekt nur über I2C sprechen. I2C ist eine serielle 2-Draht-Verbindung, daher müssen wir die Leitungen SDA (Daten) und SCL (Uhr) zur Kommunikation mit Arduino UNO verbinden. Bei Arduino UNO liegt SDA auf analogem Pin 4 und SCL auf analogem Pin 5. Stellen Sie sicher, dass sowohl VCC als auch die CS-Pins des Sensors mit 3,3 V verbunden sind. Wir verbinden CS mit 3,3 V, um dem Sensor mitzuteilen, dass wir ihn als I2C-Gerät und nicht als SPI-Gerät verwenden werden.

Schritt 2:Bluetooth-Modul verbinden

Zeit :5 Minuten

Teile :Bluetooth-Modul, Überbrückungskabel

Tools :N/A

In diesem Projekt verwenden wir HC-06 als Bluetooth-Modul - es ist viel billiger als das BlueSMiRF Silver-Modul von SparkFun. Darüber hinaus verfügt HC-05 über die „volle“ Firmware, viele AT-Befehle und kann sowohl Master- als auch Slave-Modul sein. Die HC-06-Firmware hingegen kann nur ein Slave-Gerät sein, mit sehr eingeschränkten AT-Befehlen. Die folgende Tabelle zeigt alle HC-06-Firmware-Befehle mit der Antwort:

Stecken Sie zunächst das Bluetooth-Modul in das Steckbrett, um die Verbindungen zu erleichtern. Um das Modul mit Strom zu versorgen, führen Sie einen Jumper von der 5V-Stromschiene des Arduino zum Vcc-Pin des Moduls. Und führen Sie einen männlich-männlichen Jumper vom GND-Pin des Moduls zu einem der GND-Pins des Arduino. Um die serielle Kommunikation herzustellen, verbinden Sie einen männlich-männlichen Jumper vom TX-Pin des Bluetooth-Moduls mit dem RX-Pin des Arduino (digitaler Pin 0) und einen anderen vom RX-Pin des Moduls mit dem TX-Pin des Arduino (digitaler Pin 1).

Hinweis:Sie können keine Skizzen von der Arduino-IDE auf das Arduino hochladen, wenn die TX- und RX-Pins des Bluetooth mit dem Arduino verbunden sind. Trennen Sie sie, wenn Sie eine Skizze hochladen müssen, und verbinden Sie sie erneut, sobald die Skizze erfolgreich hochgeladen wurde. In der folgenden Skizze wird gezeigt, dass HC-05 verwendet wird. Tatsächlich sind, wie oben erklärt, sowohl HC-05 als auch HC-06 in Ordnung.

Nach der Bluetooth- und Beschleunigungssensor-Verbindung wird die Realität wie folgt angezeigt:

Schritt 3:Bluetooth-Modul mit Windows 10-Gerät koppeln

Zeit :5 Minuten

Teile :Bluetooth-Modul, Windows 10-Gerät, ORICO-Bluetooth-Modul (optional)

Tools :N/A

Das Bluetooth-Modul führt das SPP-Protokoll (Serial Protocol over Bluetooth) aus. Jedes Gerät, das SPP unterstützt, kann sich also damit verbinden. Auf einem Windows 10-Gerät sieht dies wie ein virtueller COM-Port aus. Stellen Sie vor dem Anschließen sicher, dass das Modul mit Strom versorgt und zum Pairing bereit ist. Die rote LED am Modul zeigt den Status an:Blinken bedeutet „ready to pair“, dauerhaft leuchtend bedeutet „paired“.

Navigieren Sie unter Windows 10 für PC einfach zu Einstellungen->Geräte->Bluetooth, öffnen Sie Bluetooth, und dann wird das Modul „HC-06“ auf dem Bildschirm angezeigt. Tippen Sie auf , um das Gerät zu koppeln, und geben Sie den Kopplungscode des Geräts ein. Bitte denken Sie daran, dass der Standard-Pairing-Code 1234 und die Standardgeschwindigkeit der seriellen Schnittstelle 9600 Baud beträgt. Dann wird die Bluetooth-Seite wie folgt angezeigt:

Navigieren Sie für Windows 10 für Mobile zu Einstellungen->Geräte->Bluetooth und führen Sie die gleichen Schritte aus, die im obigen Abschnitt beschrieben wurden. Und die Seite des gekoppelten Geräts wird wie folgt angezeigt:

Für Windows 10 IoT Core-Geräte, zum Beispiel Raspberry Pi 2, MBM und Dragon Board 410c, ist der Pairing-Prozess ganz anders. Erstens sollten wir für Raspberry Pi 2 und MBM, die kein integriertes Bluetooth-Modul haben, einen Bluetooth-USB-Dongle kaufen und einstecken. Sehen Sie sich einfach die Hardware-Kompatibilitätsliste an und wählen Sie einen verifizierten Bluetooth-USB-Dongle aus.

In diesem Projekt wählen wir ein ORICO BTA-403-Modul.

Wenn Sie dieses Projekt auf Dragon Board 410c ausprobieren, benötigen Sie keinen Bluetooth-Dongle, da Dragon Board 410c über ein integriertes Bluetooth-Modul verfügt.

Stecken Sie den ORICO BTA-403 Bluetooth USB Dongle wie folgt in die USB Schnittstelle des Raspberry Pi 2.

Sobald der ORICO BTA-403 Bluetooth-USB-Dongle angeschlossen ist, werden Meldungen auf dem Standard-App-Bildschirm des Windows 10 IoT Core-Geräts angezeigt.

Informationen zum Bluetooth-Pairing auf einem Windows 10 IoT Core-Gerät finden Sie auf der Seite Pairing a BLE Device and GATT Attribute Table Dump Tool (Pairing a BLE Device and GATT Attribute Table Dump Tool) und befolgen Sie die Schritte „Schritt 1 – Schritt 6“, die im Abschnitt „Pairing the Sensortag“ beschrieben sind. Hier sollten wir SSH verwenden, um eine Verbindung zum Windows IoT Core herzustellen und das Befehlszeilentool ausführen, um das Gerät zu konfigurieren.

Hinweis:Denken Sie daran, dass der BR-Modus im Hauptmenü ausgewählt werden sollte. Und der Standard-Koppelungscode ist 1234.

Nach erfolgreicher Kopplung wird die Bluetooth-Seite des Geräts wie folgt angezeigt:

Schritt 4:Erstellen Sie das Azure Storage-Konto

Zeit :10 Minuten

Teile :N/A

Tools :Azure-Konto

In diesem Projekt benötigen wir Azure Storage Table, um die Daten vom Windows 10 IoT Core-Gerät zu speichern. Wir können es also wie folgt erstellen.

(1) Klicken Sie im Azure-Verwaltungsportal (https://manage.windowsazure.com) links auf das Symbol „SPEICHER“, um Ihre vorhandenen Speicherkonten (sofern vorhanden) anzuzeigen, und klicken Sie dann auf die Schaltfläche „+NEU“ in der unteren linken Ecke.

(2) Wählen Sie im Feld „NEU“ „DATENDIENSTE“ | "LAGERUNG" | "SCHNELL ERSTELLEN". Füllen Sie die Felder "URL, Standort/Affinitätsgruppe und Replikation" aus und klicken Sie dann auf die Schaltfläche "SPEICHERKONTO ERSTELLEN".

(3) Warten Sie, bis der Status des neuen Speicherkontos als "Online" angezeigt wird.

(4) Wählen Sie das neu erstellte Speicherkonto aus und klicken Sie dann unten auf der Seite auf ZUGRIFFSSCHLÜSSEL VERWALTEN. Kopieren Sie den Namen des Speicherkontos und einen der Zugriffsschlüssel.

Schritt 5:Azure Storage-Tabelle erstellen

Wir verwenden Azure Storage Explorer (ein Open-Source-Tool eines Drittanbieters, das auf codeplex verfügbar ist:https://azurestorageexplorer.codeplex.com), um die Azure Storage-Tabelle zu erstellen.

(1) Gehen Sie zu Konto hinzufügen und geben Sie den Kontonamen und den Zugriffsschlüssel ein. Sobald das Konto eingerichtet ist, können Sie auf den Speicher zugreifen, der Blob-Container, Warteschlangen und Tabellen anzeigt.

(2) Wählen Sie die Tabelle aus und klicken Sie auf die Schaltfläche „Neu“ und erstellen Sie eine neue Tabelle mit dem Namen „Accelerometer Table“ wie folgt.

Schritt 5:Code herunterladen und bereitstellen

Zeit :10 Minuten

Teile :N/A

Tools :N/A

Nachdem wir nun alles für Arduino verdrahtet haben, laden Sie das Projekt „ADXL345_HC06.ino“ von (im Codeabschnitt unten bereitgestellt) herunter und laden Sie es in die Arduino IDE auf Ihrem PC. Achten Sie darauf, die TX/RX-Jumperdrähte des HC-06-Moduls zu entfernen und dann die Skizze hochzuladen. Verbinden Sie die TX / RX-Jumperdrähte wieder mit den digitalen 0- und digitalen 1-Pins des Arduino. Schließen Sie die Stromversorgung an und die Anwendung wird auf Arduino Uno ausgeführt.

Laden Sie zweitens das Projekt „GenericBluetoothSerialUWApp“ von github herunter. Verwenden Sie Visual Studio 2015 mit Update 1, um „GenericBluetoothSerialUWApp“ zu laden. Diese App wurde mit Hilfe des Generic Serial Bluetooth von unserem MVP David Jones mit Win 10 IoT-Core RPI2 entwickelt. Wenn diese UWP-App auf dem PC ausgeführt werden soll, wählen Sie x86 oder x64 mit lokalem Gerätedebugging. Wenn diese UWP-App unter Windows 10 Mobile ausgeführt werden soll, wählen Sie ARM mit Gerätedebugging. Wenn Sie möchten, dass diese UWP-App auf einem Windows 10 IoT-Gerät, beispielsweise Raspberry Pi 2, ausgeführt wird, stellen Sie sicher, dass Sie den Punkt „Remote Debugging“ auf Ihr Gerät setzen.

Öffnen Sie als Nächstes MainPage.xaml.cs im Projektmappen-Explorer und suchen Sie nach „dataTransferTick“. Fügen Sie Ihren Speicherkontonamen und Zugriffsschlüssel hinzu, die in Abschnitt 4 gespeichert wurden.

Nachdem Sie den HC-06 mit Ihrem Windows 10-Gerät gekoppelt haben, drücken Sie in Visual Studio F5, um die App für die universelle Windows-Plattform zu starten.

Tippen Sie doppelt auf das Symbol „HC-06“. Sie finden die ID- und Name-Anzeige ganz oben in der Anwendung wie folgt.

Bald können Sie sehen, dass der Status der LED am HC-06 von blinkend zu dauerhaft wechselt. Und die Schaltfläche „Start Rev“ wird aktiviert, sobald der Kommunikationskanal des Bluetooth-Moduls hergestellt ist.

Klicken Sie auf Recv starten, um den Datenempfang zu aktivieren. Dann sehen Sie, dass die Schaltflächen Stop Recv, Process Data und Upload Data aktiviert sind. Klicken Sie einfach auf die Schaltfläche Daten verarbeiten, um den Sturzerkennungsalgorithmus auszuführen. Sie sehen die Daten auf Recvd TextBlock und den Zustand der Person, die das Gerät trägt.

Sie können immer noch feststellen, dass die Daten in den Debug-Fenstern von Visual Studio wie folgt angezeigt werden.

Klicken Sie dann auf die Schaltfläche Hochladen, um die Daten in Azure hochzuladen. Die Daten werden alle 3 Sekunden übertragen. Wenn Sie das Zeitintervall ändern möchten, können Sie den Code in „AzureButton_Click“ wie folgt ändern.

private void AzureButton_Click(object sender, RoutedEventArgs e) {

timerDataTransfer =ThreadPoolTimer.CreatePeriodicTimer(dataTransferTick, TimeSpan.FromMilliseconds(Convert.ToInt32(3000 )));

}

Bald können Sie die Daten in der AccelerometerTable wie folgt sehen

Drittens laden Sie den „FallDetectionClient“ von github herunter. Verwenden Sie Visual Studio 2015 mit Update 1, um dieses Projekt zu laden. Diese Anwendung wurde mit Windows Universal Temple erstellt, sodass Sie sie auf Windows 10 PC/Mobile sowie auf Windows 10 IoT Core-Geräten ausführen können. Öffnen Sie als Nächstes StorageSensor.cs im Solution Explorer und suchen Sie nach „_accountName“ und „_key“. Fügen Sie Ihren Speicherkontonamen und Zugriffsschlüssel hinzu, die in Abschnitt 4 gespeichert wurden.

Jetzt sollten Sie in Visual Studio F5 drücken können:Die App wird bereitgestellt und gestartet, und Sie sollten dies in der Geräteausgabe sehen.

Code

• Arduino-Skizze (ADXL345_HC06.ino)

Arduino-Skizze (ADXL345_HC06.ino)Arduino

#include  #include  #define Register_ID 0#define Register_2D 0x2D#define Register_X0 0x32#define Register_X1 0x33#define Register_Y0 0x34#define Register_Y1 0x35# define Register_Z0 0x36#define Register_Z1 0x37int ADXAddress =0xA7>> 1; int read =0;int val =0;int X0, X1, X_out;int Y0, Y1, Y_out;int Z1, Z0, Z_out;double Xg, Yg, Zg;void setup () { Serial.begin (9600); Wire.begin(); Verzögerung (100); Wire.beginTransmission(ADXAddress); Wire.write (Register_2D); Wire.write(8); Wire.endTransmission();}void loop() { double tempx =0; Zeichenstrx[5]; Doppeltempy =0; Zeichenkette[5]; Doppeltempz =0; Zeichenstrz[5]; String-Gy; Wire.beginTransmission(ADXAddress); Wire.write (Register_X0); Wire.write (Register_X1); Wire.endTransmission(); Wire.requestFrom(ADXAddress, 2); if (Draht.verfügbar() <=2); { X0 =Wire.read(); X1 =Wire.read(); X1 =X1 <<8; X_out =X0 + X1; } Wire.beginTransmission(ADXAddress); Wire.write (Register_Y0); Wire.write (Register_Y1); Wire.endTransmission(); Wire.requestFrom(ADXAddress, 2); if (Draht.verfügbar() <=2); { Y0 =Wire.read(); Y1 =Wire.read(); Y1 =Y1 <<8; Y_out =Y0 + Y1; } Wire.beginTransmission(ADXAddress); Wire.write (Register_Z0); Wire.write (Register_Z1); Wire.endTransmission(); Wire.requestFrom(ADXAddress, 2); if (Draht.verfügbar() <=2); { Z0 =Wire.read(); Z1 =Draht.lesen(); Z1 =Z1 <<8; Z_out =Z0 + Z1; } Xg =X_out / 256,00; Yg =Y_out / 256,00; Zg =Z_out / 256,00; if(Xg>0) {gy =String("")+ "x=+"+Xg; } else { gy =String("")+ "x="+Xg; } if(Yg>0) {gy +=String("")+ "y=+"+Yg; } else { gy +=String("")+ "y="+Yg; } if(Zg>0) { gy +=String("")+ "z=+"+Zg+","; } else { gy +=String("")+ "z="+Zg+","; } Serial.print(gy);}

Serielle Bluetooth-App

FallDetectionClient

Schaltpläne