SONBI ROBOTER MENSCHLICHE ERKENNUNG MIT KINECT UND HIMBEE PI

A. ZIEL

Um das Softwaresystem des Raspberry Pi in Sonbi zu bauen und
das Microsoft Kinect in Raspberry Pi zu integrieren und es
interaktiv mit dem Sonbi-Roboter zu machen, so dass die Leute vor dem Kinect stehen
, der Sonbi-Roboter winkt den Leuten zu.

B. HARDWARE-SYSTEM

Sonbi hat die folgenden grundlegenden Hardwarekomponenten in seinem
Brustgehäuse montiert:
• Raspberry Pi mit 8 GB Flash
• Pololu Maestro 24
• Microsoft Kinect
• ATX 500 Watt PS
• Sonstige Teile (Protoboards, Kabel, mechanisch)

Himbeer-Pi:

• 700 MHz ARM1176JZF-S Core-Prozessor
• 512 MB SDRAM
• Stromversorgung über microUSB (5V)
• Ethernet, HDMI und 2 USB-Ports für Peripheriegeräte
• Raspbian OS
• Weit verbreitet, viel Dokumentation!

Pololu-Maestro 24

• 24 Kanäle
• Pulsfrequenz bis zu 333 Hz
• Skriptgröße bis zu 8 KB
• Bis zu 1,5 Ampere pro Kanal
• 2 Energieoptionen USB/Power-Header
• Skripterstellung oder native API-Unterstützung

Raspberry Pi- und Pololu-Schnittstelle

• Einfache Verkabelung
– Power, Gnd, Tx-Rx und Rx-Tx
• Serieller TTL-Port
– Standardmäßig verwendet Pi den seriellen Port für die Konsoleneingabe/-ausgabe
– Bearbeiten Sie /etc/inittab und /boot/cmdline.txt, um den Standard
und den freien seriellen Port zur Verwendung zu ändern
• Tolles Tutorial unter:
http://shahmirj.com/blog /raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Eine RGB-Kamera, die Dreikanaldaten in einer Auflösung von 1280×960
speichert. Dies ermöglicht die Aufnahme eines Farbbildes.
• Ein Infrarot (IR)-Sender und ein IR-Tiefensensor. Der Sender
emittiert Infrarotlichtstrahlen und der Tiefensensor liest die zum Sensor zurückreflektierten Infrarotstrahlen
. Die reflektierten Strahlen werden
in Tiefeninformationen umgewandelt, die den Abstand
zwischen einem Objekt und dem Sensor messen. Dies ermöglicht die Aufnahme eines
Tiefenbildes.
• Ein Multi-Array-Mikrofon, das vier Mikrofone enthält,
für die Tonaufnahme. Da es vier Mikrofone gibt, ist es
möglich, Audio aufzunehmen sowie die Position der
Schallquelle und die Richtung der Audiowelle zu ermitteln.
• Ein 3-Achsen-Beschleunigungsmesser konfiguriert für ein 2G-Bereich, wobei G
die Erdbeschleunigung ist. Mit dem
Beschleunigungsmesser kann die aktuelle Ausrichtung des
Kinect

. bestimmt werden

Vertikaler Neigungswinkel:27 Grad
• Bildrate:30 fps

C.INTEGRIEREN DER KINECT MIT HIMBEE PI

Die folgenden Schritte sind zur Integration von Kinect mit
Raspberry Pi

erforderlich

Verbinden von Microsoft Kinect und seinen Sensortreibern auf dem Raspberry Pi:

Dieser Prozess ist einer der mühsamen Teile des Projekts, da man sich bewusst sein muss, dass Kinect unter Windows funktioniert und damit es auf einem unixbasierten Betriebssystem funktioniert, müssen wir alle damit verbundenen Bibliotheken und Treiber manuell installieren. hart und nimmt viele Arbeitsstunden in Anspruch, um die Probleme zu lösen. Die durchgeführten Schritte, Bibliotheken und eine Liste der installierten Pakete finden Sie im Abschnitt Softwaresysteme erstellen.

Nutzung der vollen Möglichkeiten von Kinect:

Um alle Funktionen von Kinect wie Tiefensensoren, IR-Sensor, Mikrofon und Motoren zum Neigen der Kamera nutzen zu können, benötigen wir Bibliotheken, die dies können. Auf dem RPI sind standardmäßig OpenCV und Open GL/GLES installiert, aber diese unterstützen (sehr bald) noch keine Tiefensensoren und -motoren, daher müssen wir das OpenNI- oder Libfreenect-Paket installieren. Beides reicht aus, aber ich habe mich entschieden, beide zu installieren. Zum Testen und Verstehen können Sie Beispielprogramme ausführen, die in den Ordnern OpenNI und Libfreenect verfügbar sind. Ich habe die Binärdateien bereits erfüllt und erstellt. Sie können es einfach ausführen, indem Sie in den Ordner "bin" gehen und die Samples mit dem
./"Sample-Programm" ausführen.

D. BAUSOFTWARESYSTEM

Libfreenect:
Libfreenect ist ein Userspace-Treiber für Microsoft Kinect. Es läuft auf
Linux unterstützt
• RGB- und Tiefenbilder
• Motoren
• Beschleunigungsmesser
• LED
Audio ist in Arbeit
Um libfreenect zu erstellen, benötigen Sie
• libusb>=1.0.13
• CMake>=2.6
• python ==2.* (nur wenn BUILD_AUDIO oder BUILD_PYTHON)
Für die Beispiele benötigen Sie
• OpenGL (in OSX enthalten)
• glut (in OSX enthalten)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # wenn Sie make nicht haben oder möchte keine Farbausgabe #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $USER video sudo adduser $USER plugdev # notwendig? # nur wenn Sie
die Beispiele erstellen:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Wrapper:

Schnittstellen zu verschiedenen Sprachen werden in Wrappern bereitgestellt/. Wrapper
ist nicht garantiert API-stabil oder aktuell.
• C (unter Verwendung einer synchronen API)
• C++
• C#
• Python
• Rubin
• Actionscript
• Java (JNA)

OpenNI:

Anforderungen:
1) GCC 4.x
Von:http://gcc.gnu.org/releases.html
Oder über apt:sudo apt-get install g++
2) Python 2.6+/3.x
Von:http://www.python.org/download/
Oder über apt:sudo apt-get install python
3) LibUSB 1.0.x
Von:http://sourceforge.net/projects/libusb/files/libusb-1.0/
Oder über apt:sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
Von:http://freeglut.sourceforge.net/index.php#download
Oder über apt:sudo apt-get install freeglut3-dev
5) JDK 6.0
Von:
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Oder über apt:sudo add-apt-repository “ deb

Optionale Anforderungen (um die Dokumentation zu erstellen):
1) Doxygen
Von:
http://www.stack.nl/~dimitri/doxygen/download.html#latesrc
Oder über apt:sudo apt-get install doxygen
2) GraphViz
Von:http://www.graphviz.org/Download_linux_ubuntu.php
Oder über apt:sudo apt-get install graphviz

Aufbau von OpenNI:

1) Gehen Sie in das Verzeichnis:„Platform/Linux/CreateRedist“.
Führen Sie das Skript aus:„./RedistMaker“.
Dadurch wird alles kompiliert und ein Redist-Paket im
Verzeichnis „Platform/Linux/Redist“. Es wird auch eine Distribution im
Verzeichnis „Platform/Linux/CreateRedist/Final“ erstellt.
2) Gehen Sie in das Verzeichnis:„Platform/Linux/Redist“.
Führen Sie das Skript aus:„sudo ./install.sh“ (muss als Root ausgeführt werden)
Das Installationsskript kopiert Schlüsseldateien an den folgenden Ort:
Libs in:/usr/lib
Bins in:/usr /bin
Enthält in:/usr/include/ni
Konfigurationsdateien in:/var/lib/ni
Wenn Sie die Mono-Wrapper erstellen möchten, führen Sie auch „make
mono_wrapper“ und „mono_samples erstellen“

E. PERSONENERKENNUNG UND SONBIS MASSNAHMEN:

Der Raspberry PI führt ein Programm bootscript_sonbi.sh aus
Das „bootscript_sonbi.sh“ führt den Befehl „python faceetect.py“ aus
–cascade=face.xml 0“
Sie benötigen um diese trainierte Gesichtsdatei herunterzuladen:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
facetect.py führt den Gesichtserkennungsalgorithmus aus und löst die
„Sonbi“-Programmdatei. Die Sonbi-Binärdatei ist dafür verantwortlich, die
Servomotoren in Betrieb zu nehmen. Das Flussdiagramm des Prozesses ist unten.

Quelle:SONBI ROBOT HUMAN DETECTION MIT KINECT UND HIMBEE PI