MrRobot: Ubuntu-Mobile-gesteuerter Rapiro-Roboter mit Sprache, Touch & Schüttel-Interaktion

MrRobot ist eine Ubuntu-Mobile-Anwendung, die den Rapiro-Roboter durch intuitive Sprach-, Touch- und Bewegungskontrolle zum Leben erweckt. In nur 28 Stunden während des Ubuntu Shenzhen Hackathons entwickelt, zeigt das Projekt, wie Mobilgeräte nahtlos mit Robotik über Open-Source-Hardware und -Software interagieren können.

Der gesamte Quellcode, Arduino-Firmware und 3D-druckbare Teile sind frei verfügbar, sodass Hobbyisten und Profis gleichermaßen ihren eigenen Rapiro zusammenbauen und das System erweitern können.

Was Sie lernen

1. Bereitstellung einer Qt-basierten Ubuntu-Mobile-App vom SDK auf ein Gerät.
2. Integration von wit.ai's Sprach- und Texterkennungs-API für eine freihändige Befehlsschnittstelle.
3. Einrichtung eines Raspberry-Pi-Servers, der WebSocket-Nachrichten von der Mobile-App empfängt.
4. Design einer benutzerfreundlichen UI mit Touch-, Schüttel- und Sprachauslösern.

Stückliste (BOM)

1. Ubuntu-Mobiltelefon oder Tablet.
2. Raspberry Pi mit WLAN-Dongle.
3. Rapiro-Roboter-Bausatz.
4. Optionale Musikbox für Audio-Wiedergabe.

Benötigte Software

1. Ubuntu Qt SDK (für App-Entwicklung).
2. Raspbian OS auf dem Raspberry Pi.
3. Arduino IDE (falls Sie den Roboter von Grund auf bauen möchten).
4. wit.ai API-Schlüssel für Sprachverarbeitung.

Projektüberblick

Die App bietet drei interaktive Modalitäten:

• Touch – Direktes Antippen der On-Screen-Steuerelemente zum Steuern des Roboters.
• Schütteln – Der Beschleunigungssensor des Geräts erkennt Bewegungsgesten, um Roboteraktionen auszulösen.
• Sprache – Ein dedizierter Button startet die Audioaufnahme; nach Loslassen wird die Sprache an wit.ai zur natürlichsprachlichen Interpretation gesendet und via WebSocket an den Roboter weitergeleitet.

Schritt 1: Mobile App bauen

Den detaillierten Anweisungen auf der GitHub-Projektseite folgen, um Ubuntu Qt SDK zu installieren, das Projekt zu konfigurieren und die Anwendung auf Ihrem Ubuntu-Mobile-Gerät bereitzustellen.

Schritt 2: WebSocket-Server auf Raspberry Pi bereitstellen

Pi mit lokalem WLAN über Dongle verbinden, dann Server-Repository klonen. Server starten und für automatischen Start beim Boot konfigurieren, indem der Befehl zu /etc/rc.local hinzugefügt wird.

Schritt 3: Hardware zusammenbauen

Rapiro-Kopf vorsichtig zerlegen, Raspberry Pi auf die vorgesehene Platte montieren, Audiokabel und WLAN-Dongle anschließen. Der Pi dient nun als Brücke zwischen Mobile-App und Roboter-Arduino-Board.

Code erhalten

Alle Code- und 3D-Dateien sind auf GitHub verfügbar: https://github.com/eminors/MrRobot.

Viel Spaß beim Bauen und Anpassen Ihres eigenen sprachgesteuerten Roboter-Erlebnisses!