Intelligenter Gesten-zu-Text-Handschuh für Gebärdensprache

Benötigte Komponenten

Motivation & Soziale Wirkung

Das Projekt zielt darauf ab, hör- und sprachbehinderten Kindern die Kommunikation zu erleichtern. Der Handschuh erkennt Handgesten (American Sign Language – ASL) und wandelt sie in Text/Sprache um. So wird die Kommunikationsbarriere zur hörenden Welt verringert.

Ziele:

• Lehr- & Kommunikationstool für körperlich beeinträchtigte Kinder
• Empathie & Inklusion bei Schülern fördern (SOLE-Ansatz: Self Organised Learning Environment)
• Kostengünstig, kompakt, batteriebetrieben

Funktionsweise

Sender-Seite (Handschuh)

• 5 Flex-Sensoren (je Finger einer): Widerstand ändert sich mit Beugewinkel. Als Spannungsteiler an 5 Analog-Eingängen (A0–A4).
• ADXL335 Beschleunigungssensor: Erfasst Handgelenkbewegungen (wichtig für ASL-Buchstaben mit Rotation).
• Arduino Micro: Liest 5 Analogwerte + 3 Achsen Beschleunigung, klassifiziert Geste → ASCII-Code.
• Bluetooth (BlueSMiRF/HC-05): Sendet erkannten Buchstaben an Empfänger.

Empfänger-Seite

• Laptop / Smartphone / Raspberry Pi mit Bluetooth.
• Zeigt Text an, optional Text-to-Speech für Sprachausgabe.

Signalverarbeitung

1. Rohdaten (5 Flex + 3 Accel) einlesen.
2. Mapping auf Geste/Buchstabeth (Schwellwert-basiert oder ML/KNN).
3. Per Bluetooth senden.

Prototyp & Kosten

Prototyp-Kosten ca. 6000 ₹ (~70 €). Bei Serienfertigung >50 % Kostensenkung erwartet. 3D-Modell für Handschuh-Halterung im Projekt (smart_hand_glove_3d_model_gt3SG3iqaE.obj).

Zukunftsaussichten

• Adaptives Lernen für verschiedene Handgrößen
• Android-App statt Laptop-Empfänger
• Integration auf Single-Chip (ASIC) bei Massenfertigung
• Erweiterung für Sehbehinderte (Ultraschall-Sensoren)

Referenzen

• SparkFun Flex Sensor Hookup Guide
• KSCST Student Project Reports
• Cornell ECE 4760 Final Projects
• NIDCD American Sign Language
• Arduino.cc & DeafLibrary.org