Aya: Preisgekrönter interaktiver Roboter-Assistent mit AWS

Aya ist ein preisgekrönter interaktiver Roboter, der AWS Rekognition nutzt, um Gesichter zu erkennen und Objekte zu identifizieren, und natürlichsprachliche Antworten über Amazon Polly liefert.

Geschichte

Inspiration

Amazons Alexa und Google Home weckten unsere Vision eines wirklich menschenähnlichen persönlichen Assistenten. Aya ist unser Proof-of-Concept-Roboter, der menschliches Erscheinungsbild mit fortschrittlicher KI verbindet.

Funktionsumfang

Aya speichert ein Benutzerfoto zur Erkennung und kann das Objekt vor ihr identifizieren, das Ergebnis per Sprachausgabe mitteilen.

Entwicklung

Der Bau erforderte ein komplexes eingebettetes System: Servosteuerung lief auf separaten Threads vom Audio-Codec, um gleichzeitige Sprachausgabe und Kieferbewegung zu ermöglichen. Das Chassis – ein Open-Source-InMoov-Design – wurde in 26 Stunden während des Hack the North 2017 3D-gedruckt. Das System nutzt AWS Rekognition für Gesichtsvergleich, Amazon Polly für Sprachsynthese und einen parallelen Thread für Echtzeit-Servoaktierung.

Herausforderungen

Hardware-Probleme reichten von geschmolzenen Kabeln und verbrannten Breadboards bis zu überhitzenden Servos und Toleranzproblemen. Die Synchronisation von Servosteuerung und Sprache erforderte sorgfältiges Multithreading. Softwareseitig war die Auswahl des relevantesten Labels aus Rekognitions Confidence-Array knifflig; k-Means-Clustering wurde untersucht, aber Zeitmangel verhinderte die vollständige Umsetzung. All dies in einem 36-Stunden-Hackathon mit minimalem Schlaf zu bewältigen, forderte Agilität und Fokus.

Errungenschaften

Wir integrierten das Servosystem erfolgreich in den Software-Stack und pflegten exzellente Teamarbeit während des Events, was zu einem polierten Endprodukt führte.

Ausblick für Aya

Zukünftige Arbeit umfasst die Anwendung von TensorFlow zur Clusterung von Rekognition-Ausgaben und pyAudioAnalysis zur präziseren Synchronisation von Audio-Wellenformen mit Servobewegung.

Weitere Informationen…

Aya