Aya

Aya ist ein interaktiver Roboter, der Ihr Bild speichert, um Sie zu erkennen und mit Ihnen zu interagieren. Gewinner von Hack the North 2017 &Beste Nutzung von AWS.

Geschichte

Inspiration

Als wir sahen, was Amazon mit Alexa und was Google mit Home macht, waren wir uns sicher, dass das Zeitalter der computergestützten persönlichen Assistenten angebrochen ist. Wir haben uns jedoch gefragt, wie wir sie menschlicher machen können – Aya ist ein Proof of Concept für robotergesteuerte persönliche Assistenten, die menschlich aussehen und sich auch so anfühlen.

Was es macht

Aya ist ein interaktiver Roboter, der dein Bild speichert, um dich zu erkennen und dir mitzuteilen, welches Objekt du in der Hand hältst.

Wie wir es gebaut haben

Aya ist ein Albtraum für eingebettete Systeme! Eine Servosystemschnittstelle mit Audiocodecs, die auf verschiedenen Threads für Multiprocessing ausgeführt werden.

Wir haben die physischen Teile (mit freundlicher Genehmigung von InMoov®, einem Open-Source-Roboter) in einem Prozess von über 26 Stunden in 3D gedruckt. Es wurde bei Hack the North 2017 gebaut und montiert.

Aya verwendet AWS Rekognition, um Gesichtsgeometrien zu vergleichen, um Personen zu erkennen, die sie bereits kennengelernt hat, und um neue Menschen kennenzulernen. Wir wählen das Objekt mit der höchsten Vertrauenswürdigkeit, das nicht menschlich ist, und führen es durch Amazon Polly, das eine .ogg-Datei generiert. Während all dies geschieht, läuft parallel ein weiterer Thread mit benutzerdefinierten Servosteuerungen, um den Kiefer mit Sprache zu bewegen.

Herausforderungen, denen wir begegnet sind

Hardware-Hacks sind hart! Wir sind auf tausend Probleme gestoßen, nicht beschränkt auf:schmelzende Drähte, brennende Steckbretter, überhitzte Servos und natürlich Teiletoleranzen!

Ein weiterer schwieriger Aspekt des Projekts war die Servosteuerung – dies erforderte das Starten eines weiteren Threads und das Ausführen der Servosteuerungen parallel zur Sprache.

Da Amazon Rekognition nur eine Reihe von Labels und deren Konfidenzniveaus ausgibt, ist es softwaretechnisch oft schwierig, das relevanteste Label für ein Bild auszuwählen. Wir haben versucht, dies mit k . zu lösen -bedeutet Clustering, um Gruppen ähnlicher Wörter zu generieren und dann Sätze für jede Gruppe zu generieren. Da die Hardware jedoch so viel Zeit in Anspruch nahm, hatten wir leider nicht die Zeit, dies vollständig umzusetzen.

Das alles mit einem Budget von 36 Stunden (ohne Schlaf!) zu erreichen, war die größte Herausforderung von allen, aber es zwang uns, einen Zeitplan einzuhalten und unser Projekt agil zu gestalten.

Leistungen, auf die wir stolz sind

Wir sind stolz darauf, Servosystem und Software ineinandergreifen zu lassen. Vor allem sind wir stolz darauf, als Team unglaublich gut zusammengearbeitet zu haben, mit wenig Reibung und einem großartigen Output.

Was kommt als nächstes für Aya

Wir möchten daran arbeiten, TensorFlow zum Clustern der Ausgabe von AWS Rekognition und pyAudioAnalysis zu verwenden, um die Wellenformanalysetechnik auf die generierte Audiodatei anzuwenden, um den Ton besser mit der Servobetätigung zu synchronisieren.

Weitere Informationen lesen…

Aya