Kopfhörer verfolgt Gesichtsausdrücke, sogar mit einer Gesichtsmaske

Forscher haben einen Kopfhörer erfunden, der durch Beobachtung der Wangenkontur kontinuierlich den vollständigen Gesichtsausdruck verfolgen kann – und Mimik dann in Emojis oder stille Sprachbefehle übersetzen kann. Mit dem am Ohr getragenen Gerät (genannt C-Face) konnten Benutzer gegenüber Online-Mitarbeitern Emotionen ausdrücken, ohne Kameras vor ihr Gesicht halten zu müssen – ein besonders nützliches Kommunikationsmittel, da ein Großteil der Welt mit Fernarbeit oder -lernen beschäftigt ist.

Das Gerät ist einfacher, weniger aufdringlich und leistungsfähiger als bestehende am Ohr getragene tragbare Technologien zur Verfolgung von Gesichtsausdrücken. In früheren tragbaren Technologien, die darauf abzielten, Gesichtsausdrücke zu erkennen, mussten die meisten Lösungen Sensoren am Gesicht anbringen; Selbst mit so vielen Instrumenten konnten sie nur eine begrenzte Anzahl diskreter Gesichtsausdrücke erkennen.

Mit C-Face könnten Avatare in Virtual-Reality-Umgebungen ausdrücken, wie sich ihre Benutzer tatsächlich fühlen, und Lehrer könnten wertvolle Informationen über das Engagement der Schüler während des Online-Unterrichts erhalten. Es könnte auch verwendet werden, um ein Computersystem, wie z. B. einen Musikplayer, nur unter Verwendung von Gesichtshinweisen zu steuern. Da es durch die Erkennung von Muskelbewegungen funktioniert, kann C-Face Gesichtsausdrücke erfassen, selbst wenn Benutzer Masken tragen.

Das Gerät besteht aus zwei Miniatur-RGB-Kameras – Digitalkameras, die rote, grüne und blaue Lichtbänder erfassen –, die mit Kopf- oder Ohrhörern unter jedem Ohr positioniert sind. Die Kameras zeichnen Veränderungen der Gesichtskonturen auf, die durch die Bewegung der Gesichtsmuskeln entstehen. Beim Ausführen eines Gesichtsausdrucks dehnen und kontrahieren die Gesichtsmuskeln, drücken und ziehen die Haut und beeinflussen die Spannung der nahe gelegenen Gesichtsmuskeln. Dieser Effekt bewirkt, dass sich die Umrisse der Wangen (Konturen) aus Sicht des Ohrs verändern.

Sobald die Bilder aufgenommen wurden, werden sie mithilfe von Computer Vision und einem Deep-Learning-Modell rekonstruiert. Da die Rohdaten in 2D vorliegen, hilft ein Convolutional Neural Network – eine Art künstliches Intelligenzmodell, das Bilder gut klassifizieren, erkennen und abrufen kann – dabei, die Konturen in Ausdrücke zu rekonstruieren. Das Modell übersetzt die Bilder der Wangen in 42 Gesichtsmerkmalspunkte oder Orientierungspunkte, die die Formen und Positionen von Mund, Augen und Augenbrauen darstellen, da diese Merkmale am stärksten von Veränderungen im Ausdruck betroffen sind.

Aufgrund von Einschränkungen durch die COVID-19-Pandemie konnten die Forscher das Gerät nur an neun Teilnehmern testen. Sie verglichen seine Leistung mit einer hochmodernen Computer-Vision-Bibliothek, die Gesichtsmerkmale aus dem Bild eines vollständigen Gesichts extrahiert, das von Frontalkameras aufgenommen wurde. Der durchschnittliche Fehler der rekonstruierten Orientierungspunkte betrug weniger als 0,8 mm.

Diese rekonstruierten Gesichtsausdrücke, die durch 42 Merkmalspunkte dargestellt werden, können auch in acht Emojis übersetzt werden, darunter „natürlich“ und „wütend“, sowie acht stille Sprachbefehle zur Steuerung eines Musikgeräts wie „Spiel“, „nächster Song“ und „ lauter.“

Die Möglichkeit, Geräte mithilfe von Gesichtsausdrücken zu steuern, könnte beispielsweise für die Arbeit in gemeinsam genutzten Arbeitsbereichen nützlich sein, in denen Menschen andere möglicherweise nicht durch lautes Sprechen stören möchten. Das Übersetzen von Ausdrücken in Emojis könnte denjenigen in Virtual-Reality-Kollaborationen helfen, nahtloser zu kommunizieren.

Eine Einschränkung von C-Face ist die begrenzte Akkukapazität der Kopfhörer. Als nächsten Schritt plant das Team, an einer Sensortechnologie zu arbeiten, die weniger Strom verbraucht.