Ohrhörer erkennt Gesichtsausdrücke auch mit Maske

Forschende haben einen Ohrhörer erfunden, der kontinuierlich vollständige Gesichtsausdrücke durch Beobachtung der Wangenkontur verfolgen und diese dann in Emojis oder stumme Sprachbefehle übersetzen kann. Mit dem ohrgetragenen Gerät (C-Face genannt) könnten Nutzer Emotionen gegenüber Online-Kollaborateuren ausdrücken, ohne Kameras vor ihr Gesicht halten zu müssen – ein besonders nützliches Kommunikationstool, da ein Großteil der Welt remote arbeitet oder lernt.

Das Gerät ist simpler, weniger aufdringlich und leistungsfähiger als bestehende ohrgetragene Wearable-Technologien zur Verfolgung von Gesichtsausdrücken. Bei früheren Wearable-Technologien zur Erkennung von Gesichtsausdrücken mussten die meisten Lösungen Sensoren im Gesicht anbringen; selbst mit so viel Instrumentierung konnten sie nur eine begrenzte Menge diskreter Gesichtsausdrücke erkennen.

Mit C-Face könnten Avatare in Virtual-Reality-Umgebungen ausdrücken, wie sich ihre Nutzer tatsächlich fühlen, und Dozenten wertvolle Informationen über das Engagement der Schüler während Online-Unterrichts erhalten. Es könnte auch verwendet werden, um ein Computersystem, wie einen Musikplayer, nur durch Gesichtsbewegungen zu steuern. Da es durch Erkennung von Muskelbewegungen funktioniert, kann C-Face Gesichtsausdrücke erfassen, selbst wenn Nutzer Masken tragen.

Das Gerät besteht aus zwei miniaturisierten RGB-Kameras – Digitalkameras, die rote, grüne und blaue Lichtbänder erfassen – positioniert unter jedem Ohr mit Kopfhörern oder Ohrhörern. Die Kameras zeichnen Veränderungen in den Gesichtskonturen auf, die entstehen, wenn Gesichtsmuskeln sich bewegen. Bei einer Gesichtsausdrucksbewegung dehnen und kontrahieren sich Gesichtsmuskeln, schieben und ziehen die Haut und beeinflussen die Spannung benachbarter Gesichtsmuskeln. Dieser Effekt bewirkt, dass die Wangenkontur aus der Perspektive des Ohres verändert wird.

Sobald die Bilder erfasst sind, werden sie mithilfe von Computer Vision und einem Deep-Learning-Modell rekonstruiert. Da die Rohdaten in 2D vorliegen, hilft ein Convolutional Neural Network – eine Art KI-Modell, das gut darin ist, Bilder zu klassifizieren, zu detektieren und abzurufen – die Konturen in Ausdrücke zu rekonstruieren. Das Modell übersetzt die Bilder der Wangen in 42 Gesichtsmerkmale oder Landmarken, die die Formen und Positionen von Mund, Augen und Augenbrauen darstellen, da diese Merkmale am stärksten von Ausdrucksänderungen betroffen sind.

Wegen der durch die COVID-19-Pandemie verursachten Einschränkungen konnten die Forschenden das Gerät nur an neun Teilnehmern testen. Sie verglichen seine Leistung mit einer state-of-the-art Computer-Vision-Bibliothek, die Gesichtslandmarken aus dem Bild eines vollständigen Gesichts extrahiert, das von Frontalkameras aufgenommen wurde. Der durchschnittliche Fehler der rekonstruierten Landmarken lag unter 0,8 mm.

Diese durch 42 Merkmale dargestellten rekonstruierten Gesichtsausdrücke können auch in acht Emojis übersetzt werden, einschließlich „natürlich“ und „wütend“, sowie in acht stumme Sprachbefehle, die entwickelt wurden, um ein Musikgerät zu steuern, wie „play“, „nächster Song“ und „lauter“.

Die Fähigkeit, Geräte mittels Gesichtsausdrücken zu steuern, könnte in gemeinsamen Arbeitsbereichen nützlich sein, wo Menschen andere nicht durch lautes Sprechen stören möchten. Die Übersetzung von Ausdrücken in Emojis könnte denen in Virtual-Reality-Kollaborationen helfen, nahtloser zu kommunizieren.

Eine Einschränkung von C-Face ist die begrenzte Akkukapazität der Ohrhörer. Als nächsten Schritt plant das Team, an einer Sensortechnologie zu arbeiten, die weniger Energie verbraucht.