Vom Basic zum Smart: HeadFi verwandelt gewöhnliche Kopfhörer in multifunktionale Gesundheitsmonitore

Der Unterschied zwischen smarten und „dummen“ Kopfhörern liegt darin, dass smarte Modelle über die reine Musikwiedergabe hinausgehen – sie können physiologische Monitore und virtuelle Touchscreens sein. Xiaoran Fan, damals Doktorand an der Rutgers University, leitete ein Forscherteam, das eine Methode namens HeadFi entwickelte, die gewöhnliche Kopfhörer als Sensoren nutzt.

Wie das Projekt begann

Tech Briefs: Wie startete dieses Projekt?

Xiaoran Fan: Ich bin Audiophile und habe mich schon immer für Kopfhörer interessiert. Zwar werden einfache, klassische Kopfhörer für Anwendungen wie Studiomischer und Heim-Audio genutzt, doch in jüngerer Zeit sehen wir smarte Kopfhörer von Apple, Samsung und Microsoft.

Wir wussten schon immer, dass die Treiber in Kopfhörern prinzipiell ähnlich wie Mikrofone funktionieren – sie sind also reziprok. Da Mikrofone Signale erfassen können, können dies Kopfhörer standardmäßig auch. Obwohl Kopfhörer also das Potenzial hatten, „smart“ zu sein, hatte niemand diese Intelligenz bisher genutzt. Das war der initiale Anreiz, in diese Richtung zu forschen. Zudem hat mein Betreuer Rich Howard sein Leben der Messung kleiner Signale gewidmet. Als ich ihm diese Idee vortrug, wies er auf Methoden hin, die ich ausprobieren könnte. Ich stürzte mich in die Arbeit und nach viel Erkundung und Experimentieren konnten wir eine Publikation veröffentlichen.

Wie Kopfhörer als Mikrofone funktionieren

Tech Briefs: Wie werden Kopfhörer als Mikrofone genutzt?

Fan: Der Treiber selbst ist komplex – er hat Widerstand, Kapazität und Induktivität, also ein komplexes Impedanzsystem. Die genaue Technologie hängt vom Kopfhörertyp ab, aber im Grunde sind alle nur Wandler, die elektrische in mechanische Signale umsetzen. Diese Wandler können prinzipiell auch umgekehrt betrieben werden: Mechanische Signale lassen die Membran vibrieren, was die Schwingspule hin- und herbewegt und elektrische Signale erzeugt – sie sind also reziprok.

Das Problem: Kopfhörer sind für Musikwiedergabe optimiert – das Musiksignal ist dominant. Zwar kann man gleichzeitig ein Erregungssignal von außen aufnehmen, doch dieses kann 1000-mal kleiner sein als das Musiksignal. Die Herausforderung war also, eine Sensieraufgabe zu erledigen, während der Kopfhörer noch Musik spielt. Wenn der Nutzer die Musik stoppen müsste, um die Sensierfunktion zu nutzen, wäre das nicht praktikabel.

Wir nutzten einen interessanten Trick: Kopfhörer kommen paarweise – mit linkem und rechtem Treiber. Wir machten uns zunutze, dass die linken und rechten Treiber so gefertigt sind, dass sie aufeinander abgestimmt sind. Die Tonsignale in beiden sind also ausbalanciert. Wir können das Eingangssignal des linken Treibers nutzen, um das des rechten zu kompensieren, da wir das exakte Musiksignal kennen, das auf beiden Kanälen gespielt wird. Gibt es einen Unterschied zwischen den Ausgängen, liefert die Subtraktion ein Differenzsignal.

Spreche ich, erfassen beide Kopfhörer meine Stimme, aber der Schallweg von meinem Mund zum linken und zum rechten Treiber ist unterschiedlich – Knochen und Gewebe sind links und rechts anders strukturiert. Durch die Subtraktion bleibt ein Differenzsignal, das die Musik ausblendet, aber das Sensiersignal erfasst. Diese kleine Information können wir nutzen.

Anwendungen: Gestenerkennung, Herzfrequenz, Nutzeridentifikation

Tech Briefs: Können Sie erklären, wie man Kopfhörer zur Identifikation des Nutzers, zur Herzfrequenzüberwachung und Gestenerkennung einsetzt?

Fan: In unserer Arbeit stellten wir vier Anwendungen vor: Gestenerkennung, Herzfrequenzüberwachung, Nutzeridentifikation und – die einfachste – Sprachkommunikation.

Nehmen wir die Herzfrequenzüberwachung: Wenn Sie sich beeilen, pumpt das Herz – es erzeugt mechanische Vibrationen im ganzen Körper, die die Kopfhörer erfassen können. Wie bei der Sprache sind die Kanäle vom Herzen zum linken und rechten Kopfhörer unterschiedlich. Durch unseren Algorithmus können wir aus dem Differenzsignal die Periodizität der Herzfrequenz bestimmen.

Bei der Gestenerkennung: Tippen Sie auf die rechte Hörmuschel, empfängt der rechte Treiber das Tastsignal, der linke ein viel schwächeres. Nach der Subtraktion kennen Sie die Phase. Zeigt die aufsteigende Flanke in die eine Richtung, ist es der rechte, in die andere der linke Kopfhörer. Komplexere Gesten wie Kratzen erzeugen kompliziertere Signale – hier können Deep-Learning-Methoden das Signalmuster lernen und die Geste identifizieren.

Die vielleicht interessanteste Anwendung ist die Nutzeridentifikation. Der Kopfhörer erzeugt ein Sweep-Signal – er fährt einen Frequenzbereich hoch und sendet es ins Ohr. Das Signal läuft durch den Gehörgang, reflektiert und wird vom selben Treiber wieder erfasst. Links und rechts erfassen das Signal und subtrahieren. Jeder Gehörgang hat eine einzigartige Struktur – wie ein Fingerabdruck. Das Echo unterscheidet sich also von Person zu Person. Noch interessanter: Links und rechts sind bei jedem Menschen unterschiedlich, also liefert die Subtraktion ein individuelles Differenzsignal – sogar bei eineiigen Zwillingen. In Experimenten erreichten wir über 95 % Erfolgsrate. Das ist ein cooler Aspekt der Anwendung.

Warum hochfrequente Signale?

Tech Briefs: Warum nutzen Sie ein Hochfrequenzsignal?

Fan: Wir erzeugen hohe Frequenzen, weil es ähnlich wie ein CT-Scan funktioniert – ein ultraschallbasierter CT-Scan. Wir fahren einen Frequenzbereich ab, weil der Gehörgang unterschiedliche Strukturen hat, die höhere Frequenzen mit besserer Auflösung erkunden können, um die charakteristische Form eines bestimmten Gehörgangs zu identifizieren. Wir sweeppen die Frequenzen, um diejenige zu finden, die für dieses Ohr die besten Ergebnisse liefert.

Generierung des Sweep-Signals

Tech Briefs: Wie erzeugen Sie das Sweep-Signal?

Fan: Ein Chirp-Generator ist in unserer Software enthalten. Wir haben einen vollautomatisierten Prozess in zwei Schritten: Zuerst erkennen wir, ob die Kopfhörer auf dem Kopf sitzen, dann starten wir die Anwendung.

Zur Erkennung nutzen wir den „Muschel-Effekt“. Halten Sie eine Muschel ans Ohr, hören Sie ein Meeresrauschen, weil Muschel und Gehörgang einen halbabgedichteten Resonanzraum bilden, der bestimmte Frequenzen verstärkt. Gleiches gilt für Kopfhörer: Sind sie auf dem Ohr, wird eine Frequenz verstärkt – wir detektieren dies über die Signalstärke an verschiedenen Frequenzen. Sitzen die Kopfhörer, senden wir den Chirp.

Wir sind nicht auf diese vier Anwendungen beschränkt – auch Schrittzählen und Atemüberwachung sind möglich.

Unterscheidung von Schritten und Atmung

Tech Briefs: Wie unterscheiden Sie, ob ein Signal von Schritten oder Atmung stammt?

Fan: Die Signale unterscheiden sich, sodass ein Deep-Learning-Modell sie klassifizieren kann.

Auch für Seniorenbetreuung ist dies nutzbar: Erkennung von Stürzen, um automatisch Notruf abzusetzen. Daran arbeiten wir auch.

Der Kernbeitrag unseres Projekts ist eine Plattform, die Standard-Kopfhörer smart macht und ein Array an Anwendungen ermöglicht. Auf hoher Ebene schafft diese Technologie eine ubiquitäre Mensch-Kopfhörer-Netzwerk-Schnittstelle, da so viele vorhandene „dumme“ Kopfhörer von HeadFi profitieren könnten.

Hardware und Software

Tech Briefs: Meinen Sie mit Plattform Software?

Fan: Es ist eine Software-/Hardware-Lösung. Die Hardware ist eine Wheatstone-Brücke zur Kompensation zwischen linkem und rechtem Treiber. Danach folgt Signalverarbeitung für Klassifikationsaufgaben – Support Vector Machines oder Deep-Learning-Frameworks. Obwohl es eine kombinierte Lösung ist, kann die Hardware extrem einfach sein – nur zwei Widerstände.

Tech Briefs: Sie haben einen Adapter, den man einsteckt?

Fan: Ja, das ist unser aktueller Hardware-Prototyp.

Tech Briefs: Und eine App fürs Smartphone?

Fan: Ja, unser Adapter hat USB-C, was bei Kopfhörern und Handys mittlerweile Standard ist.

Tech Briefs: Haben Sie eine Vorstellung, wann dies kommerziell verfügbar sein könnte?

Fan: Wir nutzen das Rutgers Commercialization Center, um Partner zu suchen – Apple, Samsung, Microsoft. Wir entwickeln auch verbesserte Hardware, da unser aktueller Adapter nur eine offene Leiterplatte ist. Wir konnten die Platinengröße auf 3 cm × 2 cm verkleinern. Ziel ist Plug-and-Play, und wir schreiben Android-Software für einfache Demos.

Eine bearbeitete Version dieses Interviews erschien in der Mai-2021-Ausgabe von Tech Briefs.