Fragen und Antworten:Plattform konvertiert Kopfhörer von Dumb zu Smart

Der Unterschied zwischen intelligenten und dummen Kopfhörern besteht darin, dass die intelligenten über das Abspielen von Musik hinausgehen – sie können physiologische Monitore und virtuelle Touchscreens sein. Xiaoran Fan leitete als Doktorand an der Rutgers University ein Forscherteam, das eine Methode namens HeadFi entwickelte, die gewöhnliche Kopfhörer als Sensoren verwendet.

Technische Informationen: Wie hat dieses Projekt begonnen?

Xiaoran-Fan: Ich bin ein Audiophiler, also habe ich mich für Kopfhörer interessiert. Obwohl einfache, unkomplizierte Kopfhörer für Anwendungen wie Studiomischpulte und Heimaudio verwendet werden, sehen wir in letzter Zeit intelligente Kopfhörer von Apple, Samsung und Microsoft.

Wir haben immer gewusst, dass die Treiber in Kopfhörern im Prinzip ähnlich wie Mikrofone funktionieren, also in gewissem Sinne reziprok sind. Da Mikrofone Signale erfassen können, bedeutet dies, dass Kopfhörer dies standardmäßig auch tun können. Obwohl Kopfhörer das Potenzial hatten, intelligent zu sein, hatte noch niemand diesen IQ genutzt. Das war der erste Ansporn, der mich in diese Richtung brachte. Außerdem hat mein Berater Rich Howard sein ganzes Leben damit verbracht, Kleinsignalmessungen durchzuführen, und als ich mit ihm über diese Idee sprach, wies er mich auf einige Methoden hin, die ich ausprobieren könnte. Dann tauchte ich ein und nach vielen Erkundungen und Experimenten konnten wir ein Papier über unsere Arbeit veröffentlichen.

Technische Informationen: Wie werden Kopfhörer als Mikrofone verwendet?

Fan: Der Treiber selbst ist kompliziert – er hat Widerstand, Kapazität und Induktivität – es ist ein komplexes Impedanzsystem. Die genaue Technologie hängt davon ab, welche Art von Kopfhörer Sie haben, aber im Grunde sind sie alle nur Wandler, die elektrische Signale in mechanische Signale umwandeln. Diese Wandler können im Prinzip umgekehrt betrieben werden. Mechanische Signale könnten die Membran vibrieren lassen, was die Schwingspule hin und her bewegen würde, um elektrische Signale zu erzeugen; sie sind also im Prinzip wechselseitig.

Das Problem ist jedoch, dass die Kopfhörer für die Wiedergabe von Musik optimiert sind – das Musiksignal ist dominant. Man kann zwar gleichzeitig ein Anregungssignal von außen aufzeichnen, aber es könnte 1000-mal kleiner sein als das Musiksignal. Die Herausforderung bestand also darin, eine Sensoraufgabe zu lösen, während der Kopfhörer noch Musik spielt. Wenn dies nicht möglich ist und der Benutzer die Musik stoppen muss, um die Sensorfunktion zu verwenden, ist dies nicht sinnvoll.

Also haben wir etwas sehr Interessantes gemacht. Kopfhörer werden paarweise geliefert, mit einem linken und einem rechten Treiber. Wir haben uns die Tatsache zunutze gemacht, dass Kopfhörer so hergestellt werden, dass linker und rechter Treiber zueinander passen. Das bedeutet, dass die Tonsignale in den beiden ausgeglichen sind. Wir können daher das Eingangssignal vom linken Treiber verwenden, um das Eingangssignal vom rechten Treiber aufzuheben, indem wir die Tatsache nutzen, dass wir das genaue Musiksignal kennen, das wir für beide Kanäle spielen. Wenn es also einen Unterschied zwischen den Ausgängen des linken und des rechten Treibers gibt, erzeugt die Subtraktion der Ausgänge ein Differenzsignal.

Nehmen wir an, ich spreche – die beiden Kopfhörer erfassen meine Stimme, aber die Stimme von meinem Mund zum linken Fahrer und die Stimme von meinem Mund zum rechten Fahrer breitet sich über verschiedene Kanäle aus. Der physische Kanal zwischen meiner Stimme und meinem linken Ohr und der zwischen meiner Stimme und dem rechten Ohr sind nicht identisch. Das liegt daran, dass meine Knochen und Gewebe von links nach rechts unterschiedlich aufgebaut sind.

Wenn Sie also eine Subtraktion vornehmen, gibt es einen Unterschied zwischen linken und rechten Treibern, der erfasst werden kann. Diese Subtraktion löscht die Musiksignale aus, ermöglicht es uns jedoch, die Differenz des Erfassungssignals zu erfassen. Wir können diese kleine Information verwenden, um etwas zu tun.

Technische Informationen :Könnten Sie mir erklären, wie Sie die Kopfhörer verwenden könnten, um Dinge wie die Identifizierung des Benutzers zu messen; Überwachung der Herzfrequenz; und Gesten erkennen.

Lüfter :Wir haben in unserem Paper tatsächlich vier Anwendungen vorgestellt:Gestenerkennung, Herzfrequenzüberwachung, Benutzeridentifikation und auch – die einfachste – Sprachkommunikation.

Nehmen wir als Beispiel die Überwachung der Herzfrequenz. Wenn Sie sich beeilen, pumpt Ihr Herz – es erzeugt eine mechanische Vibration im ganzen Körper, die die Kopfhörer erfassen können.

Aber genau wie bei der Stimme sind die Kanäle von Ihrem Herzen zum linken Kopfhörer und zum rechten Kopfhörer unterschiedlich. Indem wir das Differenzsignal durch unseren Algorithmus laufen lassen, können wir die Periode Ihrer Herzfrequenz ermitteln.

Nehmen wir zur Gestenerkennung an, Sie tippen oder berühren das rechte Gehäuse der Kopfhörer. Der rechte Treiber empfängt das Berührungssignal, aber der linke erhält ein viel schwächeres Berührungssignal. Nachdem Sie die Subtraktion durchgeführt haben, kennen Sie die Phase. Wenn die ansteigende Flanke in eine Richtung zeigt, ist es das rechte Telefon, wenn die ansteigende Flanke in die andere Richtung zeigt, ist es eine Berührung auf der linken Seite.

Aber es gibt noch andere fortgeschrittenere Möglichkeiten, eine Geste zu definieren. Beispielsweise wird das durch einen Kratzer erzeugte Signal komplizierter. In diesem Fall können Sie einige Deep-Learning-Methoden anwenden, um das Signalmuster zum Identifizieren der Geste zu lernen.

Aber ich denke, die interessanteste Anwendung ist die Benutzeridentifikation. Die Funktionsweise besteht darin, dass der Kopfhörer ein Swipe-Signal erzeugt – ein Frequenzband nach oben wischt und das Signal in Ihr Ohr sendet. Das Signal breitet sich durch Ihren Gehörgang aus, wird zurückreflektiert und von demselben Kopfhörertreiber erfasst, der es erzeugt hat. Der linke und der rechte Treiber erfassen beide das Signal und führen die Subtraktion durch. Der interessante Teil ist, dass jeder Gehörgang eine andere Struktur hat – es ist wie ein Fingerabdruck – was bedeutet, dass das von den Kopfhörern empfangene Echo für jeden anders ist. Was es noch interessanter macht, ist, dass für jeden der linke und der rechte Gehörgang unterschiedlich sind. Wenn Sie also die Subtraktion durchführen, gibt es ein Differenzsignal. Und dieser Unterschied ist auch von Person zu Person unterschiedlich – sogar zwischen eineiigen Zwillingen. Wir haben Experimente mit eineiigen Zwillingen durchgeführt und hatten eine Erfolgsquote von über 95 %. Ich denke, das ist ein cooler Teil der Anwendung.

Technische Informationen :Warum verwenden Sie ein Hochfrequenzsignal?

Lüfter :Der Grund, warum wir eine hohe Frequenz erzeugen, ist, dass es so etwas wie ein CT-Scan ist – ein Ultraschall-CT-Scan. Wir streichen über eine Reihe von Frequenzen, da unser Gehörgang unterschiedliche Strukturen aufweist, die höhere Frequenzen mit besserer Auflösung untersuchen können, um die charakteristische Form eines bestimmten Gehörgangs zu identifizieren. Wir durchsuchen die Frequenzen, um diejenige zu finden, die uns die besten Ergebnisse für dieses Ohr liefert.

Technische Informationen :Wie erzeugt man das Wobbelsignal?

Lüfter :Ein Chirp-Generator ist in unserer Software enthalten.

Wir haben einen vollautomatisierten Prozess. Es gibt zwei Schritte. Der erste Schritt besteht darin, zu erkennen, ob sich Ihre Kopfhörer auf Ihrem Kopf befinden, dann führen Sie die Anwendung aus.

Wir verwenden einen interessanten Trick, um zu überprüfen, ob die Kopfhörer auf Ihrem Kopf sind. Es basiert auf dem Muscheleffekt. Wenn Sie am Ufer spazieren gehen und eine Muschel aufheben und an Ihr Ohr klemmen, hören Sie so etwas wie ein Meeresrauschen. Das liegt daran, dass die Muschel und Ihr Gehörgang eine halbversiegelte Raumhülle bilden, die eine gewisse Frequenz mitschwingt und verstärkt.

Genauso ist es mit Kopfhörern. Wenn Sie die Kopfhörer an Ihrem Ohr haben, wurde eine bestimmte Frequenz verstärkt, und wir können erkennen, ob sich die Kopfhörer an Ihrem Ohr befinden oder nicht, indem wir einfach die Signalstärke bei verschiedenen Frequenzen betrachten. Wenn Sie den Kopfhörer aufgesetzt haben, senden wir ein Zwitschern.

Aber wir sind nicht auf diese vier Anwendungen beschränkt. Wir könnten auch Messungen wie Schrittzahlen und Atmungsüberwachung durchführen.

Technische Informationen :Wie würden Sie wissen, ob eine Eingabe von Schritten oder von der Atmung stammt?

Lüfter :Die Signale würden sich voneinander unterscheiden, sodass Sie ein Deep-Learning-Modell verwenden könnten, um sie zu unterscheiden.

Dies könnte auch für die Altenpflege genutzt werden. Es könnte erkennen, wenn eine Person stürzt, also sollten wir 911 anrufen. Wir planen auch, daran zu arbeiten.

Der zentrale intellektuelle Beitrag für unser Projekt besteht darin, dass wir eine Plattform präsentiert haben, mit der Standardkopfhörer intelligent werden können, was eine Reihe möglicher Anwendungen ermöglicht. Auf hohem Niveau kann diese Technologie eine allgegenwärtige Mensch/Kopfhörer/Netzwerk-Schnittstelle ermöglichen, weil so viele existierende „dumme“ Kopfhörer da draußen von HeadFi profitieren könnten.

Technische Informationen :Wenn Sie Plattform sagen, meinen Sie Software?

Lüfter :Es ist eine Software/Hardware-Lösung. Die Hardware ist eine Wheatstone-Brücke, um die Aufhebung zwischen dem linken und dem rechten Treiber vorzunehmen. Danach müssen wir die Signalverarbeitung für Aufgaben wie die Klassifizierung durchführen, einschließlich der Unterstützung für Vektormaschinen- oder Deep-Learning-Frameworks. Obwohl es sich also um eine kombinierte Software/Hardware-Lösung handelt, kann die Hardware extrem einfach sein – so einfach wie nur zwei Widerstände.

Technische Informationen :Sie haben einen Adapter, den Sie anschließen?

Lüfter :Ja, das ist unser aktueller Prototyp der Hardware.

Technische Informationen :Und dann müsstest du eine Design-App zum Download ins Smartphone laden?

Lüfter :Ja, der Adapter, den wir derzeit verwenden, hat einen USB-Typ-C-Anschluss, was bei Kopfhörern und Mobiltelefonen derzeit recht üblich ist.

Technische Informationen :Haben Sie eine ungefähre Vorstellung davon, wann dies kommerzialisiert werden könnte?

Lüfter :Wir nutzen derzeit die Website des Kommerzialisierungszentrums von Rutgers, um nach einem Partner zu suchen, und prüfen potenzielle Partner wie Apple, Samsung oder Microsoft. Wir entwickeln auch verbesserte Hardware, da unser aktueller Adapter nur eine offene Leiterplatte ist. Bisher konnten wir die Plattengröße in diesem Moment auf 3 cm x 2 cm verkleinern. Wir zielen darauf ab, es Plug-and-Play zu machen, und wir schreiben auch Android-Software, um es einfach zu demonstrieren.

Eine bearbeitete Version dieses Interviews erschien in der Mai-Ausgabe 2021 der Tech Briefs.