Low-Power Silizium-Cochlea ermöglicht ultra-effizientes sprachaktiviertes Sensing

Da sprachaktivierte Assistenten immer häufiger werden, steigt die Nachfrage nach energieeffizientem, Always-On-Audio-Sensing. Fortschrittliches neuromorphes Engineering bietet nun eine überzeugende Antwort: eine Silizium-Cochlea, die die Biomechanik des menschlichen Ohrs spiegelt, um Low-Latency, Low-Power-Spracherkennung zu liefern.

Die Silizium-Cochlea: Ein bio-inspiriertes Audio-Front-End

Professorin Shih-Chii Liu und ihr Team am Institute of Neuroinformatics (INI) erhielten den 2020 Misha Mahowald Prize für Neuromorphes Engineering für ihren Dynamic Audio Sensor (DAS). Der Kern des DAS ist eine Silizium-Cochlea, die die Haarzellen des Ohrs emuliert: Eingehender Schall wird zunächst in eine Bank analoger Bandpassfilter gefiltert, dann halbwellengleichgerichtet, um die mechanische Transduktion der cochleären Haarzellen zu replizieren.

Konventionelle Audiosysteme digitalisieren Schall zuerst, extrahieren dann Merkmale mit FFT und BPF, bevor sie sie an einen DSP übergeben. Im Gegensatz dazu überträgt der INI-Zurich DAS analoge Audiobänder als asynchrone Spike-Trains, die direkt von nachgelagerten neuronalen Netzen verarbeitet werden.

Nach dem initialen Filtering wandelt das System die gleichgerichteten Signale in elektrische Spikes um – entweder via klassischem Integrate-and-Fire-Mechanismus oder asynchronem Delta-Modulator (ADM). Der ADM vergleicht das Signal gegen zwei Thresholds und emittet Events nur bei Änderungen. Diese ereignisgetriebene Kodierung unterdrückt statische Information, was Datenverkehr und damit Stromverbrauch drastisch reduziert.

Aus energetischer Sicht bleibt die Silizium-Cochlea virtuell im Leerlauf, wenn kein Schall präsent ist, aber ihr Stromverbrauch skaliert mit Aktivität. Für Anwendungen, die lange Stillephasen mit kurzen Sprachbursts beinhalten – typisch für viele sprachaktivierte Szenarien – bietet dieses dynamische Leistungsprofil einen deutlichen Vorteil. Zudem unterstützt die kontinuierliche Zeit-Spike-Darstellung einen außergewöhnlich weiten Dynamikbereich, da Spikes beliebig weit auseinander oder eng gepackt sein können.

Von Spikes zur Spracherkennung

Die Event-Streams des DAS können in 2D-Cochleagramm-Frames konvertiert werden – Histogramme von Spikes, gebinnt nach Frequenz über 5-ms-Intervalle. Diese Cochleagramme werden dann einem leichten Deep Neural Network zugeführt, das gesprochene Worte dekodiert. Liu merkt an, dass „Deep Networks auf einem Sensor von großem Interesse für die IEEE ISSCC Community sind und angesichts des aktuellen Booms im Audio-Edge-Computing zeitgemäß.“ Während viele Low-Power-ASICs für Keyword Spotting auf konventionellen Spektrogramm-Features basieren, verspricht Lius hybrider analog-digitaler Ansatz noch geringeren Stromverbrauch und schnellere Latenz.

Letztes Jahr veröffentlichte INI ein Demo-Video, in dem das System gesprochene Ziffern erkennt. Obwohl noch in frühen Stadien, zeigt der Prototyp das Potenzial von Silizium-Cochleas für reales Keyword Spotting. Lius Team hat auch Sensorfusion erforscht, Audio mit visuellen Cues kombiniert, um Klassifizierungsgenauigkeit zu erhöhen, und Design-Leitlinien veröffentlicht, die Ingenieuren helfen, zu entscheiden, wann analoges Sensing am vorteilhaftesten ist.

Misha Mahowald, Erfinderin der Address-Event-Repräsentation und Namensgeberin des Neuromorphic Engineering Prize.

Laufende Forschung fokussiert auf weitere Stromreduktion und Performance-Verbesserung. Innovationen umfassen Optimierung von Source-Follower-Bandpassfiltern und Verfeinerung analoger Feature-Extraktoren. Um Variabilität in analogen Schaltungen zu mindern, baute das Team einen Hardware-Emulator, der Tests beschleunigt und es erlaubt, Binary Neural Nets in Software zu trainieren, die Real-Chip-Performance präzise vorhersagen. Sie experimentieren auch mit injiziertem kontrolliertem Rauschen, um Designs robuster zu machen.

Anerkennung und Impact

Professorin Liu, Pionierin im neuromorphen Engineering, die in Carver Meads Caltech-Lab trainierte, hob die Bedeutung des Mahowald Prize hervor: „Diese Ehre unterstreicht Jahrzehnte fundamentaler Arbeit – von Dick Lyon bis Carver Mead und darüber hinaus.“ Sie betont, dass, da Moores Law verlangsamt, hybride analog-digitale Systeme wie der DAS zunehmend vital werden und potenziell digitale Berechnung um Größenordnungen in Energieeffizienz übertreffen könnten.

Referenzen

[1] D. Neil und S. C. Liu, „Effective sensor fusion with event-based sensors and deep network architectures“, in Proceedings – IEEE International Symposium on Circuits and Systems, Jul. 2016, vol. 2016-July, pp. 2282–2285, doi: 10.1109/ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber, und T. Delbruck, „Event-Driven Sensing for Efficient Perception: Vision and audition algorithms“, IEEE Signal Process. Mag., vol. 36, no. 6, pp. 29–37, Nov. 2019, doi: 10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok, und C. Enz, „Ultra-Low-Power Intelligent Acoustic Sensing using Cochlea-Inspired Feature Extraction and DNN Classification.“

[4] M. Yang, C. H. Chien, T. Delbruck, und S. C. Liu, „A 0.5 V 55 µW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing“, IEEE J. Solid-State Circuits, vol. 51, no. 11, pp. 2554–2569, Nov. 2016, doi: 10.1109/JSSC.2016.2604285.

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE Times veröffentlicht.