Low-Power-Geräte könnten mit einer Silizium-Cochlea zuhören

Auf dem Weg zu einer allgegenwärtigen, ständig aktiven Erfassung und Rechenleistung wird Leistung immer wichtiger. Es gibt vielleicht kein besseres Beispiel dafür, wo dies wichtig ist, als die sprachaktivierten Geräte auf unseren Schreibtischen, in unseren Taschen und in unseren Häusern. Wie wir im letzten Jahr gesehen haben, ist insbesondere das Keyword-Spotting derzeit ein Ziel für alle Arten von neuromorphen Technologien.

Die Siliziumschnecke

Die Gewinnerin des Misha Mahowald Prize for Neuromorphic Engineering 2020 ist Prof. Shih-Chii Liu und ihr Team, die an Sensoren mit geringer Latenz und geringer Leistung zur Erkennung von Sprache arbeiten. Die dynamischen Audiosensoren, die Shih-Chii Liu und ihr Team am Institut für Neuroinformatik (INI) entwickelt haben, könnten schließlich diesen Markt adressieren. Ihr Kern ist eine Silizium-Cochlea, die die Biologie nachahmen soll. Zuerst wird der eingehende Ton unter Verwendung eines Satzes analoger Bandpassfilter in Frequenzkanäle gefiltert, deren Ausgang halbwellengleichgerichtet ist. Zusammen emuliert dies die Funktion der Haarzellen im Ohr.

In einem herkömmlichen Audiosystem wird der Ton zunächst mit einem Analog-Digital-Wandler umgewandelt und dann die Merkmale mittels digitaler schneller Fourier-Transformation (FFT) und Bandpassfilterung (BPF) extrahiert. Diese werden von einem digitalen Signalprozessor (DSP) mit Sprachaktivitätserkennung (VAD) oder automatischen Spracherkennungsalgorithmen verarbeitet. B. Im dynamischen Audiosensor von INI-Zürich wird das Signal als analoge Audiobänder von den Funktionen empfangen und Änderungen werden parallel in Züge von asynchronen Spitzen (Ereignissen) codiert, die dann verarbeitet werden.

Wie in der Biologie werden die verschiedenen Kanäle dann für die Verarbeitung im Gehirn vorbereitet. Im Ohr kodieren Ganglienzellen die Signale als Schwall chemischer Ionen:In der Silizium-Cochlea werden sie in elektrische Spitzen umgewandelt. Dies kann entweder mit einer klassischen Integrate-and-Fire-Funktion oder einem asynchronen Delta-Modulator (ADM) erfolgen, der das Signal mit zwei Schwellenwerten vergleicht und die entsprechenden Ereignisse sendet, wenn diese weitergegeben werden, und so als Merkmalsextraktor fungieren. Da unveränderliche Signale ignoriert werden, wird die Menge an redundanten Informationen reduziert, die an die nächste Stufe weitergegeben werden.

Aus der Sicht der Leistung verbraucht die Silizium-Cochlea kaum Energie, wenn nichts passiert, aber mit zunehmender Aktivität steigt auch die Anzahl der Spitzen. Abhängig von der Anwendung kann das entweder ein großer Vorteil sein (wenn viel zugehört, aber sehr wenig getan wird) oder überhaupt kein Vorteil (wenn ständig relevante Dinge entschlüsselt werden müssen).

Als Audiosensor, der im Niedrig-µW-Bereich arbeitet, könnte der Chip jedoch Systemdesignern eine wertvolle Option zur Steigerung der Energieeffizienz bieten. Es ermöglicht auch einen sehr hohen Dynamikbereich, da es fast unendlich viel Spielraum für Spikes gibt, die weit auseinander oder nah beieinander liegen, da sie in kontinuierlicher Zeit arbeiten.

Spracherkennung

Ein kritischer Teil dieser Arbeit bestand darin, die Nützlichkeit zu demonstrieren . Insbesondere können die von der Silizium-Cochlea erzeugten Ereignisströme in realen Anwendungen wie der Sprachaktivitätserkennung, der ersten Stufe der Schlüsselworterkennung, verwendet werden. Liu und ihrem Team ist dies gelungen, indem sie mithilfe der Ereignisausgabe 2D-Datenframes erstellen:Histogramme der ankommenden Spikes nach Frequenz, angeordnet über die 5 ms des Frames. Cochleagramme genannt, können diese in ein neuronales Netz eingelesen und von dort aus ihre Bedeutung entschlüsselt werden.

Laut Liu „ist der Einsatz von Deep Networks auf einem Sensor von großem Interesse für die IEEE ISSCC-Gemeinde und angesichts des derzeit großen Interesses an Audio-Edge-Computing sehr aktuell.“ Es gab viele Veröffentlichungen über ASICs mit geringem Stromverbrauch für die Schlüsselworterkennung, sagt sie, aber diese verwenden konventionelle spektrogrammähnliche Funktionen. Eines ihrer Ziele ist es, "zu zeigen, dass Hybridlösungen (Mixed-Analog-Signal-Designs) zu Lösungen mit noch geringerer Leistung und geringeren Latenzzeiten führen können."

Letztes Jahr hat INI ein Video veröffentlicht, das zeigt, wie das System Ziffern erkennt (Sie können Liu ab etwa 2:06 sehen). Es ist alles andere als unfehlbar, aber es befindet sich auch noch in einem relativ frühen Stadium der Entwicklung des Systems. Das Team, zu dem im Laufe der Jahre Minhao Yang, Chang Gao, Enea Ceolini, Adrian Huber, Jithendar Anumula, Ilya Kiselev und Daniel Neil gehörten, hat auch mit Sensorfusion experimentiert:Liu und ihre Kollegen kombinierten Audio- und visuelle Informationen, um eine Klassifizierung vorzunehmen zuverlässiger [1]. Sie haben erste Designregeln veröffentlicht, um zu entscheiden, wann analoge Sensoren von Vorteil sind und wann es besser ist, bei digitalen zu bleiben [2].

Misha Mahowald, einer der Erfinder der Adress-Event-Darstellung und nach dem der Neuromorphic Engineering Prize benannt ist.

Eine weitere ständige Anstrengung bestand darin, die Energieeffizienz und Leistung des DAS zu verbessern. Dazu gehörte auch die Betrachtung der Implementierung der einzelnen Funktionen, von den Source-Follower-basierten Bandpassfiltern bis hin zum Design der analogen Feature Extractors.

Die Verringerung des Einflusses der Variabilität in der analogen Elektronik war ein weiteres wichtiges Forschungsgebiet. Um dabei zu helfen, haben sie einen Hardware-Emulator gebaut, mit dem sie diese Probleme viel schneller testen könnten, als dies mit kommerzieller Software wie Cadence Virtuoso möglich wäre. Durch das Trainieren des binären neuronalen Netzes, das sie für die Klassifizierung verwenden, von der Software und nicht von der Hardware, waren sie in der Lage, die Klassifizierungsleistung auf einer Reihe von realen Testchips genau vorherzusagen [3]. Sie erwägen nun, dem System Rauschen als Stellvertreter für die Variabilität hinzuzufügen, um den Designprozess noch robuster zu machen.

Mahowald-Preis

Liu war einer der frühen Forscher auf dem Gebiet der neuromorphen Technik; sie arbeitete nicht nur mit in Carver Meads Labor am Caltech (wo Mahowald gearbeitet hatte), sondern war auch Gründungsmitglied des Institute of Neuroinformatics, als viele der Gruppe Kalifornien nach Zürich verließen.

Liu sagte zum Gewinn des Preises:„Es ist eine große Ehre für uns, diesen Preis zu erhalten, insbesondere bei so vielen guten Forschern auf dem Gebiet der neuromorphen Technik. Die Arbeit baut auf jahrzehntelangen frühen Silizium-Cochlea-Designs von Dick Lyon, Carver Mead, Lloyd Watts, Rahul Sarpeshkar, Eric Vittoz und Andre van Schaik auf.“

Zur Bedeutung der neuromorphen Technik sagt sie:„Selbst am Ende des Mooreschen Gesetzes wird die digitale Berechnung der Energieeffizienz der Biologie um mindestens den Faktor Tausend hinterherhinken. Daher wird die potenzielle Effizienz von hybriden analogen elektronischen Systemen wie DAS wichtiger denn je.“

Referenzen

[1] D. Neil und S. C. Liu, „Effektive Sensorfusion mit ereignisbasierten Sensoren und tiefen Netzwerkarchitekturen“, in Proceedings – IEEE International Symposium on Circuits and Systems , Juli 2016, Bd. 2016-Juli, S. 2282–2285, doi:10.1109/ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber und T. Delbruck, „Event-Driven Sensing for Efficient Perception:Vision and audition algorithms“, IEEE Signal Process. Mag. , Bd. 36, Nr. 6, S. 29–37, Nov. 2019, doi:10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok und C. Enz, „Ultra-Low-Power Intelligent Acoustic Sensing using Cochlea-Inspired Feature Extraction and DNN Classification.“

[4] M. Yang, CH Chien, T. Delbruck und SC Liu, „A 0.5 V 55 μW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing“, IEEE J. Solid-State Schaltungen , Bd. 51, Nr. 11, S. 2554–2569, Nov. 2016, doi:10.1109/JSSC.2016.2604285.

>> Dieser Artikel wurde ursprünglich veröffentlicht am unsere Schwesterseite EE Times.