KI übersetzt neuronale Signale in natürliche Sprache für gelähmte Patienten

Forscher nutzen rekurrentes neuronales Netz, um gelähmten Menschen zu helfen, die nicht kommunizieren können. Das Netz wandelt neuronale Aktivität in Sprachakustik um. Es kann Patienten ermöglichen, unconstrained Vokabular mit natürlicher Sprechrate zu kommunizieren.

Rekurrentes neuronales Netz

Viele neurologische Erkrankungen führen zu Kommunikationsverlust – Patienten verlassen sich vollständig auf Hilfsgeräte. Diese ermöglichen Satzbildung Zeichen für Zeichen mit bis zu 10 Wörtern/Minute. Doch Alltagsgespräche laufen ~150 Wörter/Minute – zu langsam.

Für weit höhere oder natürliche Kommunikationsraten nutzten Forscher der UC San Francisco biomimetischen Ansatz mit Fokus auf Stimmbahnbewegungen und erzeugte Laute.

Sie zeigten: Synthetisierte Sprache direkt aus Hirnsignalen generierbar. Diese koordinieren präzise ~100 Muskeln für Lippen, Zunge, Kiefer, Kehlkopf – formen Atem zu Lauten, die Wörter/Sätze bilden.

Team zeichnete hochdichte Elektrokortikografie-Signale von 5 Teilnehmern auf, die wegen Epilepsie behandelt wurden. Alle lasen Sätze laut vor, während Elektroden auf Gehirnoberfläche resultierende Signale maßen.

Architektur

Forscher entwickelten rekurrentes neuronales Netz zur Dekodierung kortikaler Signale mit expliziter intermediärer Repräsentation artikulatorischer Dynamik und schließlich Synthese hörbarer Sprache.

Referenz: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco

Neuronales Netz trainiert auf Klang der Teilnehmer, die Sätze vorlasen, plus kortikale Signale. ADAM-Optimizer für Algorithmus-Training. Batch-Size: 256 (1. Stufe), 25 (2. Stufe).

Gestapeltes Deep Encoder-Decoder-Netz integrierte Hirnsignale explizit, um primären physiologischen Korrelat neuronaler Aktivität zu dekodieren und in Sprachakustik zu transformieren. Optimiert für direkte Akustik-Dekodierung von Elektroden.

Sprachsynthese aus neuronal dekodierten gesprochenen Sätzen | Mit freundlicher Genehmigung der Forscher

Diese statistische Abbildung ermöglicht Generalisierung mit limitierten Trainingsdaten. Forscher erreichten zufriedenstellende Performance mit 25 Minuten Sprache, Performance stieg kontinuierlich mit mehr Daten.

Ausblick

Studie präsentiert fortschrittliche Methode für großes Hindernis bei neurologischen Patienten. Laut Generalisierungsergebnissen teilen Sprecher ähnliche kinematische Zustandsraum-Repräsentation – unabhängig vom Sprecher. Modellwissen – Mapping Kinematik zu Klang über Teilnehmer – übertragbar.

Zugriff auf diese niedrigdimensionale Repräsentation neuronaler Aktivität verschiedener Menschen könnte Brain-Computer-Interface-Lernen erleichtern. Ergebnisse öffnen Türen für Sprachwiederherstellung bei Gelähmten.

Das in dieser Studie entwickelte neuronale Netz ermöglicht Kommunikation unconstrained Vokabulars bei natürlicher Sprechrate. Direkter Sprachsynthese-Ansatz erfasst prosodische Sprachelemente – Tonhöhe, Intonation – die Textoutput nicht bietet. Zudem für Patienten mit intakter kortikaler Artikulationsverarbeitung evtl. einfacher/intuitiver erlernbar.