Künstliche Intelligenz kann Sprache aus neuronaler Aktivität generieren

• Forscher verwenden ein rekurrentes neuronales Netzwerk, um Menschen zu helfen, die gelähmt sind und nicht kommunizieren können.
• Das Netzwerk wandelt die neuronale Aktivität in Sprachakustik um.
• Es kann Patienten helfen, uneingeschränktes Vokabular mit einer natürlichen Sprechgeschwindigkeit zu kommunizieren.

Viele neurologische Erkrankungen führen zum Verlust der Kommunikation, sodass sich die Patienten vollständig auf Hilfsmittel verlassen können. Diese Geräte ermöglichen es ihnen, Sätze zeichenweise mit bis zu 10 Wörtern pro Minute zu tippen. Diese Geschwindigkeit ist jedoch im Vergleich zu alltäglichen Gesprächen, die mit etwa 150 Wörtern pro Minute stattfinden, zu langsam.

Um weit höhere oder sogar natürliche Kommunikationsraten zu ermöglichen, haben Forscher der University of California San Francisco einen biomimetischen Ansatz verwendet, der die Bewegungen des Stimmtrakts und den von ihnen erzeugten Klang betont.

Sie haben gezeigt, dass es möglich ist, synthetisierte Sprache direkt aus Gehirnsignalen zu generieren. Diese Signale koordinieren präzise etwa 100 Muskeln, um Lippen, Zunge, Kiefer und Kehlkopf zu bewegen und den Atem in Geräusche zu formen, die schließlich Wörter und Sätze bilden.

Das Team zeichnete elektrokortikografische Signale mit hoher Dichte von 5 Teilnehmern auf, die wegen Epilepsie (einer neurologischen Erkrankung) behandelt wurden. Alle Teilnehmer wurden gebeten, Sätze laut vorzulesen, während Elektroden auf ihrer Gehirnoberfläche die resultierenden Signale maßen.

Rekurrentes neuronales Netzwerk

Die Forscher entwickelten ein rekurrentes neuronales Netzwerk, um kortikale Signale mit einer expliziten Zwischendarstellung der artikulatorischen Dynamik zu decodieren und schließlich hörbare Sprache zu synthetisieren.

Referenz:Natur | DOI:10.1038/s41586-019-1119-1 | UC San Francisco 

Das neuronale Netz wird auf den Laut der Teilnehmer trainiert, die Sätze laut sprechen, zusammen mit den kortikalen Signalen. Sie verwendeten den ADAM-Optimierer, um den Algorithmus zu trainieren. Für die erste und zweite Trainingsstufe wurde eine Batchgröße von 256 bzw. 25 verwendet.

Das gestapelte Deep-Encoder-Decoder-Netzwerk integriert die Gehirnsignale explizit, um das primäre physiologische Korrelat der neuronalen Aktivität zu decodieren und wandelt es dann in Sprachakustik um. Es wurde optimiert, um Akustik direkt von den Elektroden zu dekodieren.

Sprachsynthese aus neuronal dekodierten gesprochenen Sätzen | Mit freundlicher Genehmigung der Forscher 

Diese statistische Zuordnung ermöglicht eine Generalisierung mit begrenzten Trainingsdatensätzen. Die Forscher konnten mit 25 Minuten Sprache eine zufriedenstellende Leistung erzielen, und die Leistung wurde kontinuierlich gesteigert, je mehr Daten sie fütterten.

Wie geht es weiter?

Die Studie stellt eine fortschrittliche Methode vor, um ein großes Hindernis für Patienten mit neurologischen Störungen zu überwinden. Laut den Generalisierungsergebnissen teilen Sprecher eine ähnliche kinematische Zustandsraumdarstellung, die vom Sprecher unabhängig ist. Das Modellwissen – die Zuordnung von Kinematik zu Schall zwischen den Teilnehmern – kann übertragen werden.

Die Nutzung dieser niedrigdimensionalen Darstellung der neuronalen Aktivität verschiedener Personen könnte das Lernen von Gehirn-Computer-Schnittstellen erleichtern. Die Ergebnisse können neue Türen öffnen, um die Sprachwiederherstellung für Patienten mit Lähmungen zu realisieren.

Lesen Sie:KI kann Forschungsarbeiten lesen und eine Zusammenfassung in einfacher Sprache bereitstellen

Das in dieser Studie entwickelte neuronale Netzwerk bietet die Möglichkeit, uneingeschränktes Vokabular mit einer natürlichen Sprechgeschwindigkeit zu kommunizieren. Dieser Ansatz der direkten Sprachsynthese erfasst prosodische Sprachelemente, einschließlich der Tonhöhenintonation, die bei der Textausgabe nicht verfügbar sind. Darüber hinaus kann es für Patienten, bei denen die kortikale Artikulationsverarbeitung noch intakt ist, einfacher und intuitiver zu erlernen sein.