Facebooks MelNet klont Stimmen mit unheimlicher Präzision – Bill Gates Demo

Spectrogramm-basiertes Generativmodell für realistische Sprachsynthese

Facebook AI Research präsentiert MelNet: Deep-Learning-Modell, das menschliche Intonation präzise nachbildet und jede Stimme nach wenigen Sekunden Training klont.

Unterschied zu Waveform-Modellen (WaveNet, SampleRNN)

• Herkömmlich: Training auf Audio-Waveforms (1D, Zehntausende Zeitschritte/Sekunde, komplexe Multi-Skalen-Struktur)
• Problem: Backpropagation nur über Bruchteile Sekunden → verpasst hochlevelige Struktur (Sekundenbereich)
• MelNet nutzt Spektrogramme (2D Zeit-Frequenz): dichtere Informationspackung, erfasst Struktur über Sekunden

Technische Details

• High-Res Spektrogramme gegen Informationsverlust
• Hoch expressives autoregressives Modell gegen Over-Smoothing
• Unconditional Speech/Music Samples über Sekunden konsistent
• Conditional Speech Generation & Text-to-Speech end-to-end

Demo: Bill Gates Stimme

Trainiert auf TED Talks → regeneriert Gates' Stimme bei zufälligen Sätzen („Port is a strong wine...“, „We frown when events...“). Audios auf GitHub.

Limitationen & Ethik

• Keine langen Sätze/Absätze
• Potenzial für Customer-Care-Automatisierung (kurze Phrasen)
• Risiko: Deepfake-Audio, ethische Fragen

Quelle: arXiv:1906.01083 | GitHub

Asynchron codierte elektronische Haut (ACES) erreicht menschliche Tastempfindung OLED-Durchbruch: Chiralen Polymere umgehen Blendschutzfilter für hellere, langlebigere Displays