Googles neue KI isoliert einzelne Stimmen in Menschenmengen

Google entwickelt neue KI, die sich auf eine bestimmte Stimme in überfüllter Umgebung fokussiert. Nutzt Kombination visueller und auditiver Signale zur Stimmtrennung. Technologie potenziell für bessere Video-Untertitelung bei überlappenden Sprechern via Pre-Processing Spracherkennung.

Herausforderung: Cocktail Party Problem

Menschen sind exzellent darin, eine bestimmte Stimme in Menschenmenge herauszuhören, alle anderen Geräusche auszublenden. Für Maschinen bleibt dies schwer: Trennen individueller Sprache bei 2+ Sprechern oder Hintergrundrauschen.

Google entwickelte Audio-Visuelles Modell basierend auf Deep Learning: Fokus auf einzelnes Audiosignal aus Stimmengemisch + Hintergrundrauschen. KI analysiert Video, verstärkt Stimmen bestimmter Personen, unterdrückt alle anderen Geräusche.

Kein spezielles Audio/Video-Format nötig; funktioniert auf gängigen Videoformaten mit einer Audiospur. Nutzer wählt bestimmtes Gesicht im Video zum Anhören, oder Algorithmus entscheidet kontextbasiert.

Technologie nutzt visuelle + auditive Signale zur Stimmtrennung. Algorithmen identifizieren Sprecher basierend auf Mundbewegungen. Visuelle Signale verbessern Sprachtrennqualität bei Gemischsignalen signifikant und verknüpfen Tonspuren mit sichtbaren Sprechern.

Entwicklung

Ingenieure sammelten riesige Mengen qualitativer YouTube-Videos (Talkshows, Vorlesungen) für Trainingsbeispiele. Filterten 2.000 Stunden Clips: saubere Stimme – kein Publikumsgeräusch, Mischmusik, Hintergrundstörung.

Erstellung: Kombination Gesichts-Videos mit zugehöriger Sprache + Hintergrundrauschen aus verschiedenen Quellen. Training: Multi-Stream Convolutional Neural Network zur Trennung einzelner Sprecherstimmen aus Mixed-Speech-Video.

Beide: Spektrogramm-Darstellung Soundtrack + Gesichts-Thumbnails pro Frame (aus Video extrahiert) → Neural Network. Netz lernt (Trainingsphase), auditive/visuelle Signale zu encodieren und zu fusionieren → einzelner Audio-Visueller Content.

Gleichzeitig lernt Netzwerk Time-Frequency-Masks für individuelle Sprecher. Multipliziert noisy Input-Spektrogramme mit Masks → clean Speech, unterdrückt Interferenz/Rauschen.

Implementierungsdetails

Netzwerk auf TensorFlow (Open-Source ML-Framework), Operationen für Waveform & Short-Time Fourier Transform. Alle Layer (außer Mask Layer) gefolgt von ReLU-Aktivierungen.

Batch Normalization für alle konvolutionalen Layer. Batch Size: 6 Samples, Training: 5 Mio. Batches (Steps). Audio resampled auf 16 kHz, Stereo → Mono für STFT.

Alle Face Embeddings resampled auf 25 fps vor Training → Input Visual Stream: 75 Face Embeddings. Zero Vectors bei fehlenden Frames in Sample.

Anwendungen

Zahlreiche Anwendungen: Audio Recognition in Videos, Speech Enhancement – besonders bei Mehrsprechern. Erweitert Mikrofontypen für diverse Audio-Umgebungen. Naheliegend: YouTube, Hangouts. Langfristig: Voice-amplifizierende Earbuds, Google Glasses.

Potenzial: Bessere Video-Untertitelung bei Überlappungsprecher via Pre-Processing Spracherkennung. Erleichtert Gehörlosen Teilnahme an Telekonferenzen, Genuss von Filmvideos.