Microsoft stellt rekordverdächtiges 17-Milliarden-Parameter-Sprachmodell vor

Turing-NLG: Größtes Sprachmodell der Welt

• Microsoft präsentiert Turing Natural Language Generation (T-NLG): 17 Milliarden Parameter – Weltrekord.
• Generiert abstraktive Zusammenfassungen, direkte Antworten auf Fragen, Satzvervollständigungen.
• Antwortet so präzise, direkt & flüssig wie Menschen in verschiedenen Situationen.

Kontext: Large Language Models

Große Deep-Learning-Sprachmodelle (GPT-2, BERT) mit Milliarden Parametern, trainiert auf gesamtem Internet-Text, verbessern NLP-Tasks: Dokumentenverständnis, Conversational Agents, Question Answering.

Beobachtung: Größere Modelle mit diverseren, umfassenderen Pretraining-Daten performen besser – sogar mit weniger Trainingsdaten. Effizienter: Ein massives zentrales Modell trainieren, Features über Tasks teilen, statt pro Task neues Modell.

Microsoft folgt diesem Trend: T-NLG übertrifft State-of-the-Art auf Language-Modeling-Benchmarks.

T-NLG vervollständigt Sätze, fasst Dokumente zusammen, beantwortet Fragen direkt. Im Gegensatz zu extraktiven NLP-Systemen (Kopieren von Passagen) generiert T-NLG neue, natürliche Sprache.

Training T-NLG

Ein GPU (selbst 32 GB) kann Milliarden Parameter nicht verarbeiten. Lösung: Modellparallelisierung / Tensorslicing über Multi-GPU.

Setup: NVIDIA DGX-2 (schnelle GPU-Kommunikation) + Tensor Slicing (Modell auf 4× V100 GPUs aufgeteilt). DeepSpeed Library + Zero Optimizer für effizientes Training mit wenigen GPUs.

Performance

• LAMBADA Next-Word-Prediction: Höher = besser. T-NLG führend.
• Wikitext-103 Perplexity: Niedriger = besser. T-NLG führend.
• Question Answering: Menschliche Annotatoren bewerteten grammatikalische & faktische Korrektheit vs. LSTM (CopyNet-ähnlich). T-NLG überlegen.
• Abstractive Summarization: Trainiert auf öffentlichen Summarization-Datensets. Vergleich vs. PEGASUS & Vorgänger. Metrik: ROUGE-Score. T-NLG stark.

Anwendungen

Microsoft: Durchbruch in Conversational AI. Integration in Microsoft Office Suite geplant:

• Zeitsparende Zusammenfassungen (E-Mails, Docs, Blogs, PPTs, Excel)
• Schreibassistenz
• Beantwortung von Leserfragen zum Inhalt

Ebenso: Präzisere, flüssigere digitale Assistenten & Chatbots → Sales & CRM für Unternehmen.

Quellen: Microsoft | GitHub