Microsofts Multi-Task DNN setzt neue Maßstäbe in conversationaler KI

Wissensdestillation komprimiert Ensemble-Modelle in einzelnes robustes Netzwerk

Microsoft Research erzielte Rekorde in conversationaler KI mit einer verbesserten Multi-Task Deep Neural Network (MT-DNN)-Architektur für Textrepräsentationen über diverse NLU-Aufgaben.

Hintergrund: Ensemble-Modelle teuer, vortrainierte Modelle (BERT, GPT) riesig

• Ensembles: Hunderte DNNs, teuer in der Implementierung
• GPT: 48 Transformer-Layer, 1,5 Mrd. Parameter
• BERT: 24 Layer, 344 Mio. Parameter

Ansatz: Knowledge Distillation

Ensemble-Modelle (offline) generieren Soft Targets für jede Trainingsaufgabe – informativer als harte Labels. Beispiel: „Ich hatte ein gutes Gespräch mit John“ → Sentiment unwahrscheinlich negativ. „Wir hatten ein faszinierendes Gespräch“ → kontextabhängig positiv/negativ.

Training: Korrekte Targets + Soft Targets über alle Tasks → einzelnes MT-DNN. Framework: cuDNN-beschleunigtes PyTorch auf NVIDIA Tesla V100 GPUs.

Ergebnisse: GLUE-Benchmark

Destilliertes MT-DNN übertrifft normales MT-DNN und BERT signifikant im Gesamtscore (9 NLU-Tasks: Textähnlichkeit, Entailment, Sentiment, QA). Daten: Hunderte Satzpaare aus akademischen, enzyklopädischen, Nachrichten-, Social-Media-Quellen.

Sprachrepräsentation durch destilliertes MT-DNN ist universeller und robuster.

Ausblick

Zukunft: Bessere Kombination harter/weicher Targets für Multi-Task-Learning. Knowledge Distillation nicht nur zur Kompression, sondern zur Leistungssteigerung unabhängig von Komplexität.

Quelle: arXiv:1904.09482 | Microsoft Research Blog