KI fasst komplexe Forschungsarbeiten in verständliches Englisch zusammen

Rotational Unit of Memory (RUM): Neuer neuronaler Netzwerk-Ansatz für Textzusammenfassung

Forscher von MIT und Qatar Computing Research Institute entwickelten ein KI-Modell, das wissenschaftliche Papers liest und in wenigen Sätzen verständlich zusammenfasst – besser als vorherige Methoden, aber kein Ersatz für Wissenschaftsjournalisten.

Vom Physik-Problem zur Sprachverarbeitung

Ursprünglich für Physik-Probleme (Lichtverhalten in komplexen Materialien) konzipiert, erwies sich die Methodik als überlegen für Spracherkennung und natürliche Sprachverarbeitung.

Innovation: Vektoren statt Matrixmultiplikation

Statt klassischer RNNs (LSTM, GRU) mit begrenzter Gedächtnisleistung nutzt RUM rotierende Vektoren im multidimensionalen Raum:

• Jedes Wort = ein Vektor in hochdimensionalem Raum
• Jedes weitere Wort rotiert den Vektor in eine neue Richtung
• Resultierender Vektor wird zurück in Text transformiert

RUM merkt sich komplexe sequentielle Dynamiken und ruft Informationen präzise ab. Vielversprechend auch für Character-Level Language Modeling und Question Answering.

Testergebnisse

Verglichen mit LSTM/GRU auf wissenschaftlichen Papers (inkl. eigener Publikation):

• RUM liest gesamte Papers, nicht nur Abstracts
• Zusammenfassungen enthalten weniger Fachbegriffe und Wiederholungen
• Trifft Kernaussagen, auch wenn nicht literarisch elegant

Code und Demo auf GitHub verfügbar.

Quelle: MIT Press Journals | doi:10.1162/tacl_a_00258 | MIT