Das Training eines großen neuronalen Netzes kann 284.000 Kilogramm CO2 ausstoßen

• Die Entwicklung und Optimierung eines großen neuronalen Netzes kann bis zu 284.000 Kilogramm Kohlendioxid emittieren.
• Dies entspricht dem Fünffachen der Lebenszeitemissionen eines durchschnittlichen Autos.

Die jüngsten Fortschritte im Bereich der künstlichen Intelligenz (KI) haben eine neue Ära großer Netzwerke eingeläutet, die auf massiven Datenmengen trainiert werden. Diese Netzwerke weisen drastische Genauigkeitsverbesserungen bei mehreren grundlegenden Aufgaben der natürlichen Sprachverarbeitung (NLP) auf.

Vor allem die ressourcenhungrigsten Modelle erzielen die höchsten Punktzahlen. Das Trainieren solcher Modelle erfordert jedoch eine enorme Menge an Rechenressourcen, die viel Energie verbrauchen.

Vor kurzem haben Forscher der University of Massachusetts Amherst ein Papier veröffentlicht, in dem sie die Kohlendioxidemissionen von KI-Modellen beschrieben, indem sie eine Lebenszyklusanalyse zum Training großer neuronaler Netze durchführen.

Vor einem Jahrzehnt konnten NLP-Modelle auf einem herkömmlichen Server oder Laptop entwickelt und trainiert werden, aber das ist nicht mehr der Fall. Heutzutage erfordern hochpräzise Modelle mehrere Instanzen von TPUs (Tensor Processing Units) oder GPUs. Forschung und Experimente mit Modellarchitekturen und Hyperparametern haben die Hardwarekosten weiter erhöht.

Der wochenlange Betrieb solcher Hardware hat erhebliche Auswirkungen auf die Umwelt. Obwohl ein Teil dieser Energie aus erneuerbaren Quellen stammt, beschränkt sie sich auf die Technologie, die wir derzeit haben, um sie zu erzeugen und zu speichern. Tatsächlich verfügen die meisten Standorte über genügend Einrichtungen, um Energie aus CO2-neutralen Quellen zu gewinnen.

Kohlenstoffemissionen aus dem Training von NLP-Modellen

In dieser Studie charakterisierten die Forscher die Kohlenstoffemissionen und die Kosten, die sich aus dem Training großer neuronaler Netze ergeben. Sie schätzten, wie viele Kilowatt Energie benötigt werden, um beliebte NLP-Modelle zu entwickeln und abzustimmen. Sie haben es dann in ungefähre Stromkosten und CO2-Emissionen umgerechnet.

Geschätzter CO2-Ausstoß von NLP-Modellen im Vergleich zu anderen bekannten Verbrauchswerten 

Die Ergebnisse zeigen, dass die Entwicklung und Optimierung einer großen NLP-Pipeline 284.000 Kilogramm Kohlendioxid ausstoßen könnte, was dem Fünffachen der Lebensdauer eines durchschnittlichen Autos (einschließlich seines Herstellungsprozesses) entspricht.

Referenz:arXiv:1906.02243

Sowohl die finanziellen als auch die Umweltkosten steigen proportional zur Größe der KI-Modelle. Aber sobald Sie Tuning-Funktionen hinzufügen, um die Genauigkeit des Modells weiter zu verbessern, explodieren die damit verbundenen Kosten.

Genauer gesagt führt die Tuning-Funktion (auch als neuronale Architektursuche bezeichnet) – das Design des Netzwerks durch intensives Ausprobieren iterativ optimiert – zu extrem hohen Kosten für kleine Leistungsverbesserungen.

Angesichts der anhaltenden Trends im Bereich der KI ist die Bedeutung dieser Forschung enorm. Viele KI-Forschungseinrichtungen vernachlässigen die Effizienz, da sich anhand zahlreicher Daten trainierte Netzwerkmodelle als nützlich erwiesen haben.

Lesen Sie:Künstliche Blätter können Kohlendioxid aus der Atmosphäre reduzieren

Obwohl es recheneffiziente Algorithmen gibt, werden sie in der Praxis aufgrund ihrer Inkompatibilität mit den gängigsten Deep-Learning-Frameworks wie TensorFlow und PyTorch kaum zur Optimierung von NLP-Modellen verwendet.

Laut Forschern sollte diese Art von Forschung durchgeführt werden, um das Bewusstsein für die umfassende Nutzung von Ressourcen zu schärfen und eine achtsame Praxis und Politik zu fördern.