Training großer neuronaler Netze emittiert 284.000 kg CO₂ – entspricht 5 Autolebenszyklen

Umweltkosten von KI: Lebenszyklusanalyse für NLP-Modelle

Forscher der University of Massachusetts Amherst quantifizierten CO₂-Emissionen beim Training großer neuronaler Netze. Ergebnisse sind alarmierend.

Energiehunger moderner NLP-Modelle

Vor einem Jahrzehnt: Training auf Standard-Server/Laptop. Heute: Hochpräzise Modelle benötigen mehrere TPUs/GPUs über Wochen. Architektur- und Hyperparameter-Suche treibt Hardware-Kosten weiter.

Ein Teil der Energie stammt aus Erneuerbaren, aber begrenzt. Die meisten Standorte haben keine CO₂-neutrale Energieversorgung.

Messung: CO₂-Emissionen gängiger NLP-Pipelines

Forscher schätzten Kilowattstunden für Entwicklung/Tuning populärer NLP-Modelle, wandelten in Stromkosten und CO₂ um.

Kernbefunde

• Entwicklung + Optimierung großer NLP-Pipeline: 284.000 kg CO₂ = 5× Lebenszyklusemission eines Durchschnitts-PKW (inkl. Herstellung).
• Kosten steigen proportional zur Modellgröße.
• Neural Architecture Search (Tuning) explodiert Kosten bei marginalen Genauigkeitsgewinnen.

Problem und Lösungsansätze

KI-Forschung vernachlässigt Effizienz (große Modelle auf vielen Daten funktionieren gut). Rechen-effiziente Algorithmen existieren, sind aber inkompatibel mit TensorFlow/PyTorch.

Forderung: Mehr Bewusstsein für Ressourcenverbrauch, bewusste Praxis und Policy. Forschung in diese Richtung essenziell.

Quelle: arXiv:1906.02243