KI und Nachhaltigkeit

Kurs: KI und Nachhaltigkeit | OnCourse UB

• Lektion 1
  • Aktivität Energieverbrauch und Carbon Footprint großer Sprachmodelle auswählen

    Energieverbrauch und Carbon Footprint großer Sprachmodelle

    Technologische Fortschritte beim Maschinellen Lernen ermöglichen es Systemen, immer komplexer zu werden, und die Größe von ML-Modellen sowie die Menge der für ihr Training verwendeten Daten haben in den letzten Jahren erheblich zugenommen (insbesondere im Bereich der natürlichen Sprachverarbeitung).

    Dieser Anstieg führt darüber hinaus dazu, dass immer mehr Rechenressourcen für die Entwicklung und das Training von KI-Modellen benötigt werden. Auch wenn die Effizienz der Rechenhardware im gleichen Zeitraum erheblich gestiegen ist und der Energieverbrauch pro Berechnung exponentiell gesunken ist, wurde diese Entwicklung durch den Trend zu immer ausgefeilteren KI-Systemen mit einer verbesserten Vorhersagequalität überlagert.

    Während die zunehmende Größe von ML-Modellen zunächst mit einer starken Leistungssteigerung in verschiedenen Bereichen einherging, werden nun immer deutlicher abnehmende Leistungssteigerungen sichtbar, sodass jede Verbesserung nun mit einem unverhältnismäßig hohen Energieverbrauch einhergeht (Thompson et al., 2021).

    Mit der fortschreitenden Verbreitung der KI-Nutzung gewinnen der Ressourcenverbrauch von KI-Systemen im Allgemeinen und die damit verbundenen ökologischen Folgen zunehmend an Bedeutung.

    

    Vertiefung

    CO2-Emissionen entstehen proportional zum Energieverbrauch in allen Lebenszyklen des KI-Systems. Wenn Systeme effizienter werden und der Energieverbrauch sinkt, können auch die CO2-Emissionen reduziert werden.

    Neben dem Energieverbrauch selbst hängen die CO2-Emissionen auch vom Zeitpunkt und Ort des Verbrauchs ab. Diese beiden Faktoren spielen eine Rolle für die CO2-Intensität des Energiemixes eines Rechenzentrums. CO2-Emissionen können reduziert werden, indem

    1. Rechenaufwände an Standorte mit geringerer Kohlenstoffintensität verlagert werden und

    2. Systeme zu Zeiten mit hoher regenerativer Energieerzeugung trainiert und eingesetzt werden.

    Viele der großen Technologieunternehmen haben sich zum Ziel gesetzt klimaneutral zu werden, und nutzen erneuerbare Energien.

    Grundsätzlich gilt

    Selbst, wenn die angestrebte bilanzielle Klimaneutralität durch eine Erhöhung der verfügbaren erneuerbaren Energien erreicht wird, reicht diese Erhöhung nicht aus, um den damit einhergehenden Anstieg des Gesamtenergiebedarfs zu decken.

    Die entsprechenden zusätzlichen Erzeugungskapazitäten für erneuerbare Energien müssen trotzdem geschaffen werden, und dieser zusätzliche Energiebedarf konkurriert mit anderen Stromverbrauchern wie elektrifizierten Mobilitätssystemen. Deshalb ist eine absolute Reduzierung des Energieverbrauchs – auch und insbesondere im Hinblick auf die Nutzung digitaler Infrastruktur – für den Klimaschutz von besonderer Bedeutung.

    In einer aktuellen Studie von Luccioni et al. (2022) wurden der Stromverbrauch und die daraus resultierenden CO2-Emissionen mehrerer LLMs verglichen, um das Ausmaß der Emissionen von LLMs unterschiedlicher Größe zu untersuchen.

    Sie stellten fest, dass das Training eines LLM je nach der für das Training verwendeten Energiequelle und deren Kohlenstoffintensität zwischen 30 und 552 Tonnen CO2-Äquivalente emittiert (siehe folgende Grafik) , wenn man die Stromeffizienz (Power Usage Effectiveness) des Rechenzentrums und die Kohlenstoffintensität des verwendeten Stromnetzes berücksichtigt (Luccioni et al., 2022).

    Manche Energienetze sind emissionsärmer, weil sie einen höheren Anteil an erneuerbaren oder CO₂-armen Energiequellen im Strommix haben und effizienter arbeiten. Deshalb kann das Training desselben LLM – abhängig vom Standort des Rechenzentrums – um ein Vielfaches mehr oder weniger Emissionen verursachen.

    Hinweis

    Diese Berechnung berücksichtigt jedoch weder die Herstellung der für das Training der Modelle verwendeten Hardware noch die Emissionen, die beim Einsatz dieser Modelle entstehen.

    

  • Aktivität Quiz GPT 3 auswählen