Warum generative KI immer mehr Ressourcen verschlingt
Frage
Mit der zunehmenden Verbreitung Generativen KI steigt auch deren Energiehunger. Aber warum ist das eigentlich so?
In den letzten Jahren haben sich die dominanten Architekturen in der KI stark gewandelt. Zunächst waren Transformermodelle der entscheidende Durchbruch: Sie ersetzten rekurrente Netze durch den Aufmerksamkeitsmechanismus (Self Attention, siehe Kapitel 1), wodurch Sprachmodelle wie GPT trainiert und skaliert werden konnten.
Doch während Transformer hervorragend für Sequenzen geeignet sind, zeigte sich bei der Generierung von Bildern und Videos, dass andere Ansätze noch leistungsfähiger sein können. Hier kamen die Diffusionsmodelle ins Spiel. Sie arbeiten nach einem völlig anderen Prinzip: Zunächst wird ein Bild Schritt für Schritt verrauscht, anschließend wird dieser Rauschprozess in vielen kleinen Iterationen rückwärtsgerechnet, bis wieder ein plausibles Bild entsteht.
Diffusionsmodell
Im folgenden Video wird noch einmal bildlich erläutert, wie ein Diffusionsmodell funktioniert:
(Beachten Sie: Mit dem Abspielen des Links werden Sie auf YouTube weitergeleitet, Sie stimmen damit den Datennutzungen dieses Unternehmens zu. Die Nutzung des Links ist freiwillig.)
Der Energieverbrauch unterscheidet sich dadurch erheblich. Während Transformer-Modelle für Textgenerierung meist nur wenige Millisekunden pro Token benötigen, summiert sich die Rechenzeit bei Diffusionsmodellen über viele Iterationen. Studien haben gezeigt, dass die Bildgenerierung daher um ein Vielfaches energieintensiver ist als Textausgaben vergleichbarer Länge.
Luccioni, Jernite und Strubell (2024) weisen in ihrer Analyse von Energie- und Hardwarekosten im Rahmen der FAccT-Konferenz darauf hin, dass gerade Inference-Workloads bei generativen Modellen erheblich unterschätzt werden. Sie zeigen, dass Bildgenerierung nicht nur mehr Rechenzyklen, sondern auch spezialisierte Hardware mit hohem Energiebedarf beansprucht. Zudem ist die Nachfrage nach Bild- und Videoinhalten besonders hoch, was die Energiebilanz von KI-Systemen im praktischen Einsatz weiter belastet.
Ein zusätzlicher Aspekt ist die Speicher- und Bandbreitenbelastung. Diffusionsmodelle arbeiten mit hochdimensionalen Bildrepräsentationen, deren Zwischenschritte ständig gespeichert und verarbeitet werden müssen. Dies erhöht nicht nur die benötigte Rechenleistung, sondern auch den Energiebedarf für Speicherzugriffe und Datenbewegungen innerhalb der Hardware. Bei Sprachmodellen sind die Zwischendarstellungen deutlich kompakter, sodass weniger zusätzliche Energie für Datenmanagement aufgebracht werden muss.
