Wie viel Strom verbraucht eine KI-Abfrage?

Wenn Sie einen Prompt an einen KI-Dienst senden, wird die Anfrage zunächst über das Internet an die Infrastruktur des Anbieters weitergeleitet. Routing-Systeme authentifizieren die Anfrage, wenden Sicherheits- und Nutzungskontrollen an und leiten sie an einen verfügbaren Inferenzserver weiter. Ein Load Balancer kann zwischen vielen Maschinen wählen, so dass der Benutzerverkehr verteilt wird, ohne einen Teil des Systems zu überlasten.

Der Server wandelt den Prompt in Token um, also in numerische Einheiten, die von einem Sprachmodell verarbeitet werden. Diese Token und alle vorherigen Gesprächskontexte werden in den Speicher des Beschleunigers geladen. GPUs oder andere KI-Chips führen dann Schichten von Matrixberechnungen über die Parameter des Modells durch, um das nächste Token vorherzusagen. Der Prozess wird so oft wiederholt, bis die Antwort vollständig ist oder eine konfigurierte Grenze erreicht hat.

Die erzeugte Ausgabe wird in Text dekodiert und an den Benutzer zurückgesendet, oft noch während der Berechnung späterer Token. Um diese sichtbare Interaktion herum bleiben Speicher-, Netzwerk-, Überwachungs-, Energieumwandlungs- und Kühlungsanlagen aktiv. Eine Abfrage verbraucht daher mehr als nur den an der GPU gemessenen Strom, obwohl der Beschleuniger in der Regel den Großteil der intensiven Berechnungen durchführt.

KI-Schlussfolgerungen sind aktive Berechnungen und keine einfachen Abrufe aus einer Datenbank. Ein großes Modell muss für jedes generierte Token viele numerische Operationen auswerten, wobei Parameter verwendet werden, die Dutzende oder Hunderte von Gigabyte an Speicherplatz belegen können. Das Verschieben dieser Parameter und Zwischenwerte zwischen dem Speicher mit hoher Bandbreite und den Prozessorkernen verbraucht neben den eigentlichen Berechnungen auch Strom.

Der Arbeitsaufwand wächst mit dem Modell, dem Prompt und der gewünschten Ausgabe. Lange Gesprächsverläufe erfordern mehr Kontext, der verarbeitet werden muss, während lange Antworten die Beschleuniger für mehr Generierungsschritte in Gang halten. Bild-, Audio- und Videosysteme können unterschiedliche Verarbeitungspipelines oder wiederholte Verfeinerungsoperationen erfordern, so dass eine KI-Anfrage keine standardisierte Arbeitseinheit darstellt.

Auch die Gemeinkosten eines Rechenzentrums spielen eine Rolle. Server benötigen Stromversorgungen, Netzwerke, Speicher und Kühlung, und ein Teil des Stroms geht bei der Stromumwandlung und -verteilung verloren. Betreiber drücken diesen Aufwand oft durch die Stromverbrauchseffektivität (PUE) aus. Eine effiziente Einrichtung bringt die Gesamtenergie näher an die von der Computerausrüstung verbrauchte Energie heran, während eine weniger effiziente Einrichtung mehr unterstützende Elektrizität für dieselbe Arbeitslast benötigt.

Es gibt keine allgemeingültige Stromverbrauchsangabe für eine KI-Abfrage. Öffentliche Schätzungen für Textinteraktionen reichen in der Regel von Bruchteilen einer Wattstunde bis zu mehreren Wattstunden, aber die Spanne sollte als Größenordnung und nicht als feste Umrechnung betrachtet werden. Eine kurze Anfrage, die von einem optimierten, gut ausgelasteten Modell bearbeitet wird, kann sehr viel weniger Energie verbrauchen als eine lange Antwort von einem größeren Modell, das auf unzureichend genutzter Hardware läuft.

Eine Wattstunde misst die Energie, nicht die momentane Leistung. So kann beispielsweise ein Server, der für den Bruchteil einer Sekunde viel Strom verbraucht, insgesamt weniger Energie verbrauchen als ein System mit geringerem Stromverbrauch, das viel länger läuft. Für eine glaubwürdige Schätzung pro Anfrage sind daher sowohl die Leistungsaufnahme des Geräts als auch die Dauer und der Anteil des Geräts, der auf die Anfrage zurückzuführen ist, erforderlich.

Vergleiche mit Internetsuchen, Glühbirnen oder dem Aufladen von Handys können die Skala zwar anschaulicher machen, verdecken aber oft wichtige Annahmen. Die entscheidende Frage ist nicht, ob jeder Prompt eine bestimmte Menge verbraucht. Es geht darum, welches Modell die Anfrage bedient hat, wie viele Token und Modalitäten verarbeitet wurden, wie effizient die Anfragen gruppiert wurden und wie viel Infrastrukturenergie in die Berechnung eingeflossen ist.

KI-Anbieter veröffentlichen nur selten vollständige Messungen, die einzelne Anfragen mit der Modellgröße, der Hardwareauslastung, der Anzahl der Token und den Gemeinkosten der Einrichtung in Verbindung bringen. Forscher müssen daher die offengelegten Hardwarespezifikationen, Benchmark-Ergebnisse, geschätzte Servicezeiten und Annahmen zur Effizienz des Rechenzentrums kombinieren. Unterschiedliche Entscheidungen bei jedem Schritt können zu deutlich unterschiedlichen Antworten führen.

Batching ist eine wichtige Quelle für Variationen. Ein Inferenzserver kann mehrere Benutzer gemeinsam bearbeiten und die Modellbelastung und die Berechnungen auf einen Stapel verteilen. Eine hohe Auslastung kann die durchschnittliche Energie, die jeder Anfrage zugewiesen wird, verringern, während ungenutzte Kapazitäten, Latenzanforderungen oder Verkehrsspitzen dazu führen können, dass teure Hardware nur teilweise genutzt wird. Neuere Beschleuniger können dieselbe Arbeitslast auch schneller oder mit weniger Joule bewältigen.

Auch die Grenzen der Schätzung verändern das Ergebnis. Bei einigen Berechnungen wird nur die Energie des Beschleunigers berücksichtigt, bei anderen werden CPUs, Speicher, Netzwerke, Kühlung und Leistungsverluste einbezogen. Die meisten Zahlen pro Abfrage schließen die Energie aus, die früher für die Herstellung der Hardware und das Training des Modells verwendet wurde. Schätzungen sind am nützlichsten, wenn die Systemgrenzen und Annahmen eindeutig sind, und nicht, wenn eine einzige Zahl als allgemeingültig dargestellt wird.

Beim Training wird ein Modell durch wiederholte Verarbeitung großer Datensätze und Anpassung seiner Parameter erstellt oder aktualisiert. Ein umfangreicher Trainingslauf kann Tausende von Beschleunigern über Tage oder Wochen hinweg beschäftigen, was ihn zu einem konzentrierten und unübersehbaren Rechenereignis macht. Sobald das Training abgeschlossen ist, kann das resultierende Modell auf vielen Inferenzservern eingesetzt werden, um Benutzeranfragen zu beantworten.

Der Aufwand für eine Interaktion ist in der Regel viel geringer, aber er ist kontinuierlich. Produktionssysteme müssen zu jeder Stunde reagieren, genügend Kapazität für Spitzenzeiten bereithalten und Nutzer in mehreren Regionen bedienen. Das Energieprofil ist daher auf viele Rechenzentren verteilt und wird jedes Mal wiederholt, wenn Text, Bilder, Audio oder andere Ausgaben erzeugt werden.

Bei keiner der beiden Arbeitslasten sollte automatisch davon ausgegangen werden, dass sie den Stromverbrauch eines Modells über die gesamte Lebensdauer dominiert. Das Training kann das größte Einzelereignis sein, vor allem bei Spitzensystemen, während die Inferenz den Stromverbrauch schließlich übersteigen kann, wenn ein Dienst über Monate oder Jahre hinweg einen enormen Datenverkehr bewältigt. Das Gleichgewicht hängt davon ab, wie oft Modelle neu trainiert werden, wie weit sie verbreitet sind und wie intensiv sie genutzt werden.

Die ökologische Bedeutung von KI-Anfragen ergibt sich in erster Linie aus der Multiplikation. Ein einziger kurzer Prompt mag eine geringe Energiemenge darstellen, doch Verbraucherassistenten, Suchfunktionen, Codierungstools und Geschäftsanwendungen können eine enorme Anzahl von Anfragen erzeugen. Bei ständiger Wiederholung wird die bescheidene Energie pro Anfrage zu einer erheblichen Belastung für das Rechenzentrum.

Die Nachfrage ist nicht auf sichtbare Chatbot-Nachrichten beschränkt. Anwendungen können mehrere Modellaufrufe tätigen, um eine Benutzeraktion zu beantworten, separate Modelle für die Moderation oder Abfrage verwenden, fehlgeschlagene Anfragen wiederholen und Hintergrundzusammenfassungen oder Empfehlungen generieren. Agentensysteme können dieses Muster erweitern, indem sie Modelle und Softwaretools wiederholt aufrufen, während sie eine einzelne Aufgabe erledigen.

Die Größe wirkt sich auch auf die Infrastrukturplanung aus. Die Anbieter bauen Kapazitäten für Wachstum und Spitzenverkehr auf, was den Strombedarf erhöhen kann, bevor jeder Server voll ausgelastet ist. Die Gesamtauswirkungen hängen sowohl von der Effizienz pro Anfrage als auch von der Geschwindigkeit ab, mit der die Nutzung zunimmt. Wenn die Nachfrage schneller wächst als die Effizienz, kann der Gesamtstromverbrauch weiter steigen, auch wenn jede einzelne Interaktion weniger energieintensiv ist.

Die KI-Inferenz wird wahrscheinlich auf der Ebene einer vergleichbaren Aufgabe energieeffizienter werden. Neue Beschleuniger liefern mehr Berechnungen pro Stromeinheit, während Quantisierung, Pruning, spekulative Dekodierung und verbesserte Modellarchitekturen die für nützliche Ergebnisse erforderlichen Operationen reduzieren können. Bessere Planung und Stapelverarbeitung können ebenfalls die Hardwareauslastung erhöhen, ohne die Benutzererfahrung zu verändern.

Kleinere spezialisierte Modelle bieten einen anderen Weg. Ein Dienst braucht nicht immer sein größtes Modell für Klassifizierung, Extraktion oder Routinefragen. Die Weiterleitung einfacher Aufgaben an kompakte Modelle, die Beschränkung unnötigen Kontexts und die Zwischenspeicherung wiederverwendbarer Ergebnisse können sowohl die Latenzzeit als auch den Stromverbrauch verringern. Rechenzentren können die Gesamteffizienz durch Stromzufuhr, Kühlung und Platzierung der Arbeitslast weiter verbessern.

Effizienz ist keine Garantie für einen niedrigeren Gesamtverbrauch. Schnellere und billigere KI kann mehr Anwendungen, längere Interaktionen und neue rechenintensive Funktionen fördern, ein Effekt, der manchmal als Rebound-Nachfrage beschrieben wird. Der künftige Stromverbrauch von KI-Anfragen wird daher von zwei konkurrierenden Trends abhängen: wie schnell jede Einheit nützlicher Arbeit effizienter wird und wie schnell das Gesamtvolumen und die Komplexität der KI-Nutzung zunehmen.