Hoeveel elektriciteit verbruikt een AI-query?

Wanneer je een verzoek indient bij een AI-service, reist het verzoek eerst over het internet naar de infrastructuur van de provider. Routingsystemen verifiëren het verzoek, passen veiligheids- en gebruikscontroles toe en leiden het naar een beschikbare inferentieserver. Een load balancer kan kiezen tussen vele machines zodat het gebruikersverkeer wordt verdeeld zonder een deel van het systeem te overbelasten.

De server zet de prompt om in tokens, de numerieke eenheden die door een taalmodel worden verwerkt. Deze tokens en de context van eerdere gesprekken worden in het geheugen van de versneller geladen. GPU's of andere AI-chips voeren vervolgens lagen matrixberekeningen uit over de parameters van het model om het volgende token te voorspellen. Het proces herhaalt zich vele malen totdat het antwoord compleet is of een geconfigureerde limiet bereikt is.

De gegenereerde uitvoer wordt gedecodeerd in tekst en teruggestreamd naar de gebruiker, vaak terwijl latere tokens nog worden berekend. Rond deze zichtbare interactie blijven opslag, netwerken, monitoring, stroomconversie en koelapparatuur actief. Een query gebruikt dus meer dan de elektriciteit die alleen bij de GPU wordt gemeten, ook al voert de versneller meestal het grootste deel van de intensieve berekeningen uit.

AI-inferentie is een actieve berekening in plaats van een eenvoudig ophalen uit een database. Een groot model moet veel numerieke bewerkingen uitvoeren voor elke gegenereerde token, waarbij parameters worden gebruikt die tientallen of honderden gigabytes geheugen in beslag kunnen nemen. Het verplaatsen van deze parameters en tussenliggende waarden tussen geheugen met hoge bandbreedte en processorkernen verbruikt elektriciteit naast de berekeningen zelf.

De hoeveelheid werk groeit met het model, de prompt en de gevraagde output. Lange conversatiegeschiedenissen vereisen meer context om te verwerken, terwijl lange antwoorden de versnellers meer generatiestappen laten uitvoeren. Beeld-, audio- en videosystemen kunnen verschillende verwerkingslijnen of herhaalde verfijningsbewerkingen vereisen, dus een AI-query is niet één gestandaardiseerde werkeenheid.

De overhead van het datacenter speelt ook een rol. Servers hebben stroomvoorzieningen, netwerken, opslag en koeling nodig, en er gaat wat elektriciteit verloren tijdens het omzetten en distribueren van stroom. Exploitanten drukken deze overhead vaak uit in Power Use Effectiveness, of PUE. Een efficiënte faciliteit brengt de totale energie dichter bij de energie die wordt gebruikt door computerapparatuur, terwijl een minder efficiënte faciliteit meer ondersteunende elektriciteit nodig heeft voor dezelfde inferentiebelasting.

Er bestaat geen universeel elektriciteitsverbruik voor een AI-query. Publieke schattingen voor tekstinteracties variëren vaak van fracties van een wattuur tot meerdere watturen, maar het bereik moet worden gezien als een orde van grootte in plaats van een vaste omrekening. Een kort verzoek dat wordt afgehandeld door een geoptimaliseerd, goed gebruikt model kan veel minder energie verbruiken dan een lang antwoord van een groter model dat draait op onderbenutte hardware.

Een wattuur meet energie, niet het momentane vermogen. Een server die bijvoorbeeld een fractie van een seconde veel stroom verbruikt, kan in totaal minder energie verbruiken dan een systeem met een lager vermogen dat veel langer draait. Voor een geloofwaardige schatting per aanvraag is daarom zowel de stroomafname van de apparatuur nodig als de duur en het aandeel van die apparatuur dat kan worden toegeschreven aan de aanvraag.

Vergelijkingen met zoekopdrachten op het web, gloeilampen of het opladen van een telefoon kunnen de schaal gemakkelijker zichtbaar maken, maar verbergen vaak belangrijke aannames. De relevante vraag is niet of elke prompt een specifieke hoeveelheid verbruikt. Het gaat erom welk model het verzoek heeft verwerkt, hoeveel tokens en modaliteiten zijn verwerkt, hoe efficiënt verzoeken zijn gegroepeerd en hoeveel energie voor de infrastructuur is meegenomen in de berekening.

AI-aanbieders publiceren zelden volledige metingen die individuele verzoeken koppelen aan modelgrootte, hardwaregebruik, tokenaantallen en facilitaire overhead. Onderzoekers moeten daarom bekendgemaakte hardwarespecificaties, benchmarkresultaten, geschatte serveertijden en aannames over de efficiëntie van datacenters combineren. Verschillende keuzes bij elke stap kunnen substantieel verschillende antwoorden opleveren.

Batchen is een belangrijke bron van variatie. Een inferentieserver kan meerdere gebruikers samen verwerken, waarbij het laden van het model en de berekeningen over een batch worden verdeeld. Een hoge bezettingsgraad kan de gemiddelde energie die aan elk verzoek wordt toegewezen verlagen, terwijl ongebruikte capaciteit, latentievereisten of verkeerspieken dure hardware gedeeltelijk in gebruik kunnen laten. Nieuwere versnellers kunnen dezelfde werklast ook sneller of met minder joules voltooien.

De grens van de schatting verandert het resultaat ook. Bij sommige berekeningen wordt alleen de energie van de versneller meegerekend; bij andere worden CPU's, geheugen, netwerken, koeling en energieverliezen meegerekend. De meeste cijfers per zoekopdracht laten de energie buiten beschouwing die eerder werd gebruikt om hardware te maken en het model te trainen. Schattingen zijn het meest bruikbaar wanneer de systeemgrens en aannames expliciet zijn, niet wanneer een enkel getal als universeel wordt gepresenteerd.

Training creëert een model of werkt het bij door herhaaldelijk grote datasets te verwerken en de parameters aan te passen. Een grote trainingsrun kan dagen of weken lang duizenden versnellers in beslag nemen, waardoor het een geconcentreerd en zeer zichtbaar computerevenement wordt. Zodra de training is voltooid, kan het resulterende model worden ingezet op vele inferentieservers om gebruikersverzoeken te beantwoorden.

Inferentie is meestal veel kleiner voor één interactie, maar het is continu. Productiesystemen moeten op elk uur reageren, voldoende capaciteit beschikbaar houden voor pieken en gebruikers in meerdere regio's bedienen. Het energieprofiel wordt daarom verdeeld over vele datacenters en herhaald telkens wanneer tekst, afbeeldingen, audio of andere outputs worden gegenereerd.

Van geen van beide werklasten moet automatisch worden aangenomen dat ze het elektriciteitsverbruik van een model gedurende de levensduur domineren. Training kan de grootste afzonderlijke gebeurtenis zijn, vooral voor grensverleggende systemen, terwijl inferentie uiteindelijk groter kan zijn als een dienst maanden- of jarenlang enorm verkeer verwerkt. De balans hangt af van hoe vaak modellen worden bijgeschoold, hoe wijd ze worden ingezet en hoe intensief ze worden gebruikt.

Het belang van AI-query's voor het milieu komt vooral door vermenigvuldiging. Een enkele korte vraag kan een kleine hoeveelheid energie vertegenwoordigen, maar consumentenassistenten, zoekfuncties, codeertools en bedrijfsapplicaties kunnen enorme aantallen verzoeken genereren. Als deze verzoeken voortdurend worden herhaald, wordt de bescheiden hoeveelheid energie per verzoek een aanzienlijke belasting voor het datacenter.

De vraag is niet beperkt tot zichtbare chatbotberichten. Applicaties kunnen meerdere modelaanroepen doen om één gebruikersactie te beantwoorden, aparte modellen gebruiken voor moderatie of ophalen, mislukte aanvragen opnieuw proberen en achtergrondoverzichten of aanbevelingen genereren. Agentic systemen kunnen dit patroon uitbreiden door modellen en softwaretools herhaaldelijk aan te roepen tijdens het uitvoeren van een enkele taak.

Schaal heeft ook invloed op de infrastructuurplanning. Aanbieders bouwen capaciteit op voor groei en piekverkeer, waardoor de vraag naar elektriciteit kan toenemen voordat elke server volledig is gebruikt. De totale impact hangt af van zowel de efficiëntie per query als de snelheid waarmee het gebruik toeneemt. Als de vraag sneller groeit dan de efficiëntie verbetert, kan het totale elektriciteitsverbruik blijven stijgen, zelfs als elke individuele interactie minder energie-intensief wordt.

AI-inferentie zal waarschijnlijk energie-efficiënter worden op het niveau van een vergelijkbare taak. Nieuwe versnellers leveren meer rekenkracht per eenheid elektriciteit, terwijl kwantisering, snoeien, speculatief decoderen en verbeterde modelarchitecturen de bewerkingen die nodig zijn voor bruikbare uitvoer kunnen verminderen. Betere scheduling en batching kunnen ook het hardwaregebruik verhogen zonder de gebruikerservaring te veranderen.

Kleinere gespecialiseerde modellen bieden een ander pad. Een dienst heeft niet altijd het grootste model nodig voor classificatie, extractie of routinevragen. Het routeren van eenvoudig werk naar compacte modellen, het beperken van onnodige context en het cachen van herbruikbare resultaten kan zowel de latentie als het elektriciteitsverbruik verminderen. Datacenters kunnen de totale efficiëntie verder verbeteren door middel van stroomvoorziening, koeling en het plaatsen van werklasten.

Efficiëntie garandeert geen lager algemeen verbruik. Snellere en goedkopere AI kan leiden tot meer toepassingen, langere interacties en nieuwe rekenintensieve functies, een effect dat soms wordt omschreven als rebound demand. De toekomstige elektriciteitsvoetafdruk van AI-queries zal daarom afhangen van twee concurrerende trends: hoe snel elke eenheid nuttig werk efficiënter wordt en hoe snel het totale volume en de complexiteit van AI-gebruik groeit.