Hur mycket el förbrukar en AI-fråga?

När du skickar en fråga till en AI-tjänst färdas begäran först över internet till leverantörens infrastruktur. Routningssystem autentiserar begäran, tillämpar säkerhets- och användningskontroller och styr den mot en tillgänglig inferensserver. En lastutjämnare kan välja mellan många maskiner så att användartrafiken fördelas utan att överbelasta en del av systemet.

Servern omvandlar meddelandet till tokens, de numeriska enheter som bearbetas av en språkmodell. Dessa tokens och eventuella tidigare konversationssammanhang laddas in i acceleratorminnet. GPU:er eller andra AI-chip utför sedan lager av matrisberäkningar över modellens parametrar för att förutsäga nästa token. Processen upprepas många gånger tills svaret är komplett eller når en konfigurerad gräns.

Det som genereras avkodas till text och strömmas tillbaka till användaren, ofta medan senare tokens fortfarande beräknas. Runt denna synliga interaktion är lagrings-, nätverks-, övervaknings-, strömomvandlings- och kylningsutrustning fortfarande aktiv. En fråga använder därför mer än den el som mäts enbart vid GPU:n, även om acceleratorn vanligtvis utför de flesta intensiva beräkningarna.

AI-inferens är en aktiv beräkning snarare än en enkel hämtning från en databas. En stor modell måste utvärdera många numeriska operationer för varje genererad token, med hjälp av parametrar som kan uppta tiotals eller hundratals gigabyte minne. Att flytta dessa parametrar och mellanliggande värden mellan minne med hög bandbredd och processorkärnor förbrukar el vid sidan av själva beräkningarna.

Mängden arbete växer med modellen, frågan och den begärda utdata. Långa konversationshistoriker kräver mer kontext för att bearbetas, medan långa svar håller acceleratorerna igång för fler genereringssteg. Bild-, ljud- och videosystem kan kräva olika bearbetningspipelines eller upprepade förfiningsoperationer, så en AI-fråga är inte en standardiserad arbetsenhet.

Datacentrets overheadkostnader spelar också roll. Servrar behöver strömförsörjning, nätverk, lagring och kylning, och en del el går förlorad vid omvandling och distribution av ström. Operatörerna uttrycker ofta denna overhead genom PUE (Power Usage Effectiveness). En effektiv anläggning för den totala energin närmare den energi som används av datorutrustningen, medan en mindre effektiv anläggning kräver mer stödjande el för samma arbetsbelastning för inferens.

Det finns inget universellt elvärde för en AI-fråga. Offentliga uppskattningar för textinteraktioner varierar ofta från bråkdelar av en watt-timme till flera watt-timmar, men intervallet bör betraktas som en storleksordning snarare än en fast omvandling. En kort förfrågan som hanteras av en optimerad, välutnyttjad modell kan använda mycket mindre energi än ett långt svar från en större modell som körs på underutnyttjad hårdvara.

En wattimme mäter energi, inte momentan effekt. Till exempel kan en server som drar mycket ström under en bråkdel av en sekund använda mindre total energi än ett system med lägre effekt som körs under mycket längre tid. En trovärdig uppskattning per förfrågan kräver därför både utrustningens effektuttag och den varaktighet och andel av utrustningen som kan hänföras till förfrågan.

Jämförelser med webbsökningar, glödlampor eller telefonladdning kan göra skalan lättare att visualisera, men de döljer ofta viktiga antaganden. Den relevanta frågan är inte om varje prompt förbrukar en specifik mängd. Det handlar om vilken modell som hanterade förfrågan, hur många tokens och modaliteter som bearbetades, hur effektivt förfrågningar grupperades och hur mycket infrastrukturenergi som inkluderades i beräkningen.

AI-leverantörer publicerar sällan fullständiga mätningar som kopplar enskilda förfrågningar till modellstorlek, hårdvaruutnyttjande, antal token och anläggningens omkostnader. Forskare måste därför kombinera offentliggjorda hårdvaruspecifikationer, benchmarkresultat, beräknade serveringstider och antaganden om datacentrets effektivitet. Olika val i varje steg kan ge väsentligt olika svar.

Batchning är en viktig källa till variation. En inferensserver kan bearbeta flera användare tillsammans och dela modellbelastning och beräkning över en batch. Hög utnyttjandegrad kan minska den genomsnittliga energi som tilldelas varje begäran, medan ledig kapacitet, latensbehov eller trafiktoppar kan leda till att dyr hårdvara används delvis. Nyare acceleratorer kan också slutföra samma arbetsbelastning snabbare eller med färre joule.

Gränsen för beräkningen ändrar också resultatet. I vissa beräkningar räknas endast acceleratorns energi, i andra ingår processorer, minne, nätverk, kylning och energiförluster. De flesta siffror per fråga exkluderar den tidigare energin som används för att tillverka hårdvara och träna modellen. Uppskattningar är mest användbara när deras systemgränser och antaganden är tydliga, inte när en enda siffra presenteras som universell.

Träning skapar eller uppdaterar en modell genom att upprepade gånger bearbeta stora datamängder och justera dess parametrar. En stor träningskörning kan uppta tusentals acceleratorer i dagar eller veckor, vilket gör det till en koncentrerad och mycket synlig datorhändelse. När träningen är klar kan den resulterande modellen distribueras över många inferensservrar för att svara på användarförfrågningar.

Inferens är vanligtvis mycket mindre för en interaktion, men den är kontinuerlig. Produktionssystem måste svara när som helst, ha tillräckligt med kapacitet tillgänglig för toppar och betjäna användare i flera regioner. Energiprofilen är därför fördelad över många datacenter och upprepas varje gång text, bilder, ljud eller andra utdata genereras.

Ingen av arbetsbelastningarna bör automatiskt antas dominera en modells elanvändning under hela dess livstid. Träning kan vara den största enskilda händelsen, särskilt för gränssystem, medan inferens så småningom kan överstiga den när en tjänst hanterar enorm trafik under månader eller år. Balansen beror på hur ofta modeller omskolas, hur brett de används och hur intensivt människor använder dem.

Den miljömässiga betydelsen av AI-förfrågningar kommer främst från multiplikation. En enda kort fråga kan motsvara en liten mängd energi, men konsumentassistenter, sökfunktioner, kodningsverktyg och affärsapplikationer kan generera ett stort antal förfrågningar. Om detta upprepas kontinuerligt blir den blygsamma energimängden per förfrågan en betydande belastning för datacentret.

Efterfrågan är inte begränsad till synliga chatbot-meddelanden. Applikationer kan göra flera modellanrop för att svara på en användaråtgärd, använda separata modeller för moderering eller hämtning, försöka om misslyckade förfrågningar och generera bakgrundssammanfattningar eller rekommendationer. Agentiska system kan utöka detta mönster genom att anropa modeller och programvaruverktyg upprepade gånger medan de utför en enda uppgift.

Skalan påverkar också planeringen av infrastrukturen. Leverantörer bygger kapacitet för tillväxt och trafiktoppar, vilket kan öka efterfrågan på el innan varje server är fullt utnyttjad. Den totala effekten beror både på effektiviteten per fråga och på hur snabbt användningen ökar. Om efterfrågan växer snabbare än effektiviteten förbättras kan den totala elförbrukningen fortsätta att öka även om varje enskild interaktion blir mindre energikrävande.

AI-inferens kommer sannolikt att bli mer energieffektivt på samma nivå som en jämförbar uppgift. Nya acceleratorer ger mer beräkning per elenhet, medan kvantisering, beskärning, spekulativ avkodning och förbättrade modellarkitekturer kan minska de operationer som krävs för användbar utdata. Bättre schemaläggning och batchning kan också öka hårdvaruutnyttjandet utan att förändra användarupplevelsen.

Mindre specialiserade modeller erbjuder en annan väg. En tjänst behöver inte alltid sin största modell för klassificering, extraktion eller rutinfrågor. Genom att dirigera enkelt arbete till kompakta modeller, begränsa onödiga sammanhang och cachelagra återanvändbara resultat kan man minska både latens och elförbrukning. Datacenter kan ytterligare förbättra den totala effektiviteten genom strömförsörjning, kylning och placering av arbetsbelastning.

Effektivitet garanterar inte lägre total konsumtion. Snabbare och billigare AI kan uppmuntra till fler applikationer, längre interaktioner och nya beräkningsintensiva funktioner, en effekt som ibland beskrivs som rebound demand. Det framtida elavtrycket från AI-frågor kommer därför att bero på två konkurrerande trender: hur snabbt varje enhet av nyttigt arbete blir mer effektiv och hur snabbt den totala volymen och komplexiteten i AI-användningen växer.