Hvor mye strøm bruker en AI-spørring?

Når du sender en forespørsel til en AI-tjeneste, sendes den først over Internett til leverandørens infrastruktur. Routing-systemer autentiserer forespørselen, bruker sikkerhets- og brukskontroller og dirigerer den mot en tilgjengelig inferensserver. En lastbalanserer kan velge mellom mange maskiner slik at brukertrafikken fordeles uten å overbelaste én del av systemet.

Serveren konverterer ledeteksten til tokens, de numeriske enhetene som behandles av en språkmodell. Disse symbolene og eventuell tidligere samtalekontekst lastes inn i akseleratorminnet. GPU-er eller andre AI-brikker utfører deretter lag med matriseberegninger på tvers av modellens parametere for å forutsi neste token. Prosessen gjentas mange ganger til svaret er komplett eller når en konfigurert grense.

Det genererte resultatet dekodes til tekst og strømmes tilbake til brukeren, ofte mens senere tokens fortsatt beregnes. Rundt denne synlige interaksjonen er utstyr for lagring, nettverk, overvåking, strømkonvertering og kjøling fortsatt aktivt. En spørring bruker derfor mer strøm enn det som måles på GPU-en alene, selv om akseleratoren vanligvis utfører det meste av de intensive beregningene.

AI-inferens er en aktiv beregning snarere enn en enkel henting fra en database. En stor modell må evaluere mange numeriske operasjoner for hvert genererte token, ved hjelp av parametere som kan oppta titalls eller hundrevis av gigabyte med minne. Å flytte disse parameterne og mellomliggende verdier mellom minne med høy båndbredde og prosessorkjerner bruker strøm i tillegg til selve beregningene.

Arbeidsmengden vokser med modellen, ledeteksten og det ønskede resultatet. Lange samtalehistorier krever mer kontekst for å bli behandlet, mens lange svar holder akseleratorene i gang i flere genereringstrinn. Bilde-, lyd- og videosystemer kan kreve ulike prosesseringsrørledninger eller gjentatte foredlingsoperasjoner, slik at en AI-spørring ikke er én standardisert arbeidsenhet.

Datacenterets overheadkostnader har også betydning. Servere trenger strømforsyning, nettverk, lagring og kjøling, og noe strøm går tapt under strømkonvertering og -distribusjon. Operatørene uttrykker ofte disse kostnadene gjennom PUE (Power Usage Effectiveness). Et effektivt anlegg bringer den totale energien nærmere den energien som brukes av databehandlingsutstyret, mens et mindre effektivt anlegg krever mer strøm for den samme arbeidsmengden.

Det finnes ikke noe universelt tall for strømforbruk for en AI-spørring. Offentlige estimater for tekstinteraksjoner varierer ofte fra brøkdeler av en watt-time til flere watt-timer, men intervallet bør betraktes som en størrelsesorden snarere enn en fast omregning. En kort forespørsel som håndteres av en optimalisert, godt utnyttet modell, kan bruke mye mindre energi enn et langt svar fra en større modell som kjører på underutnyttet maskinvare.

En watt-time måler energi, ikke momentan effekt. For eksempel kan en server som bruker mye strøm i en brøkdel av et sekund, bruke mindre total energi enn et system med lavere effekt som kjører mye lenger. Et troverdig estimat per forespørsel trenger derfor både utstyrets strømforbruk og varigheten og andelen av utstyret som kan tilskrives forespørselen.

Sammenligninger med nettsøk, lyspærer eller telefonlading kan gjøre skalaen lettere å visualisere, men de skjuler ofte viktige forutsetninger. Det relevante spørsmålet er ikke om hver melding bruker en bestemt mengde. Det er hvilken modell som betjente forespørselen, hvor mange tokens og modaliteter som ble behandlet, hvor effektivt forespørslene ble gruppert, og hvor mye infrastrukturenergi som ble tatt med i beregningen.

AI-leverandører publiserer sjelden fullstendige målinger som kobler individuelle forespørsler til modellstørrelse, maskinvareutnyttelse, antall tokener og anleggsoverhead. Forskere må derfor kombinere offentliggjorte maskinvarespesifikasjoner, referanseresultater, estimerte serveringstider og antakelser om datasenterets effektivitet. Ulike valg på ethvert trinn kan gi vesentlig forskjellige svar.

Batching er en viktig kilde til variasjon. En inferensserver kan behandle flere brukere sammen og dele modellbelastning og beregninger på tvers av en gruppe. Høy utnyttelse kan redusere den gjennomsnittlige energien som tilordnes hver forespørsel, mens ledig kapasitet, ventetidskrav eller trafikktopper kan føre til at kostbar maskinvare blir delvis brukt. Nyere akseleratorer kan også fullføre den samme arbeidsmengden raskere eller med færre joule.

Avgrensningen av estimatet endrer også resultatet. Noen beregninger teller bare akseleratorenergi, mens andre inkluderer CPU-er, minne, nettverk, kjøling og strømtap. De fleste tall per spørring ekskluderer den tidligere energien som ble brukt til å produsere maskinvare og trene opp modellen. Estimater er mest nyttige når systemgrensene og forutsetningene er eksplisitte, ikke når ett enkelt tall presenteres som universelt.

Trening skaper eller oppdaterer en modell ved å behandle store datasett gjentatte ganger og justere parametrene. En stor treningskjøring kan ta opp tusenvis av akseleratorer i flere dager eller uker, noe som gjør det til en konsentrert og svært synlig databehandlingshendelse. Når treningen er fullført, kan den resulterende modellen distribueres på mange inferensservere for å svare på brukerforespørsler.

Inferens er vanligvis mye mindre for én interaksjon, men den er kontinuerlig. Produksjonssystemene må svare når som helst, ha nok kapasitet tilgjengelig for topper og betjene brukere i flere regioner. Energiprofilen er derfor fordelt på mange datasentre og gjentas hver gang det genereres tekst, bilder, lyd eller andre utdata.

Ingen av arbeidsbelastningene bør automatisk antas å dominere en modells strømforbruk gjennom hele levetiden. Trening kan være den største enkelthendelsen, spesielt for systemer som er i startfasen, mens utledning av inferens etter hvert kan overgå dette når en tjeneste håndterer enorm trafikk over måneder eller år. Balansen avhenger av hvor ofte modellene trenes opp på nytt, hvor utbredt de er, og hvor intensivt folk bruker dem.

Den miljømessige betydningen av AI-forespørsler kommer først og fremst fra multiplikasjon. En enkelt kort spørring kan utgjøre en liten energimengde, men forbrukerassistenter, søkefunksjoner, kodingsverktøy og forretningsapplikasjoner kan generere et stort antall forespørsler. Når dette gjentas kontinuerlig, blir den beskjedne energimengden per forespørsel en betydelig belastning for datasenteret.

Etterspørselen er ikke begrenset til synlige chatbot-meldinger. Applikasjoner kan gjøre flere modellanrop for å svare på én brukerhandling, bruke separate modeller for moderering eller gjenfinning, prøve mislykkede forespørsler på nytt og generere bakgrunnsoppsummeringer eller anbefalinger. Agentiske systemer kan utvide dette mønsteret ved å anrope modeller og programvareverktøy gjentatte ganger mens de utfører en enkelt oppgave.

Skala påvirker også planleggingen av infrastrukturen. Leverandørene bygger kapasitet for vekst og trafikktopper, noe som kan øke strømbehovet før hver server er fullt utnyttet. Den totale effekten avhenger både av effektiviteten per forespørsel og hvor raskt bruken øker. Hvis etterspørselen vokser raskere enn effektiviteten forbedres, kan det samlede strømforbruket fortsette å stige selv om hver enkelt interaksjon blir mindre energikrevende.

AI-inferens vil sannsynligvis bli mer energieffektiv på nivå med en sammenlignbar oppgave. Nye akseleratorer gir mer beregning per strømenhet, mens kvantisering, beskjæring, spekulativ avkoding og forbedrede modellarkitekturer kan redusere antall operasjoner som trengs for å få nyttig utdata. Bedre planlegging og batching kan også øke maskinvareutnyttelsen uten å endre brukeropplevelsen.

Mindre spesialiserte modeller er en annen vei å gå. En tjeneste trenger ikke alltid den største modellen for klassifisering, ekstraksjon eller rutinespørsmål. Ved å dirigere enkelt arbeid til kompakte modeller, begrense unødvendig kontekst og bufre gjenbrukbare resultater kan man redusere både ventetid og strømforbruk. Datasentre kan forbedre den totale effektiviteten ytterligere ved hjelp av strømtilførsel, kjøling og plassering av arbeidsmengde.

Effektivitet er ingen garanti for lavere totalforbruk. Raskere og billigere kunstig intelligens kan oppmuntre til flere applikasjoner, lengre interaksjoner og nye dataintensive funksjoner, en effekt som noen ganger beskrives som "rebound demand". Det fremtidige strømavtrykket fra AI-spørringer vil derfor avhenge av to konkurrerende trender: hvor raskt hver enhet av nyttig arbeid blir mer effektiv, og hvor raskt det totale volumet og kompleksiteten i AI-bruken vokser.