Kort svar
ChatGPT bruker strøm når den behandler spørsmål og genererer svar. Den nøyaktige mengden offentliggjøres ikke i sanntid, så ethvert offentlig estimat bør behandles som en tilnærming snarere enn en revidert måling.
ChatGPT brukes mest til inferens
Når en bruker sender en melding, utfører modellen slutninger: Den behandler inndataene, forutsier sannsynlige utdata og returnerer et svar. Hver interaksjon krever databehandling, og denne kjøres på servere som er utstyrt med spesialiserte AI-akseleratorer.
Strømforbruket øker med daglig aktivitet
En enkelt forespørsel kan være liten sammenlignet med industrielt energiforbruk, men ChatGPT opererer i global skala. Millioner av daglige brukere, gjentatte meldinger, lengre samtaler og multimodale funksjoner kan gjøre små energikostnader per forespørsel til et betydelig infrastrukturbehov.
Datasentre gir ekstra kostnader
Strømforbruket er ikke begrenset til selve AI-brikken. Serverne, minnet, nettverket, lagrings-, strømforsynings- og kjølesystemene som støtter den, bruker også energi. Derfor er datasentereffektivitet viktig når man skal estimere strømforbruket til AI-tjenester.
Hvorfor estimatene varierer
Ulike estimater avhenger av antakelser om modellarkitektur, maskinvaretype, batching, responslengde, utnyttelse, datasentereffektivitet og strømkilder. TheAIMeters presenterer retningsbestemte estimater og knytter dem til en gjennomsiktig metodikk i stedet for å hevde eksakte målinger i sanntid. Se Metodikk.