Rövid válasz
Egyetlen ChatGPT lekérdezés a modell méretétől, a válasz hosszától és az infrastruktúra hatékonyságától függően lényegesen több villamos energiát fogyaszt, mint egy hagyományos webes keresés. A pontos számokat továbbra is nehéz nyilvánosan mérni.
AI következtetés igényel GPU számítás
Minden ChatGPT-válaszhoz mesterséges intelligencia következtetésre van szükség: a modell nagy GPU-klasztereken keresztül dolgozza fel a tokeneket, hogy valós időben generáljon szöveget. A statikus adatbázisokkal ellentétben a modern nyelvi modellek minden egyes interakció esetében több milliárd matematikai műveletet hajtanak végre.
A kis energia lekérdezésenként hatalmas méretűvé válik
Egy-egy lekérdezés elhanyagolhatónak tűnhet, de naponta több százmillió vagy milliárd lekérdezés jelentős áramigényt jelent az adatközpontokban világszerte.
Az infrastruktúra hatékonysága számít
Az energiaigény függ a hardvergenerációtól, a GPU-k kihasználtságától, a hűtőrendszerektől, az adatközpont hatékonyságától (PUE) és az olyan modelloptimalizálási technikáktól, mint a kvantálás vagy a kötegelés.
A nyilvános becslések továbbra is hozzávetőlegesek
A legtöbb nyilvános szám becslés, mivel a vállalatok ritkán teszik közzé a részletes, lekérdezésenkénti villamosenergia-fogyasztási adatokat. A TheAIMeters a nagyléptékű mesterséges intelligencia tevékenység becsléséhez aggregált nyilvános kutatási és infrastrukturális feltételezéseket használ. Módszertan.