Krátka odpoveď
Jeden dotaz ChatGPT môže spotrebovať podstatne viac elektrickej energie ako tradičné webové vyhľadávanie v závislosti od veľkosti modelu, dĺžky odpovede a účinnosti infraštruktúry. Presné čísla sa zatiaľ ťažko verejne merajú.
Odvodzovanie umelej inteligencie si vyžaduje výpočty na GPU
Každá odpoveď ChatGPT si vyžaduje inferenciu umelej inteligencie: model spracúva tokeny vo veľkých klastroch GPU na generovanie textu v reálnom čase. Na rozdiel od statických databáz moderné jazykové modely vykonávajú miliardy matematických operácií pre každú interakciu.
Malá energia na jeden dotaz sa stáva masívnou vo veľkom meradle
Jednotlivý dotaz sa môže zdať zanedbateľný, ale stovky miliónov alebo miliardy dopytov denne znamenajú značný dopyt po elektrickej energii v dátových centrách po celom svete.
Dôležitá je efektívnosť infraštruktúry
Energetická stopa závisí od generácie hardvéru, využitia GPU, chladiacich systémov, účinnosti dátového centra (PUE) a techník optimalizácie modelu, ako je kvantizácia alebo dávkovanie.
Verejné odhady zostávajú približné
Väčšina zverejnených čísel je odhadom, pretože spoločnosti len zriedka zverejňujú podrobné údaje o spotrebe elektrickej energie na jeden dopyt. TheAIMeters využíva na odhad rozsiahlej činnosti UI agregované predpoklady verejného výskumu a infraštruktúry. Metodika.