Krátká odpověď
Jediný dotaz ChatGPT může v závislosti na velikosti modelu, délce odpovědi a účinnosti infrastruktury spotřebovat podstatně více elektřiny než tradiční webové vyhledávání. Přesná čísla je stále obtížné veřejně měřit.
Odvozování umělé inteligence vyžaduje výpočty na GPU
Každá odpověď na ChatGPT vyžaduje inferenci umělé inteligence: model zpracovává tokeny ve velkých clusterech GPU a generuje text v reálném čase. Na rozdíl od statických databází provádějí moderní jazykové modely miliardy matematických operací pro každou interakci.
Malá energie na jeden dotaz se v měřítku stává masivní
Jednotlivý dotaz se může zdát zanedbatelný, ale stovky milionů nebo miliardy dotazů denně znamenají značnou poptávku po elektřině v datových centrech po celém světě.
Důležitá je efektivita infrastruktury
Energetická stopa závisí na generaci hardwaru, využití GPU, chladicích systémech, účinnosti datového centra (PUE) a technikách optimalizace modelu, jako je kvantizace nebo dávkování.
Veřejné odhady zůstávají přibližné
Většina zveřejněných čísel je odhad, protože společnosti zřídkakdy zveřejňují podrobné údaje o spotřebě elektřiny na jeden dotaz. TheAIMeters používá k odhadu rozsáhlé činnosti UI agregované předpoklady veřejného výzkumu a infrastruktury. Metodika.