Krátká odpověď
Při zpracování výzev a generování odpovědí využívá ChatGPT elektrickou energii. Přesné množství není zveřejňováno v reálném čase, takže jakýkoli veřejný odhad je třeba považovat spíše za přibližný než za auditované měření.
Většina použití ChatGPT je inferenční
Když uživatel odešle výzvu, model provede inferenci: zpracuje vstup, předpoví pravděpodobné výstupní tokeny a vrátí odpověď. Každá interakce vyžaduje výpočet, který běží na serverech vybavených specializovanými akcelerátory umělé inteligence.
Spotřeba elektřiny roste s každodenní aktivitou
Jeden požadavek může být ve srovnání s průmyslovou spotřebou energie malý, ale ChatGPT funguje v celosvětovém měřítku. Miliony uživatelů denně, opakované výzvy, delší konverzace a multimodální funkce mohou z malých nákladů na energii na jeden požadavek udělat významné nároky na infrastrukturu.
Datová centra zvyšují režijní náklady
Elektrická stopa se neomezuje pouze na samotný čip umělé inteligence. Energii spotřebovávají také podpůrné servery, paměť, síť, úložiště, systémy pro dodávku energie a chlazení. Proto je při odhadu spotřeby elektřiny službami AI důležitá efektivita datových center.
Proč se odhady liší
Různé odhady závisí na předpokladech o architektuře modelu, typu hardwaru, dávkování, délce odezvy, využití, efektivitě datového centra a zdrojích elektřiny. SystémAIMeters předkládá směrové odhady a spojuje je s transparentní metodikou, nikoliv s nárokem na přesné měření v reálném čase. Viz Metodika.