Kratek odgovor
Ena sama poizvedba ChatGPT lahko porabi precej več električne energije kot običajno spletno iskanje, odvisno od velikosti modela, dolžine odgovora in učinkovitosti infrastrukture. Natančne številke je še vedno težko javno izmeriti.
Ugotavljanje umetne inteligence zahteva računanje na grafičnih procesorjih
Za vsak odziv ChatGPT je potrebno sklepanje z umetno inteligenco: model obdeluje žetone v velikih gručah grafičnih procesorjev in ustvarja besedilo v realnem času. Za razliko od statičnih podatkovnih zbirk sodobni jezikovni modeli za vsako interakcijo izvedejo več milijard matematičnih operacij.
Majhna energija na poizvedbo postane ogromna v velikem obsegu
Posamezna poizvedba se morda zdi zanemarljiva, vendar več sto milijonov ali milijard poizvedb na dan pomeni znatno povpraševanje po električni energiji v podatkovnih centrih po vsem svetu.
Učinkovitost infrastrukture je pomembna
Energetski odtis je odvisen od generacije strojne opreme, uporabe grafičnih procesorjev, hladilnih sistemov, učinkovitosti podatkovnega centra (PUE) in tehnik optimizacije modela, kot sta kvantizacija ali doziranje.
Javne ocene ostajajo približne
Večina javno objavljenih številk so ocene, saj podjetja redko razkrijejo podrobne podatke o porabi električne energije na poizvedbo. TheAIMeters za oceno obsežnih dejavnosti umetne inteligence uporablja agregirane javne predpostavke o raziskavah in infrastrukturi. Metodologija.