Kratek odgovor
Natančne številke v realnem času niso javno razkrite, vendar ocene kažejo, da ChatGPT dnevno obdeluje velike količine poizvedb, ki segajo od več sto milijonov do potencialno več milijard pozivov, odvisno od vzorcev uporabe in uvedbe modela.
ChatGPT deluje na svetovni ravni
Več milijonov uporabnikov dnevno uporablja ChatGPT za kodiranje, pisanje, raziskovanje, produktivnost in pogovorne naloge. Vsaka interakcija lahko vsebuje več pozivov in odgovorov, kar ustvarja izjemno velike delovne obremenitve pri sklepanju v infrastrukturi OpenAI.
Obravnava poizvedb zahteva obsežno infrastrukturo
Vsaka poizvedba, ki jo obdeluje ChatGPT, porabi računske vire na grafičnih procesorjih in pospeševalnikih umetne inteligence. Za podporo temu povpraševanju so potrebni veliki podatkovni centri, omrežna infrastruktura, sistemi za shranjevanje in hladilne zmogljivosti, ki neprekinjeno delujejo po vsem svetu.
Zakaj je obseg poizvedb pomemben
Velik obseg poizvedb neposredno vpliva na povpraševanje po električni energiji, zahteve glede strojne opreme, operativne stroške in vpliv na okolje. Že majhno povečanje povprečne zahtevnosti poizvedb lahko znatno poveča skupno porabo računalnikov v velikem obsegu.
Zakaj se javne ocene razlikujejo
Javne ocene se razlikujejo, ker OpenAI ne objavlja podrobnih podatkov o prometu v realnem času. Analitiki se morajo zanašati na posredne kazalnike, kot so aktivni uporabniki, cene modelov, ponudba grafičnih procesorjev, učinkovitost sklepanja in opazovana rast prometa. Glej Metodologija.