Risposta breve
ChatGPT consuma energia elettrica ogni volta che elabora le richieste e genera le risposte. L'importo esatto non viene reso pubblico in tempo reale, pertanto qualsiasi stima pubblica deve essere considerata un'approssimazione piuttosto che una misurazione verificata.
La maggior parte dell'uso di ChatGPT è un'inferenza
Quando un utente invia una richiesta, il modello esegue un'inferenza: elabora l'input, prevede i probabili token di output e restituisce una risposta. Ogni interazione richiede un calcolo, che viene eseguito su server dotati di acceleratori di intelligenza artificiale specializzati.
Il consumo di elettricità cresce con l'attività quotidiana
Una singola richiesta può essere piccola rispetto all'uso di energia industriale, ma ChatGPT opera su scala globale. Milioni di utenti giornalieri, richieste ripetute, conversazioni più lunghe e funzioni multimodali possono trasformare i piccoli costi energetici per richiesta in una significativa domanda di infrastrutture.
I centri dati aggiungono spese generali
L'impronta elettrica non si limita al chip AI in sé. Anche i server di supporto, la memoria, la rete, lo storage, l'alimentazione e i sistemi di raffreddamento consumano energia. Per questo motivo l'efficienza del centro dati è importante quando si valuta l'elettricità utilizzata dai servizi di IA.
Perché le stime variano
Le diverse stime dipendono da ipotesi sull'architettura del modello, il tipo di hardware, il batching, la lunghezza della risposta, l'utilizzo, l'efficienza del centro dati e l'approvvigionamento di energia elettrica. TheAIMeters presenta stime direzionali e le collega a una metodologia trasparente piuttosto che pretendere una misurazione esatta in tempo reale. Vedere il Metodologia.