Quanta elettricità consuma una query AI?

Quando si invia una richiesta a un servizio di intelligenza artificiale, la richiesta viaggia prima attraverso Internet verso l'infrastruttura del fornitore. I sistemi di routing autenticano la richiesta, applicano controlli di sicurezza e di utilizzo e la indirizzano verso un server di inferenza disponibile. Un bilanciatore di carico può scegliere tra molte macchine in modo da distribuire il traffico degli utenti senza sovraccaricare una parte del sistema.

Il server converte il prompt in token, le unità numeriche elaborate da un modello linguistico. Questi token e qualsiasi contesto di conversazione precedente vengono caricati nella memoria dell'acceleratore. Le GPU o altri chip AI eseguono quindi strati di calcoli matriciali sui parametri del modello per prevedere il token successivo. Il processo si ripete più volte fino a quando la risposta è completa o raggiunge un limite configurato.

L'output generato viene decodificato in testo e trasmesso all'utente, spesso mentre i token successivi vengono ancora calcolati. Intorno a questa interazione visibile, rimangono attive le apparecchiature di archiviazione, rete, monitoraggio, conversione di energia e raffreddamento. Una query consuma quindi più dell'elettricità misurata alla sola GPU, anche se l'acceleratore di solito esegue la maggior parte dei calcoli intensivi.

L'inferenza dell'intelligenza artificiale è un calcolo attivo piuttosto che un semplice recupero da un database. Un modello di grandi dimensioni deve valutare molte operazioni numeriche per ogni token generato, utilizzando parametri che possono occupare decine o centinaia di gigabyte di memoria. Lo spostamento di questi parametri e dei valori intermedi tra la memoria ad alta larghezza di banda e i core del processore consuma elettricità insieme ai calcoli stessi.

La quantità di lavoro cresce con il modello, il prompt e l'output richiesto. Lunghe cronologie di conversazioni richiedono una maggiore elaborazione del contesto, mentre lunghe risposte fanno lavorare gli acceleratori per più fasi di generazione. I sistemi di immagini, audio e video possono richiedere diverse pipeline di elaborazione o operazioni di raffinamento ripetute, quindi una query di IA non è un'unità di lavoro standardizzata.

Anche i costi generali del data center sono importanti. I server hanno bisogno di alimentatori, reti, storage e raffreddamento, e una parte dell'elettricità viene persa durante la conversione e la distribuzione dell'energia. Gli operatori spesso esprimono questo overhead attraverso l'efficacia di utilizzo dell'energia, o PUE. Una struttura efficiente avvicina l'energia totale a quella utilizzata dalle apparecchiature di elaborazione, mentre una struttura meno efficiente richiede più elettricità di supporto per lo stesso carico di lavoro di inferenza.

Non esiste una cifra universale per l'elettricità di una query AI. Le stime pubbliche per le interazioni testuali variano comunemente da frazioni di wattora a diversi wattora, ma l'intervallo dovrebbe essere considerato come un ordine di grandezza piuttosto che una conversione fissa. Una richiesta breve gestita da un modello ottimizzato e ben utilizzato può consumare molta meno energia di una risposta lunga da parte di un modello più grande che gira su un hardware sottoutilizzato.

Il wattora misura l'energia, non la potenza istantanea. Ad esempio, un server che consuma molta energia per una frazione di secondo può consumare meno energia totale di un sistema a bassa potenza che funziona per molto più tempo. Una stima credibile per ogni richiesta richiede quindi sia l'assorbimento di energia dell'apparecchiatura che la durata e la quota di tale apparecchiatura attribuibile alla richiesta.

I confronti con le ricerche sul web, le lampadine o la ricarica del telefono possono rendere la scala più facile da visualizzare, ma spesso nascondono presupposti importanti. La questione rilevante non è se ogni richiesta consuma una quantità specifica. Si tratta di capire quale modello ha servito la richiesta, quanti token e modalità sono stati elaborati, quanto efficientemente sono state raggruppate le richieste e quanta energia dell'infrastruttura è stata inclusa nel calcolo.

I fornitori di IA raramente pubblicano misurazioni complete che collegano le singole richieste alle dimensioni del modello, all'utilizzo dell'hardware, al conteggio dei token e all'overhead della struttura. I ricercatori devono quindi combinare le specifiche hardware divulgate, i risultati dei benchmark, i tempi di servizio stimati e le ipotesi di efficienza del centro dati. Scelte diverse in ogni fase possono produrre risposte sostanzialmente diverse.

Il batching è una delle principali fonti di variazione. Un server di inferenza può elaborare più utenti insieme, condividendo il caricamento del modello e il calcolo in un batch. Un utilizzo elevato può ridurre l'energia media assegnata a ciascuna richiesta, mentre la capacità inattiva, i requisiti di latenza o i picchi di traffico possono lasciare l'hardware costoso parzialmente utilizzato. Gli acceleratori più recenti possono anche completare lo stesso carico di lavoro più velocemente o con meno joule.

Anche il limite della stima cambia il risultato. Alcuni calcoli contano solo l'energia dell'acceleratore; altri includono CPU, memoria, rete, raffreddamento e perdite di potenza. La maggior parte dei dati per query esclude l'energia precedente utilizzata per la produzione dell'hardware e l'addestramento del modello. Le stime sono più utili quando i confini del sistema e i presupposti sono espliciti, non quando un singolo numero viene presentato come universale.

L'addestramento crea o aggiorna un modello elaborando ripetutamente grandi insiemi di dati e regolandone i parametri. Una grande sessione di addestramento può occupare migliaia di acceleratori per giorni o settimane, diventando così un evento di calcolo concentrato e molto visibile. Una volta completato l'addestramento, il modello risultante può essere distribuito su molti server di inferenza per rispondere alle query degli utenti.

L'inferenza è di solito molto più piccola per un'interazione, ma è continua. I sistemi di produzione devono rispondere a qualsiasi ora, mantenere una capacità sufficiente per i picchi e servire utenti in più regioni. Il profilo energetico è quindi distribuito su molti data center e viene ripetuto ogni volta che vengono generati testi, immagini, audio o altri output.

Nessuno dei due carichi di lavoro dovrebbe essere considerato automaticamente dominante nell'utilizzo dell'elettricità per tutta la vita di un modello. L'addestramento può essere il singolo evento più importante, soprattutto per i sistemi di frontiera, mentre l'inferenza può superarlo quando un servizio gestisce un traffico enorme per mesi o anni. L'equilibrio dipende dalla frequenza con cui i modelli vengono riqualificati, dalla loro diffusione e dall'uso intensivo che ne viene fatto.

L'importanza ambientale delle interrogazioni AI deriva principalmente dalla moltiplicazione. Una singola richiesta breve può rappresentare una piccola quantità di energia, ma gli assistenti al consumatore, le funzioni di ricerca, gli strumenti di codifica e le applicazioni aziendali possono generare un gran numero di richieste. Ripetute continuamente, una modesta energia per richiesta diventa un carico notevole per i data center.

La domanda non si limita ai messaggi visibili del chatbot. Le applicazioni possono effettuare diverse chiamate ai modelli per rispondere a un'azione dell'utente, utilizzare modelli separati per la moderazione o il recupero, riprovare le richieste non andate a buon fine e generare riepiloghi o raccomandazioni in background. I sistemi agenziali possono estendere questo modello chiamando ripetutamente modelli e strumenti software durante il completamento di un singolo compito.

La scala influisce anche sulla pianificazione dell'infrastruttura. I fornitori creano capacità per la crescita e i picchi di traffico, che possono aumentare la domanda di elettricità prima che ogni server sia completamente utilizzato. L'impatto totale dipende sia dall'efficienza per query sia dalla velocità di espansione dell'utilizzo. Se la domanda cresce più velocemente del miglioramento dell'efficienza, il consumo aggregato di elettricità può continuare ad aumentare anche se ogni singola interazione diventa meno dispendiosa dal punto di vista energetico.

È probabile che l'inferenza dell'intelligenza artificiale diventi più efficiente dal punto di vista energetico a livello di attività comparabili. I nuovi acceleratori offrono più calcolo per unità di elettricità, mentre la quantizzazione, il pruning, la decodifica speculativa e il miglioramento delle architetture dei modelli possono ridurre le operazioni necessarie per ottenere un risultato utile. Anche una migliore programmazione e un migliore batching possono aumentare l'utilizzo dell'hardware senza modificare l'esperienza dell'utente.

I modelli specializzati più piccoli offrono un'altra strada. Un servizio non ha sempre bisogno del modello più grande per la classificazione, l'estrazione o le domande di routine. L'instradamento del lavoro semplice verso modelli compatti, la limitazione del contesto non necessario e la memorizzazione nella cache dei risultati riutilizzabili possono ridurre sia la latenza che il consumo di elettricità. I data center possono migliorare ulteriormente l'efficienza totale attraverso la fornitura di energia, il raffreddamento e la collocazione dei carichi di lavoro.

L'efficienza non garantisce una riduzione del consumo complessivo. Un'IA più veloce e meno costosa può incoraggiare un maggior numero di applicazioni, interazioni più lunghe e nuove funzionalità ad alta intensità di calcolo, un effetto talvolta descritto come domanda di rimbalzo. La futura impronta elettrica delle interrogazioni di IA dipenderà quindi da due tendenze concorrenti: la rapidità con cui ogni unità di lavoro utile diventerà più efficiente e la rapidità con cui crescerà il volume totale e la complessità dell'uso dell'IA.