Quanta eletricidade consome uma consulta de IA?

Quando envia um pedido a um serviço de IA, o pedido começa por atravessar a Internet até à infraestrutura do fornecedor. Os sistemas de encaminhamento autenticam o pedido, aplicam controlos de segurança e de utilização e encaminham-no para um servidor de inferência disponível. Um equilibrador de carga pode escolher entre várias máquinas para que o tráfego de utilizadores seja distribuído sem sobrecarregar uma parte do sistema.

O servidor converte o prompt em tokens, as unidades numéricas processadas por um modelo de linguagem. Esses tokens e qualquer contexto de conversação anterior são carregados na memória do acelerador. As GPUs ou outros chips de IA efectuam então camadas de cálculos matriciais nos parâmetros do modelo para prever o próximo token. O processo repete-se várias vezes até que a resposta esteja completa ou atinja um limite configurado.

O resultado gerado é descodificado em texto e transmitido de volta ao utilizador, muitas vezes enquanto os tokens posteriores ainda estão a ser calculados. Em torno desta interação visível, o equipamento de armazenamento, de rede, de monitorização, de conversão de energia e de refrigeração permanece ativo. Por conseguinte, uma consulta consome mais do que a eletricidade medida apenas na GPU, apesar de o acelerador efetuar normalmente a maior parte do cálculo intensivo.

A inferência de IA é um cálculo ativo e não uma simples recuperação de uma base de dados. Um modelo de grandes dimensões tem de avaliar muitas operações numéricas para cada token gerado, utilizando parâmetros que podem ocupar dezenas ou centenas de gigabytes de memória. A deslocação desses parâmetros e valores intermédios entre a memória de alta largura de banda e os núcleos do processador consome eletricidade juntamente com os próprios cálculos.

A quantidade de trabalho aumenta com o modelo, a pergunta e o resultado solicitado. Os longos históricos de conversação requerem mais contexto para serem processados, enquanto as respostas longas mantêm os aceleradores a funcionar durante mais passos de geração. Os sistemas de imagem, áudio e vídeo podem exigir diferentes pipelines de processamento ou operações de refinamento repetidas, pelo que uma consulta de IA não é uma unidade de trabalho normalizada.

Os custos gerais do centro de dados também são importantes. Os servidores necessitam de fontes de alimentação, redes, armazenamento e refrigeração, e alguma eletricidade é perdida durante a conversão e distribuição de energia. Os operadores expressam frequentemente estas despesas gerais através da eficácia da utilização de energia, ou PUE. Uma instalação eficiente aproxima a energia total da energia utilizada pelo equipamento de computação, enquanto uma instalação menos eficiente requer mais eletricidade de apoio para a mesma carga de trabalho de inferência.

Não existe um valor universal para a eletricidade de uma consulta de IA. As estimativas públicas para interações de texto variam normalmente entre fracções de um watt-hora e vários watt-hora, mas o intervalo deve ser tratado como uma ordem de grandeza e não como uma conversão fixa. Um pedido curto tratado por um modelo optimizado e bem utilizado pode consumir muito menos energia do que uma resposta longa de um modelo maior a funcionar em hardware subutilizado.

Um watt-hora mede a energia, não a potência instantânea. Por exemplo, um servidor que consome muita energia durante uma fração de segundo pode consumir menos energia total do que um sistema de menor potência que funcione durante muito mais tempo. Por conseguinte, uma estimativa credível por pedido necessita tanto do consumo de energia do equipamento como da duração e da percentagem desse equipamento atribuível ao pedido.

As comparações com pesquisas na Internet, lâmpadas ou carregamento de telemóveis podem facilitar a visualização da escala, mas muitas vezes escondem pressupostos importantes. A questão relevante não é se cada pedido consome uma quantidade específica. É o modelo que serviu o pedido, quantos tokens e modalidades foram processados, a eficiência com que os pedidos foram agrupados e a quantidade de energia da infraestrutura que foi incluída no cálculo.

Os fornecedores de IA raramente publicam medições completas que ligam os pedidos individuais ao tamanho do modelo, à utilização do hardware, à contagem de tokens e às despesas gerais das instalações. Os investigadores devem, portanto, combinar as especificações de hardware divulgadas, os resultados de benchmark, os tempos de serviço estimados e os pressupostos de eficiência do centro de dados. Escolhas diferentes em qualquer etapa podem produzir respostas substancialmente diferentes.

O loteamento é uma das principais fontes de variação. Um servidor de inferência pode processar vários utilizadores em conjunto, partilhando o carregamento do modelo e a computação num lote. Uma utilização elevada pode reduzir a energia média atribuída a cada pedido, enquanto a capacidade ociosa, os requisitos de latência ou os picos de tráfego podem deixar o hardware dispendioso parcialmente utilizado. Os aceleradores mais recentes também podem concluir a mesma carga de trabalho mais rapidamente ou com menos joules.

O limite da estimativa também altera o resultado. Alguns cálculos contabilizam apenas a energia do acelerador; outros incluem CPUs, memória, rede, arrefecimento e perdas de energia. A maioria dos valores por consulta exclui a energia anterior utilizada para fabricar hardware e treinar o modelo. As estimativas são mais úteis quando os limites do sistema e os pressupostos são explícitos, e não quando um único número é apresentado como universal.

O treino cria ou actualiza um modelo através do processamento repetido de grandes conjuntos de dados e do ajuste dos seus parâmetros. Um grande treino pode ocupar milhares de aceleradores durante dias ou semanas, tornando-o num evento de computação concentrado e altamente visível. Uma vez concluído o treino, o modelo resultante pode ser implementado em muitos servidores de inferência para responder aos pedidos dos utilizadores.

A inferência é normalmente muito menor para uma interação, mas é contínua. Os sistemas de produção têm de responder a qualquer hora, manter capacidade suficiente disponível para os picos e servir utilizadores em várias regiões. O perfil energético é, por conseguinte, distribuído por muitos centros de dados e repetido sempre que são gerados textos, imagens, áudio ou outros resultados.

Não se deve assumir automaticamente que nenhuma das cargas de trabalho domina a utilização de eletricidade ao longo da vida de um modelo. O treino pode ser o maior evento individual, especialmente para sistemas de fronteira, enquanto a inferência pode eventualmente ultrapassá-lo quando um serviço lida com um enorme tráfego durante meses ou anos. O equilíbrio depende da frequência com que os modelos são recalculados, da amplitude com que são implantados e da intensidade com que as pessoas os utilizam.

A importância ambiental das consultas de IA resulta principalmente da multiplicação. Um único pedido curto pode representar uma pequena quantidade de energia, mas os assistentes do consumidor, as funcionalidades de pesquisa, as ferramentas de codificação e as aplicações empresariais podem gerar um grande número de pedidos. Repetida continuamente, a modesta energia por pedido torna-se uma carga substancial para o centro de dados.

A procura não se limita às mensagens visíveis do chatbot. As aplicações podem fazer várias chamadas de modelos para responder a uma ação do utilizador, utilizar modelos separados para moderação ou recuperação, tentar novamente pedidos falhados e gerar resumos ou recomendações de fundo. Os sistemas agênticos podem alargar este padrão chamando modelos e ferramentas de software repetidamente enquanto realizam uma única tarefa.

A escala também afecta o planeamento da infraestrutura. Os fornecedores criam capacidade para crescimento e picos de tráfego, o que pode aumentar a procura de eletricidade antes de cada servidor ser totalmente utilizado. O impacto total depende tanto da eficiência por consulta como da taxa de expansão da utilização. Se a procura crescer mais rapidamente do que a eficiência, o consumo agregado de eletricidade pode continuar a aumentar, mesmo quando cada interação individual se torna menos intensiva em termos energéticos.

É provável que a inferência da IA se torne mais eficiente em termos energéticos ao nível de uma tarefa comparável. Os novos aceleradores fornecem mais computação por unidade de eletricidade, enquanto a quantização, a poda, a descodificação especulativa e as arquitecturas de modelos melhoradas podem reduzir as operações necessárias para obter resultados úteis. Uma melhor programação e agrupamento podem também aumentar a utilização do hardware sem alterar a experiência do utilizador.

Os modelos especializados mais pequenos oferecem outro caminho. Um serviço nem sempre precisa do seu maior modelo para classificação, extração ou questões de rotina. O encaminhamento de trabalho simples para modelos compactos, a limitação de contexto desnecessário e o armazenamento em cache de resultados reutilizáveis podem reduzir a latência e o consumo de eletricidade. Os centros de dados podem melhorar ainda mais a eficiência total através do fornecimento de energia, arrefecimento e colocação de cargas de trabalho.

A eficiência não garante um consumo global mais baixo. Uma IA mais rápida e mais barata pode incentivar mais aplicações, interações mais longas e novas funcionalidades de computação intensiva, um efeito por vezes descrito como procura de recuperação. A futura pegada eléctrica das consultas de IA dependerá, por conseguinte, de duas tendências concorrentes: a rapidez com que cada unidade de trabalho útil se torna mais eficiente e a rapidez com que o volume total e a complexidade da utilização da IA aumentam.