¿Cuánta electricidad consume una consulta de inteligencia artificial?

Cuando se envía una solicitud a un servicio de IA, ésta viaja primero por Internet hasta la infraestructura del proveedor. Los sistemas de enrutamiento autentifican la solicitud, aplican controles de seguridad y uso y la dirigen hacia un servidor de inferencia disponible. Un equilibrador de carga puede elegir entre muchas máquinas para que el tráfico de usuarios se distribuya sin sobrecargar una parte del sistema.

El servidor convierte la petición en tokens, las unidades numéricas procesadas por un modelo lingüístico. Estos tokens y cualquier contexto de conversación anterior se cargan en la memoria del acelerador. A continuación, las GPU u otros chips de IA realizan capas de cálculos matriciales a través de los parámetros del modelo para predecir el siguiente token. El proceso se repite muchas veces hasta que se completa la respuesta o se alcanza un límite configurado.

El resultado generado se descodifica en texto y se transmite al usuario, a menudo mientras se calculan las fichas posteriores. Alrededor de esta interacción visible, los equipos de almacenamiento, redes, monitorización, conversión de energía y refrigeración permanecen activos. Por tanto, una consulta consume más que la electricidad medida sólo en la GPU, aunque el acelerador suele realizar la mayor parte del cálculo intensivo.

La inferencia de IA es un cálculo activo más que una simple recuperación de una base de datos. Un gran modelo debe evaluar muchas operaciones numéricas por cada token generado, utilizando parámetros que pueden ocupar decenas o cientos de gigabytes de memoria. Mover esos parámetros y valores intermedios entre la memoria de gran ancho de banda y los núcleos del procesador consume electricidad junto con los propios cálculos.

La cantidad de trabajo crece con el modelo, la pregunta y el resultado solicitado. Los historiales de conversación largos requieren procesar más contexto, mientras que las respuestas largas hacen que los aceleradores funcionen durante más pasos de generación. Los sistemas de imagen, audio y vídeo pueden requerir distintos canales de procesamiento u operaciones de refinamiento repetidas, por lo que una consulta de IA no es una unidad de trabajo estandarizada.

Los gastos generales del centro de datos también son importantes. Los servidores necesitan fuentes de alimentación, redes, almacenamiento y refrigeración, y parte de la electricidad se pierde durante la conversión y distribución de la energía. Los operadores suelen expresar esta sobrecarga a través de la efectividad del uso de la energía, o PUE. Una instalación eficiente acerca la energía total a la energía utilizada por los equipos informáticos, mientras que una instalación menos eficiente requiere más electricidad de apoyo para la misma carga de trabajo de inferencia.

No existe una cifra universal de electricidad para una consulta de IA. Las estimaciones públicas para interacciones de texto suelen oscilar entre fracciones de vatio-hora y varios vatios-hora, pero el rango debe tratarse como un orden de magnitud y no como una conversión fija. Una solicitud breve gestionada por un modelo optimizado y bien utilizado puede consumir mucha menos energía que una respuesta larga de un modelo más grande que funcione con un hardware infrautilizado.

Un vatio-hora mide la energía, no la potencia instantánea. Por ejemplo, un servidor que consume mucha energía durante una fracción de segundo puede consumir menos energía total que un sistema de menor potencia que funcione durante mucho más tiempo. Por lo tanto, una estimación creíble por consulta necesita tanto el consumo de energía del equipo como la duración y la parte de ese equipo atribuible a la solicitud.

Las comparaciones con las búsquedas en Internet, las bombillas o la carga de teléfonos pueden facilitar la visualización de la escala, pero a menudo ocultan supuestos importantes. La cuestión relevante no es si cada solicitud consume una cantidad específica. Es qué modelo atendió la petición, cuántos tokens y modalidades se procesaron, con qué eficiencia se agruparon las peticiones y cuánta energía de infraestructura se incluyó en el cálculo.

Los proveedores de IA rara vez publican mediciones completas que relacionen las solicitudes individuales con el tamaño del modelo, la utilización del hardware, el recuento de tokens y la sobrecarga de las instalaciones. Por tanto, los investigadores deben combinar las especificaciones de hardware divulgadas, los resultados de las pruebas comparativas, los tiempos de servicio estimados y las hipótesis de eficiencia del centro de datos. Diferentes opciones en cualquier paso pueden producir respuestas sustancialmente diferentes.

El procesamiento por lotes es una de las principales fuentes de variación. Un servidor de inferencia puede procesar a varios usuarios a la vez, compartiendo la carga del modelo y el cálculo en un lote. Una alta utilización puede reducir la energía media asignada a cada solicitud, mientras que la capacidad ociosa, los requisitos de latencia o los picos de tráfico pueden dejar el costoso hardware parcialmente utilizado. Los aceleradores más nuevos también pueden completar la misma carga de trabajo más rápido o con menos julios.

El límite de la estimación también cambia el resultado. Algunos cálculos sólo tienen en cuenta la energía del acelerador; otros incluyen CPU, memoria, redes, refrigeración y pérdidas de potencia. La mayoría de las cifras por consulta excluyen la energía previa utilizada para fabricar el hardware y entrenar el modelo. Las estimaciones son más útiles cuando los límites del sistema y los supuestos son explícitos, no cuando se presenta una única cifra como universal.

El entrenamiento crea o actualiza un modelo procesando repetidamente grandes conjuntos de datos y ajustando sus parámetros. Un proceso de entrenamiento importante puede ocupar miles de aceleradores durante días o semanas, lo que lo convierte en un evento informático concentrado y muy visible. Una vez completado el entrenamiento, el modelo resultante puede desplegarse en muchos servidores de inferencia para responder a las consultas de los usuarios.

La inferencia suele ser mucho menor para una interacción, pero es continua. Los sistemas de producción deben responder a cualquier hora, mantener suficiente capacidad disponible para los picos y atender a usuarios de múltiples regiones. Por eso, el perfil energético se distribuye por muchos centros de datos y se repite cada vez que se genera texto, imágenes, audio u otros productos.

No debe suponerse automáticamente que ninguna de las dos cargas de trabajo domine el uso de electricidad durante la vida útil de un modelo. El entrenamiento puede ser el mayor evento individual, especialmente para los sistemas de frontera, mientras que la inferencia puede llegar a superarlo cuando un servicio gestiona un tráfico enorme durante meses o años. El equilibrio depende de la frecuencia de reentrenamiento de los modelos, de su difusión y de la intensidad de su uso.

La importancia medioambiental de las consultas de la IA procede principalmente de la multiplicación. Una sola consulta breve puede representar una pequeña cantidad de energía, pero los asistentes al consumidor, las funciones de búsqueda, las herramientas de codificación y las aplicaciones empresariales pueden generar enormes cantidades de peticiones. Repetida continuamente, la modesta energía por petición se convierte en una carga sustancial para el centro de datos.

La demanda no se limita a los mensajes visibles del chatbot. Las aplicaciones pueden realizar varias llamadas a modelos para responder a una acción del usuario, utilizar modelos distintos para la moderación o la recuperación, reintentar solicitudes fallidas y generar resúmenes o recomendaciones en segundo plano. Los sistemas agenéticos pueden ampliar este patrón llamando a modelos y herramientas de software repetidamente mientras completan una única tarea.

La escala también afecta a la planificación de la infraestructura. Los proveedores crean capacidad para el crecimiento y los picos de tráfico, lo que puede aumentar la demanda de electricidad antes de que se utilicen todos los servidores. El impacto total depende tanto de la eficiencia por consulta como del ritmo de expansión del uso. Si la demanda crece más rápido que la eficiencia, el consumo total de electricidad puede seguir aumentando aunque cada interacción individual consuma menos energía.

Es probable que la inferencia de la IA se vuelva más eficiente desde el punto de vista energético al nivel de una tarea comparable. Los nuevos aceleradores ofrecen más cálculo por unidad de electricidad, mientras que la cuantización, la poda, la descodificación especulativa y la mejora de las arquitecturas de modelos pueden reducir las operaciones necesarias para obtener resultados útiles. Una mejor programación y agrupación por lotes también puede aumentar la utilización del hardware sin cambiar la experiencia del usuario.

Los modelos especializados más pequeños ofrecen otra vía. Un servicio no siempre necesita su modelo más grande para la clasificación, la extracción o las cuestiones rutinarias. Enrutar el trabajo sencillo a modelos compactos, limitar el contexto innecesario y almacenar en caché los resultados reutilizables puede reducir tanto la latencia como el consumo eléctrico. Los centros de datos pueden mejorar aún más la eficiencia total mediante el suministro eléctrico, la refrigeración y la colocación de la carga de trabajo.

La eficiencia no garantiza un menor consumo global. Una IA más rápida y barata puede fomentar más aplicaciones, interacciones más prolongadas y nuevas funciones de cálculo intensivo, un efecto que a veces se describe como demanda de rebote. La futura huella eléctrica de las consultas sobre IA dependerá, por tanto, de dos tendencias contrapuestas: la rapidez con la que cada unidad de trabajo útil se hace más eficiente y la rapidez con la que crece el volumen total y la complejidad del uso de la IA.