¿Qué es la inferencia de IA?

La inferencia de IA tiene lugar una vez que el modelo ya ha sido entrenado. Un usuario, una aplicación o un sistema automatizado envía una nueva entrada, y el modelo entrenado utiliza lo que ha aprendido durante el entrenamiento para generar una salida útil.

Esa entrada puede ser una indicación escrita, una consulta de búsqueda, una imagen de un producto, una grabación de voz, una línea de código o una fila de una base de datos. La salida puede ser una respuesta, una imagen generada, una clasificación, una recomendación, una traducción o una predicción.

Por eso, cada respuesta de ChatGPT, cada generación de imágenes mediante IA, cada resultado del asistente de búsqueda, cada motor de recomendaciones y cada decisión de moderación de contenidos implica una inferencia. El modelo no se reconstruye cada vez, sino que se aplica a los nuevos datos.

El entrenamiento y la inferencia son dos fases distintas del mismo sistema de inteligencia artificial. El entrenamiento crea o actualiza el modelo mediante el procesamiento de grandes conjuntos de datos, la comparación de las predicciones con ejemplos y el ajuste de los parámetros internos a lo largo de numerosos pasos repetidos.

La inferencia comienza una vez que ese proceso de entrenamiento ha generado un modelo utilizable. El modelo entrenado se implementa en los servidores, recibe nuevas entradas y aplica los patrones que ha aprendido sin tener que volver a pasar por todo el proceso de entrenamiento.

Una forma sencilla de recordar la diferencia es la siguiente: el entrenamiento es el proceso mediante el cual el modelo aprende, mientras que la inferencia es la forma en que se utiliza el modelo. Para obtener una explicación más detallada de la primera fase, consulta la guía sobre cómo se entrenan los modelos de IA.

Los pasos concretos dependen del tipo de modelo, pero el proceso básico es similar. Se recibe una entrada, el sistema la prepara en el formato que espera el modelo, el modelo realiza los cálculos con sus parámetros y el sistema convierte el resultado del modelo en algo que el usuario pueda leer, ver o utilizar.

En el caso de un modelo de lenguaje, la solicitud suele dividirse en tokens. El modelo evalúa esos tokens y predice los siguientes tokens más probables paso a paso. En el caso de un modelo de imagen, la entrada puede ser texto, una imagen o ambos, y el modelo genera gradualmente píxeles o características visuales que se ajustan a la solicitud.

Otros sistemas pueden clasificar un documento, ordenar los resultados de una búsqueda, detectar objetos en una imagen, transcribir el habla o recomendar un producto. En cada caso, la inferencia es el paso de ejecución en tiempo real que transforma una nueva entrada en una salida del modelo.

La inferencia de IA no consiste simplemente en una búsqueda en una base de datos. Un modelo de gran tamaño puede contener miles de millones de parámetros, y su uso requiere numerosas operaciones matemáticas para procesar la información a lo largo del modelo y calcular el siguiente resultado.

A menudo, este cálculo debe realizarse con rapidez. La respuesta de un chatbot, la de un asistente de búsqueda o una traducción en tiempo real deben llegar en cuestión de segundos o menos, por lo que los sistemas de inferencia tienen en cuenta la latencia, el ancho de banda de memoria, el procesamiento por lotes, el tamaño del modelo y la utilización del hardware.

Las GPU y otros aceleradores de IA resultan útiles porque pueden realizar numerosas operaciones en paralelo de forma eficiente. Cuanto mayor sea el modelo, más extenso sea el contexto y mayor sea el número de usuarios simultáneos, más cuidadosamente deberá diseñarse la infraestructura de inferencia.

Cuando un chatbot responde a una pregunta, está realizando una inferencia. Lo mismo ocurre cuando un generador de imágenes crea una imagen a partir de una indicación, un asistente de programación sugiere una función o una herramienta de traducción convierte una frase a otro idioma.

La inferencia también está presente en sistemas menos visibles. Un servicio de recomendaciones que clasifica vídeos, un sistema de detección de fraudes que señala una transacción, un modelo de imágenes médicas que resalta una zona de interés o un sistema de visión industrial que detecta defectos: todos ellos utilizan modelos entrenados con datos nuevos.

Estos ejemplos parecen diferentes para los usuarios, pero comparten el mismo patrón básico: un modelo entrenado recibe una entrada, realiza un cálculo y devuelve una salida que sirve de base para una decisión, una respuesta o un resultado generado.

Una solicitud de inferencia puede ser pequeña, pero los sistemas modernos de inteligencia artificial funcionan a gran escala. Millones o miles de millones de indicaciones, solicitudes de imágenes, recomendaciones y llamadas a la API pueden generar una demanda continua en las GPU, las redes, los sistemas de almacenamiento y los sistemas de refrigeración.

Por eso la inferencia es fundamental para la infraestructura de la IA. Aunque el entrenamiento sea el proceso informático más visible, la inferencia se repite cada vez que los usuarios utilizan las herramientas de IA implementadas. A escala mundial, ese uso repetido puede convertirse en un importante factor que impulse la demanda de GPU y el consumo eléctrico de los centros de datos.

El coste energético exacto de una consulta de IA depende del tamaño del modelo, el hardware, el procesamiento por lotes, la utilización, la eficiencia del centro de datos y el tipo de resultado. Lo importante es que la inferencia vincula el uso cotidiano de la IA con la infraestructura física: chips, servidores, energía, refrigeración y centros de datos.

Los proveedores de IA dedican un gran esfuerzo de ingeniería a hacer que la inferencia sea más rápida, más económica y más eficiente. El procesamiento por lotes permite tramitar varias solicitudes a la vez, el almacenamiento en caché permite reutilizar el trabajo repetido y el enrutamiento permite enviar las tareas más sencillas a modelos más pequeños o especializados.

Existen otras técnicas que reducen la cantidad de cálculo necesaria. La cuantificación permite representar los valores del modelo de forma más compacta; la destilación permite transferir el comportamiento a un modelo más pequeño; y la poda o los cambios en la arquitectura permiten eliminar el trabajo innecesario sin perder calidad útil.

El hardware especializado también es importante. Las GPU, los aceleradores de IA, las redes de alta velocidad y la memoria de gran ancho de banda ayudan a que los modelos desplegados respondan de forma fiable a gran escala. Una mayor eficiencia en la inferencia puede reducir la latencia, los costes y el consumo eléctrico, pero no hace que la infraestructura desaparezca.