Última revisión:
¿Qué es la inferencia en IA? Definición y retos para la empresa
La inferencia es la fase de uso de un modelo de IA, durante la cual el modelo calcula una respuesta a partir de un prompt dado. Es la operación facturada por los proveedores de API, distinta del entrenamiento, que es un coste fijo inicial.
La inferencia consiste en hacer pasar una consulta a través de la red neuronal del modelo para generar una salida. Para un LLM, esto equivale a predecir los tokens de la respuesta uno por uno, cada token necesitando un recorrido completo por la red. Cuanto más grande es el modelo (en número de parámetros), más cálculos exige cada recorrido, y más aumenta la latencia. Tres variables condicionan el coste de inferencia: el tamaño del modelo (más parámetros equivale a más cálculos por token), el número de tokens de entrada y de salida (proporción directa), y la precisión numérica utilizada (FP32, FP16, INT8, INT4). La cuantificación reduce la precisión sin degradar significativamente la calidad, y divide proporcionalmente el consumo de memoria y el coste de cálculo. La inferencia es el coste recurrente de una aplicación de IA: se paga en cada consulta, mientras que el entrenamiento es un coste inicial.
Ejemplo concreto
Según el informe Stanford AI Index 2025, el coste de inferencia para un modelo al nivel de GPT-3.5 (puntuación MMLU 64,8) pasó de 20 dólares por millón de tokens en noviembre de 2022 a 0,07 dólares por millón en octubre de 2024, es decir, una reducción de más de 280 veces en menos de dos años. El mismo nivel de calidad está hoy disponible a un coste muy inferior. Esta caída continua cambia el arbitraje económico: lo que estaba fuera de alcance en 2023 es ahora una partida de gasto secundaria.
Preguntas frecuentes
¿Qué es la inferencia, y en qué se diferencia del entrenamiento?
La inferencia es la fase de uso del modelo: calcula una respuesta a partir de un prompt dado. Es la operación que facturan los proveedores de API, en cada consulta. El entrenamiento, en cambio, es un coste fijo inicial, asumido una sola vez.
¿Qué hace subir el coste de inferencia?
Tres variables: el tamaño del modelo (más parámetros equivale a más cálculos por token), el número de tokens de entrada y de salida (proporción directa), y la precisión numérica utilizada (FP32, FP16, INT8, INT4). La cuantificación reduce esa precisión sin degradar significativamente la calidad, y divide proporcionalmente la memoria y el coste de cálculo.
¿Por qué es la inferencia la verdadera partida presupuestaria a vigilar?
Porque es el único coste de IA recurrente, y crece a medida que el uso se industrializa. El entrenamiento se paga una vez; la inferencia se paga en cada consulta.
¿La caída de los costes de inferencia cambia algo para nosotros?
Mucho. Según el Stanford AI Index 2025, el coste para una calidad equivalente a GPT-3.5 pasó de 20 dólares por millón de tokens en noviembre de 2022 a 0,07 dólares en octubre de 2024, una división por más de 280 en menos de dos años. Conviene reauditar los casos de uso descartados en 2022-2023 por mal ROI: lo que estaba fuera de alcance se ha vuelto una partida de gasto secundaria.
¿Podemos ejecutar la inferencia internamente para datos sensibles?
Sí, ahora es viable. Un modelo ligero cuantificado, como un Mistral 7B, funciona sobre hardware estándar a un coste marginal muy bajo una vez hecha la inversión inicial. Es una opción pertinente cuando la confidencialidad de los datos es prioritaria.
Ver también
Fuentes
- Artificial Intelligence Index Report 2025, Stanford HAI, capítulo 1. https://hai.stanford.edu/ai-index/2025-ai-index-report
- Tarifas públicas de la API de Claude (Anthropic). https://claude.com/pricing
- Artificial Intelligence Index Report 2026, Stanford HAI, capítulo 1 (Research and Development). https://hai.stanford.edu/ai-index/2026-ai-index-report/research-and-development