Última revisión:
¿Qué es la destilación de un modelo IA? Definición y retos para la empresa
La destilación es una técnica que consiste en transferir el conocimiento de un gran modelo de IA (modelo profesor) a un modelo más pequeño (modelo estudiante), preservando lo esencial del rendimiento. Permite desplegar modelos ligeros con coste de inferencia reducido, viables sobre infraestructuras más modestas.
El concepto fue formalizado por Hinton, Vinyals y Dean en 2015 en el paper Distilling the Knowledge in a Neural Network. El principio: en lugar de entrenar el modelo estudiante directamente sobre los datos originales, se le entrena para imitar las salidas (probabilidades, logits) del modelo profesor. El estudiante aprende no solo las respuestas correctas, sino también la confianza relativa que el modelo profesor concede a cada alternativa. Esta información llamada blanda contiene mucha más señal de aprendizaje que las solas etiquetas binarias. DistilBERT (Sanh et al., 2019) es el ejemplo histórico: alcanza el 97 % del rendimiento de BERT siendo 40 % más pequeño y 60 % más rápido en inferencia. Varias familias de pequeños modelos abiertos se producen oficialmente por destilación: Llama 3.2 1B y 3B (Meta, a partir de las salidas de Llama 3.1 8B y 70B), Gemma 2 2B y 9B (Google), o los seis modelos DeepSeek-R1-Distill (de 1,5 a 70 mil millones de parámetros, construidos sobre Qwen 2.5 y Llama 3). La destilación se ha vuelto un procedimiento habitual de producción de los modelos de inferencia económica.
Ejemplo concreto
Caso ilustrativo. Una pyme de servicio al cliente de 50 colaboradores trata 8 000 conversaciones al mes con un asistente de IA. Con un modelo puntero (Claude Sonnet 5.5 o equivalente), el coste de inferencia mensual se eleva a unos 320 euros. Al migrar a un modelo destilado de calidad próxima (por ejemplo DeepSeek-R1-Distill-Llama-70B), el coste cae a 35 euros al mes, es decir, un ahorro de 3 400 euros al año para un caso de uso estrictamente equivalente. Se supone una pérdida de calidad de 3 puntos sobre la tasa de resolución al primer contacto, a verificar sobre una muestra de conversaciones reales anotadas.
Preguntas frecuentes
¿Qué es la destilación de un modelo de IA?
Es una técnica que transfiere el conocimiento de un gran modelo, llamado profesor, a un modelo más pequeño, llamado estudiante, preservando lo esencial del rendimiento. Permite desplegar modelos ligeros, más baratos en inferencia y viables sobre infraestructuras más modestas.
¿Cómo aprende el estudiante del profesor?
En lugar de entrenarse directamente sobre los datos originales, el modelo estudiante aprende a imitar las salidas del profesor, es decir, las probabilidades que este asigna a cada respuesta posible. Esta información llamada blanda contiene mucha más señal de aprendizaje que las solas respuestas correctas. El concepto fue formalizado por Hinton, Vinyals y Dean en 2015.
¿Qué cambia la destilación en la factura?
Puede reducir con fuerza el coste de inferencia. En un caso ilustrativo, para una pyme de servicio al cliente que trata 8 000 conversaciones al mes, pasar de un modelo puntero (unos 320 euros al mes) a un modelo destilado de calidad próxima (unos 35 euros al mes) representa 3 400 euros de ahorro anual. Se supone una pérdida de calidad de 3 puntos sobre la tasa de resolución al primer contacto, a verificar con sus propias conversaciones.
¿Hay modelos que conocemos producidos por destilación?
Sí. El ejemplo histórico es DistilBERT, que alcanza el 97 % del rendimiento de BERT siendo un 40 % más pequeño y un 60 % más rápido en inferencia. Varias familias de pequeños modelos abiertos se producen por destilación, como Llama 3.2 (1B y 3B), Gemma 2 (2B y 9B) o los modelos DeepSeek-R1-Distill (de 1,5 a 70 mil millones de parámetros).
¿Qué pregunta plantear a nuestro director de sistemas sobre esto?
«¿El modelo puntero que utilizamos está justificado, o bastaría un modelo destilado?». Para responderla, compare objetivamente las salidas de un modelo destilado con su modelo actual sobre 100 casos reales, verifique si puede funcionar en local o en cloud soberano (lo que reduce la dependencia de un proveedor extranjero), y reevalúe esa elección con regularidad, por ejemplo con un benchmark trimestral.
Ver también
Para profundizar
Distilling the Knowledge in a Neural Network, Hinton et al., 2015
Fuentes
- Distilling the Knowledge in a Neural Network, Hinton, Vinyals & Dean, arXiv:1503.02531, 2015. https://arxiv.org/abs/1503.02531
- DistilBERT, a distilled version of BERT, Sanh et al., arXiv:1910.01108, 2019. https://arxiv.org/abs/1910.01108
- Llama 3.2: Revolutionizing edge AI and vision, Meta AI, septiembre de 2024 (1B y 3B entrenados con los logits de Llama 3.1 8B y 70B, y luego destilación). https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
- Gemma 2: Improving Open Language Models at a Practical Size, Google DeepMind, arXiv:2408.00118, 2024 (2B y 9B entrenados por destilación). https://arxiv.org/abs/2408.00118
- DeepSeek-R1, ficha del modelo, DeepSeek-AI, Hugging Face (seis modelos densos destilados de 1,5B a 70B, basados en Qwen 2.5 y Llama 3). https://huggingface.co/deepseek-ai/DeepSeek-R1