Dernière revue :
Qu'est-ce que la distillation d'un modèle IA ? Définition et enjeux
La distillation est une technique qui consiste à transférer la connaissance d'un grand modèle d'IA (modèle enseignant) vers un modèle plus petit (modèle étudiant), tout en préservant l'essentiel des performances. Elle permet de déployer des modèles légers à coût d'inférence réduit, viables sur des infrastructures plus modestes.
Le concept a été formalisé par Hinton, Vinyals et Dean en 2015 dans le paper Distilling the Knowledge in a Neural Network. Le principe : au lieu d'entraîner le modèle étudiant directement sur les données originales, on l'entraîne à imiter les sorties (probabilités, logits) du modèle enseignant. L'étudiant apprend non seulement les bonnes réponses, mais aussi la confiance relative que le modèle enseignant accorde à chaque alternative. Cette information dite molle contient beaucoup plus de signal d'apprentissage que les seules étiquettes binaires. DistilBERT (Sanh et al., 2019) est l'exemple historique : il atteint 97 % des performances de BERT en étant 40 % plus petit et 60 % plus rapide à l'inférence. Plusieurs familles de petits modèles ouverts sont officiellement produites par distillation : Llama 3.2 1B et 3B (Meta, à partir des sorties de Llama 3.1 8B et 70B), Gemma 2 2B et 9B (Google), ou les six modèles DeepSeek-R1-Distill (de 1,5 à 70 milliards de paramètres, bâtis sur Qwen 2.5 et Llama 3). La distillation est devenue un procédé courant de production des modèles d'inférence économique.
Exemple concret
Cas illustratif. Une PME de service client de 50 collaborateurs traite 8 000 conversations par mois avec un assistant IA. Avec un modèle de pointe (Claude Sonnet 5.5 ou équivalent), le coût d'inférence mensuel s'élève à environ 320 euros. En migrant vers un modèle distillé de qualité proche (par exemple DeepSeek-R1-Distill-Llama-70B), le coût tombe à 35 euros par mois, soit une économie de 3 400 euros par an pour un cas d'usage strictement équivalent. On suppose une perte de qualité de 3 points sur le taux de résolution au premier contact, à vérifier sur un échantillon de conversations réelles annotées.
Questions fréquentes
Qu'est-ce que la distillation d'un modèle d'IA ?
C'est une technique qui transfère la connaissance d'un grand modèle, dit enseignant, vers un modèle plus petit, dit étudiant, en préservant l'essentiel des performances. Elle permet de déployer des modèles légers, moins coûteux à l'inférence et viables sur des infrastructures plus modestes.
Comment l'étudiant apprend-il de l'enseignant ?
Plutôt que d'être entraîné directement sur les données originales, le modèle étudiant apprend à imiter les sorties de l'enseignant, c'est-à-dire les probabilités qu'il attribue à chaque réponse possible. Cette information dite molle contient beaucoup plus de signal d'apprentissage que les seules bonnes réponses. Le concept a été formalisé par Hinton, Vinyals et Dean en 2015.
Qu'est-ce que la distillation change sur la facture ?
Elle peut réduire fortement le coût d'inférence. Dans un cas illustratif, pour une PME de service client traitant 8 000 conversations par mois, passer d'un modèle de pointe (environ 320 euros par mois) à un modèle distillé de qualité proche (environ 35 euros par mois) représente 3 400 euros d'économie annuelle. La perte de qualité supposée est de 3 points sur le taux de résolution au premier contact, à vérifier sur vos propres conversations.
Des modèles que nous connaissons sont-ils issus de distillation ?
Oui. L'exemple historique est DistilBERT, qui atteint 97 % des performances de BERT en étant 40 % plus petit et 60 % plus rapide à l'inférence. Plusieurs familles de petits modèles ouverts sont produites par distillation, comme Llama 3.2 (1B et 3B), Gemma 2 (2B et 9B) ou les modèles DeepSeek-R1-Distill (de 1,5 à 70 milliards de paramètres).
Quelle question poser à notre DSI sur ce sujet ?
« Le modèle de pointe que nous utilisons est-il justifié, ou un modèle distillé suffirait-il ? » Pour y répondre, comparez objectivement les sorties d'un modèle distillé à votre modèle actuel sur 100 cas réels, vérifiez s'il peut tourner en local ou en cloud souverain (ce qui réduit la dépendance à un fournisseur étranger), et réévaluez ce choix régulièrement, par exemple par un benchmark trimestriel.
À voir aussi
Pour aller plus loin
Distilling the Knowledge in a Neural Network, Hinton et al., 2015
Sources
- Distilling the Knowledge in a Neural Network, Hinton, Vinyals & Dean, arXiv:1503.02531, 2015. https://arxiv.org/abs/1503.02531
- DistilBERT, a distilled version of BERT, Sanh et al., arXiv:1910.01108, 2019. https://arxiv.org/abs/1910.01108
- Llama 3.2: Revolutionizing edge AI and vision, Meta AI, septembre 2024 (1B et 3B entraînés avec les logits de Llama 3.1 8B et 70B, puis distillation). https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
- Gemma 2: Improving Open Language Models at a Practical Size, Google DeepMind, arXiv:2408.00118, 2024 (2B et 9B entraînés par distillation). https://arxiv.org/abs/2408.00118
- DeepSeek-R1, fiche du modèle, DeepSeek-AI, Hugging Face (six modèles denses distillés de 1,5B à 70B, basés sur Qwen 2.5 et Llama 3). https://huggingface.co/deepseek-ai/DeepSeek-R1