Dernière revue :
Qu'est-ce que l'inférence en IA ? Définition et enjeux pour l'entreprise
L'inférence est la phase d'utilisation d'un modèle d'IA, durant laquelle le modèle calcule une réponse à partir d'un prompt donné. C'est l'opération facturée par les fournisseurs d'API, distincte de l'entraînement qui est un coût fixe initial.
L'inférence consiste à faire passer une requête à travers le réseau de neurones du modèle pour générer une sortie. Pour un LLM, cela revient à prédire les tokens de la réponse un par un, chaque token nécessitant un passage complet à travers le réseau. Plus le modèle est grand (en nombre de paramètres), plus chaque passage demande de calculs, et plus la latence augmente. Trois variables conditionnent le coût d'inférence : la taille du modèle (plus de paramètres égale plus de calculs par token), le nombre de tokens en entrée et en sortie (proportionnel direct), et la précision numérique utilisée (FP32, FP16, INT8, INT4). La quantification réduit la précision sans dégrader significativement la qualité, et divise proportionnellement la consommation de mémoire et le coût de calcul. L'inférence est le coût récurrent d'une application IA : elle se paie à chaque requête, alors que l'entraînement est un coût initial.
Exemple concret
Selon le rapport Stanford AI Index 2025, le coût d'inférence pour un modèle au niveau de GPT-3.5 (score MMLU 64,8) est passé de 20 dollars par million de tokens en novembre 2022 à 0,07 dollar par million en octobre 2024, soit une réduction par plus de 280 en moins de deux ans. Le même niveau de qualité est aujourd'hui accessible à un coût très inférieur. Cette baisse continue change l'arbitrage économique : ce qui était hors de portée en 2023 est désormais un poste de dépense secondaire.
Questions fréquentes
Qu'est-ce que l'inférence, et en quoi diffère-t-elle de l'entraînement ?
L'inférence est la phase d'utilisation du modèle : il calcule une réponse à partir d'un prompt donné. C'est l'opération facturée par les fournisseurs d'API, à chaque requête. L'entraînement, lui, est un coût fixe initial, engagé une seule fois.
Qu'est-ce qui fait monter le coût d'inférence ?
Trois variables : la taille du modèle (plus de paramètres égale plus de calculs par token), le nombre de tokens en entrée et en sortie (proportion directe), et la précision numérique utilisée (FP32, FP16, INT8, INT4). La quantification réduit cette précision sans dégrader significativement la qualité, et divise proportionnellement la mémoire et le coût de calcul.
Pourquoi l'inférence est-elle la vraie ligne budgétaire à surveiller ?
Parce que c'est le seul coût IA récurrent, et il croît à mesure que l'usage s'industrialise. L'entraînement se paie une fois ; l'inférence se paie à chaque requête.
La baisse des coûts d'inférence change-t-elle quelque chose pour nous ?
Beaucoup. Selon le Stanford AI Index 2025, le coût pour une qualité équivalente à GPT-3.5 est passé de 20 dollars par million de tokens en novembre 2022 à 0,07 dollar en octobre 2024, soit une division par plus de 280 en moins de deux ans. Des cas d'usage écartés en 2022-2023 pour mauvais ROI méritent d'être réaudités : ce qui était hors de portée est devenu un poste de dépense secondaire.
Peut-on faire tourner l'inférence en interne pour les données sensibles ?
Oui, c'est désormais envisageable. Un modèle léger quantifié, comme un Mistral 7B, tourne sur du matériel standard, à coût marginal très bas une fois l'investissement initial fait. C'est une option pertinente pour les cas où la confidentialité des données prime.
À voir aussi
Sources
- Artificial Intelligence Index Report 2025, Stanford HAI, chapitre 1. https://hai.stanford.edu/ai-index/2025-ai-index-report
- Tarifs publics de l'API Claude (Anthropic). https://claude.com/pricing
- Artificial Intelligence Index Report 2026, Stanford HAI, chapitre 1 (Research and Development). https://hai.stanford.edu/ai-index/2026-ai-index-report/research-and-development