Qu'est-ce que l'inférence en IA ? Définition et enjeux pour l'entreprise

L'inférence consiste à faire passer une requête à travers le réseau de neurones du modèle pour générer une sortie. Pour un LLM, cela revient à prédire les tokens de la réponse un par un, chaque token nécessitant un passage complet à travers le réseau. Plus le modèle est grand (en nombre de paramètres), plus chaque passage demande de calculs, et plus la latence augmente. Trois variables conditionnent le coût d'inférence : la taille du modèle (plus de paramètres égale plus de calculs par token), le nombre de tokens en entrée et en sortie (proportionnel direct), et la précision numérique utilisée (FP32, FP16, INT8, INT4). La quantification réduit la précision sans dégrader significativement la qualité, et divise proportionnellement la consommation de mémoire et le coût de calcul. L'inférence représente l'essentiel du coût de production d'une application IA : selon les analyses publiques de NVIDIA, environ 80 % du budget IA opérationnel d'une entreprise déployée à l'échelle va à l'inférence, contre 20 % à l'entraînement.