Qu'est-ce qu'un LLM ? Définition et enjeux pour l'entreprise

Un LLM (Large Language Model) est un réseau de neurones de très grande taille, généralement bâti sur l'architecture transformer, entraîné sur des corpus de plusieurs centaines de milliards de mots. Son objectif est simple : prédire, mot par mot, la suite la plus probable d'un texte. Répété sur des dizaines de milliers de milliards de tokens, cet objectif suffit à produire des modèles capables de répondre, rédiger, traduire, raisonner et coder.

Non, la taille n'est plus le seul critère de qualité. Depuis 2024, des modèles de 70 milliards de paramètres bien entraînés rivalisent sur les benchmarks courants avec des modèles cinq à vingt fois plus gros, à un coût d'inférence très inférieur. Deux techniques y contribuent : les architectures mixture of experts, qui n'activent qu'une fraction des paramètres par token, et la distillation, qui transfère les capacités d'un grand modèle vers un plus petit.

Parce que la taille en paramètres détermine d'abord le coût d'inférence, ensuite la qualité. Un modèle de 70 milliards de paramètres bien entraîné couvre 80 à 90 % des cas d'usage d'entreprise pour un coût cinq à dix fois inférieur à un modèle premium. Il est donc prudent de tester systématiquement les modèles intermédiaires avant de payer pour les flagships.

Trois familles cohabitent : propriétaires (GPT, Claude, Gemini), open-source (Llama, Mistral, DeepSeek) et souverains (Mistral AI en Europe). Le choix engage simultanément le coût, la confidentialité des données et le degré de dépendance fournisseur. Ce n'est pas une décision purement technique.

Non. La performance d'un modèle est aussi celle de son tokeniseur, de sa fenêtre de contexte et de sa robustesse aux instructions adverses. Aucun benchmark unique ne capte ces trois axes, qui pèsent pourtant lourd en production.