Dernière revue :
Qu'est-ce qu'un LLM ? Définition et enjeux pour l'entreprise
Un LLM (Large Language Model) est un type d'intelligence artificielle entraîné sur des corpus de texte de plusieurs centaines de milliards de mots, qui produit du langage naturel en prédisant, mot par mot, la suite la plus probable d'un texte donné.
Un LLM est un réseau de neurones de très grande taille, généralement bâti sur l'architecture transformer (Vaswani et al., 2017), entraîné à prédire le mot suivant dans une séquence à partir des mots précédents. Cet objectif simple, répété sur des milliers de milliards de tokens, suffit à produire des modèles capables de répondre à des questions, rédiger des textes, traduire, raisonner et coder. La famille des LLM couvre des tailles très différentes, du modèle léger à 7 milliards de paramètres (Mistral 7B) jusqu'aux modèles de dernière génération, dont la plupart des éditeurs ne publient plus le nombre de paramètres (OpenAI n'a pas divulgué celui de GPT-4). La taille n'est plus le seul critère de qualité : depuis 2024, des modèles de 70 milliards de paramètres bien entraînés rivalisent sur les benchmarks courants avec des modèles près de six fois plus gros (Llama 3.3 70B face à Llama 3.1 405B, selon Meta), à un coût d'inférence très inférieur.
Exemple concret
Le transformer original, publié par Google en 2017, comptait 65 millions de paramètres. GPT-3, dévoilé par OpenAI en 2020, en comptait 175 milliards, soit 2 700 fois plus en trois ans. Depuis, l'inflation a continué : Llama 3.1 (Meta) atteint 405 milliards en open-source, tandis que la plupart des éditeurs de modèles propriétaires ne publient plus le nombre de paramètres de leurs modèles récents. La taille n'est pourtant plus le seul levier. Les architectures mixture of experts n'activent qu'une fraction des paramètres à chaque token, et la distillation transfère les capacités d'un grand modèle vers un plus petit : deux façons de réduire le coût d'inférence sans suivre cette inflation.
Questions fréquentes
Qu'est-ce qu'un LLM, exactement ?
Un LLM (Large Language Model) est un réseau de neurones de très grande taille, généralement bâti sur l'architecture transformer, entraîné sur des corpus de textes gigantesques. Son objectif est simple : prédire, mot par mot, la suite la plus probable d'un texte. Répété sur des milliers de milliards de tokens, cet objectif suffit à produire des modèles capables de répondre, rédiger, traduire, raisonner et coder.
Un modèle plus gros est-il forcément meilleur ?
Non, la taille n'est plus le seul critère de qualité. Depuis 2024, des modèles de 70 milliards de paramètres bien entraînés rivalisent sur les benchmarks courants avec des modèles près de six fois plus gros (Llama 3.3 70B face à Llama 3.1 405B, selon Meta), à un coût d'inférence très inférieur. Deux techniques y contribuent : les architectures mixture of experts, qui n'activent qu'une fraction des paramètres par token, et la distillation, qui transfère les capacités d'un grand modèle vers un plus petit.
Pourquoi parler d'un choix d'infrastructure plutôt que d'un choix de logiciel ?
Parce que la taille en paramètres détermine d'abord le coût d'inférence, ensuite la qualité. Un modèle plus petit suffit souvent pour un cas d'usage précis, à un coût très inférieur : au 14 octobre 2026, le million de tokens d'entrée est facturé 10 $ avec Claude Fable 5.1 et 0,10 $ avec Claude Haiku 5.5 (prompts jusqu'à 100 000 tokens), soit un rapport de 1 à 100. Il est donc prudent de tester systématiquement les modèles intermédiaires avant de payer pour les flagships.
Quelles familles de LLM existent, et qu'engage le choix ?
Trois familles cohabitent : propriétaires (GPT, Claude, Gemini), open-source (Llama, Mistral, DeepSeek) et souverains (Mistral AI en Europe). Le choix engage simultanément le coût, la confidentialité des données et le degré de dépendance fournisseur. Ce n'est pas une décision purement technique.
Un seul benchmark suffit-il à juger un modèle ?
Non. La performance d'un modèle est aussi celle de son tokeniseur, de sa fenêtre de contexte et de sa robustesse aux instructions adverses. Aucun benchmark unique ne capte ces trois axes, qui pèsent pourtant lourd en production.
À voir aussi
Sources
- Attention Is All You Need, Vaswani et al., NeurIPS 2017. https://arxiv.org/abs/1706.03762
- Language Models are Few-Shot Learners, Brown et al., NeurIPS 2020. https://arxiv.org/abs/2005.14165
- Introducing Meta Llama 3, Meta AI (préentraîné sur plus de 15 000 milliards de tokens). https://ai.meta.com/blog/meta-llama-3/
- GPT-4 Technical Report, OpenAI, 2023 (aucune information sur la taille du modèle). https://arxiv.org/abs/2303.08774
- Llama 3.3 70B, fiche du modèle, Meta. https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/MODEL_CARD.md
- Pricing, documentation Claude (Anthropic), consultée le 14 octobre 2026. https://platform.claude.com/docs/en/about-claude/pricing