Dernière revue :
Qu'est-ce que MoE (Mixture of Experts) ? Définition et enjeux pour l'entreprise
Mixture of Experts (MoE) est une architecture de modèle d'IA qui divise le réseau en sous-modèles spécialisés, appelés experts. À chaque token traité, un routeur sélectionne dynamiquement quelques experts, laissant les autres inactifs. Le modèle a la capacité d'un grand modèle mais le coût de calcul d'un plus petit.
L'idée de mixture of experts est ancienne ; elle a été appliquée aux transformers à très grande échelle par Fedus, Zoph et Shazeer en 2021 (Switch Transformer, Google). L'idée : au lieu d'activer la totalité du réseau à chaque inférence, un routeur léger oriente chaque token vers un sous-ensemble d'experts spécialisés, généralement 1 à 8 sur les dizaines disponibles. Conséquence : on peut entraîner et déployer des modèles à des centaines de milliards de paramètres, mais seule une petite fraction est mobilisée à chaque token (37 milliards sur 671 pour DeepSeek V3). En 2026, la plupart des grands modèles à poids ouverts reposent sur une architecture MoE (DeepSeek V4, Llama 4, Qwen 3.5, Mistral Large 3) ; les éditeurs de modèles fermés ne publient généralement pas leur architecture. DeepSeek V3 : 671 milliards de paramètres totaux, 37 milliards actifs par token. Mixtral 8x22B (Mistral) : 141 milliards totaux, 39 milliards actifs. L'avantage compétitif du MoE est si net qu'il est devenu un standard architectural pour les modèles à très grande échelle.
Exemple concret
DeepSeek V3 illustre l'avantage économique du MoE. Le modèle dispose de 671 milliards de paramètres au total, mais n'en active que 37 milliards par token, soit 5,5 % de l'ensemble. Selon DeepSeek, il atteint des performances comparables à celles des meilleurs modèles fermés de l'époque, pour un entraînement complet de 2,788 millions d'heures de GPU H800 (rapport technique de DeepSeek). Cette efficacité explique l'adoption massive du MoE en 2025-2026 par les grands modèles à poids ouverts.
Questions fréquentes
Qu'est-ce qu'un modèle MoE (Mixture of Experts) ?
C'est une architecture qui divise le réseau en sous-modèles spécialisés appelés experts. À chaque token traité, un routeur sélectionne dynamiquement quelques experts, généralement 1 à 8 sur les dizaines disponibles, et laisse les autres inactifs. Le modèle a ainsi la capacité d'un grand modèle mais le coût de calcul d'un plus petit.
Pourquoi un modèle MoE coûte-t-il moins cher à faire tourner ?
Parce qu'une fraction seulement des paramètres est activée à chaque token. DeepSeek V3, par exemple, dispose de 671 milliards de paramètres au total mais n'en active que 37 milliards par token, soit 5,5 %.
Pourquoi la distinction dense ou MoE compte-t-elle pour comparer les prix ?
Parce que le coût d'inférence par token peut refléter l'activation réelle (par exemple 5 % des paramètres) ou la taille totale du modèle. Sans cette distinction, un comparatif de prix entre modèles est trompeur. C'est l'une des premières questions à poser à votre DSI ou à votre prestataire.
Quels risques un modèle MoE présente-t-il ?
Deux points de vigilance. D'abord le routing collapse, un effet bien documenté où le trafic se concentre sur quelques experts et dégrade la qualité moyenne, d'où l'intérêt d'un test de stabilité sous charge. Ensuite l'infrastructure : un modèle MoE de 671 milliards de paramètres exige plusieurs centaines de gigaoctets de mémoire VRAM, même si l'activation reste minimale.
Le MoE est-il répandu aujourd'hui ?
Oui. En 2026, la plupart des grands modèles à poids ouverts reposent sur une architecture MoE, comme DeepSeek V4, Llama 4, Qwen 3.5 ou Mistral Large 3. L'avantage compétitif est si net que le MoE est devenu un standard architectural pour les modèles à très grande échelle.
À voir aussi
Pour aller plus loin
Switch Transformers: Scaling to Trillion Parameter Models, Fedus et al., 2021
Sources
- Switch Transformers: Scaling to Trillion Parameter Models, Fedus, Zoph & Shazeer, arXiv:2101.03961, 2021. https://arxiv.org/abs/2101.03961
- DeepSeek-V3 Technical Report, DeepSeek-AI, arXiv:2412.19437, 2024. https://arxiv.org/abs/2412.19437
- DeepSeek-V4-Pro, fiche du modèle, DeepSeek-AI, Hugging Face (MoE, 1 600 milliards de paramètres dont 49 milliards actifs). https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro
- The Llama 4 herd, Meta AI, avril 2025 (premiers modèles Llama en architecture MoE). https://ai.meta.com/blog/llama-4-multimodal-intelligence/
- Qwen3.5-397B-A17B, fiche du modèle, Alibaba Qwen, Hugging Face (397 milliards de paramètres dont 17 milliards actifs). https://huggingface.co/Qwen/Qwen3.5-397B-A17B
- Mistral Large 3, fiche du modèle, Mistral AI, Hugging Face (MoE granulaire, 675 milliards de paramètres dont 41 milliards actifs). https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512