# ¿Qué es MoE (Mixture of Experts)? Definición y retos para la empresa

> Mixture of Experts (MoE) es una arquitectura de modelo de IA que divide la red en submodelos especializados, llamados expertos. Para cada token tratado, un enrutador selecciona dinámicamente algunos expertos, dejando inactivos a los demás. El modelo tiene la capacidad de un gran modelo pero el coste de cálculo de uno más pequeño.

## Definición
La idea de mixture of experts es antigua; fue aplicada a los transformers a muy gran escala por Fedus, Zoph y Shazeer en 2021 (Switch Transformer, Google). La idea: en lugar de activar la totalidad de la red en cada inferencia, un enrutador ligero orienta cada token hacia un subconjunto de expertos especializados, generalmente de 1 a 8 entre las decenas disponibles. Consecuencia: se pueden entrenar y desplegar modelos con cientos de miles de millones de parámetros, pero solo se moviliza una pequeña fracción en cada token (37 000 de 671 000 millones en DeepSeek V3). En 2026, la mayoría de los grandes modelos de pesos abiertos se basan en una arquitectura MoE (DeepSeek V4, Llama 4, Qwen 3.5, Mistral Large 3); los editores de modelos cerrados no suelen publicar su arquitectura. DeepSeek V3: 671 mil millones de parámetros totales, 37 mil millones activos por token. Mixtral 8x22B (Mistral): 141 mil millones totales, 39 mil millones activos. La ventaja competitiva del MoE es tan clara que se ha vuelto un estándar arquitectónico para los modelos a muy gran escala.

## Ejemplo
DeepSeek V3 ilustra la ventaja económica del MoE. El modelo dispone de 671 mil millones de parámetros en total, pero solo activa 37 mil millones por token, es decir, el 5,5 % del conjunto. Según DeepSeek, alcanza rendimientos comparables a los de los mejores modelos cerrados de la época, con un entrenamiento completo de 2,788 millones de horas de GPU H800 (informe técnico de DeepSeek). Esta eficiencia explica la adopción masiva del MoE por los grandes modelos de pesos abiertos en 2025-2026.

## Para un directivo
«¿El modelo que utilizamos es denso o MoE, y sabemos por qué eso importa?». Esta pregunta, planteada a su director de sistemas o a su proveedor de IA, revela a menudo un punto ciego de la decisión técnica. Tres subpreguntas a encadenar. Primero, ¿el coste de inferencia por token anunciado refleja la activación real (por ejemplo, el 5 % de los parámetros en MoE) o el tamaño total? Sin esta distinción, la comparativa de precios es engañosa. Segundo, ¿el modelo MoE elegido ha sido objeto de un test de estabilidad bajo carga? Un efecto bien documentado, el routing collapse, puede concentrar el tráfico en algunos expertos y degradar la calidad media. Tercero, ¿nuestro despliegue necesita la infraestructura VRAM correspondiente? Un modelo MoE de 671 mil millones de parámetros exige varios cientos de gigabytes de memoria, incluso si la activación es mínima.

## Preguntas frecuentes

**¿Qué es un modelo MoE (Mixture of Experts)?**
Es una arquitectura que divide la red en submodelos especializados llamados expertos. Para cada token tratado, un enrutador selecciona dinámicamente algunos expertos, generalmente de 1 a 8 entre las decenas disponibles, y deja inactivos a los demás. Así, el modelo tiene la capacidad de un gran modelo pero el coste de cálculo de uno más pequeño.

**¿Por qué un modelo MoE cuesta menos de ejecutar?**
Porque solo se activa una fracción de los parámetros por token. DeepSeek V3, por ejemplo, dispone de 671 mil millones de parámetros en total pero solo activa 37 mil millones por token, es decir, el 5,5 %.

**¿Por qué la distinción denso o MoE importa para comparar precios?**
Porque el coste de inferencia por token puede reflejar la activación real (por ejemplo, el 5 % de los parámetros) o el tamaño total del modelo. Sin esa distinción, una comparativa de precios entre modelos es engañosa. Es una de las primeras preguntas a plantear a su director de sistemas o a su proveedor.

**¿Qué riesgos presenta un modelo MoE?**
Dos puntos de vigilancia. Primero el routing collapse, un efecto bien documentado en el que el tráfico se concentra en algunos expertos y degrada la calidad media, de ahí el interés de un test de estabilidad bajo carga. Segundo la infraestructura: un modelo MoE de 671 mil millones de parámetros exige varios cientos de gigabytes de memoria VRAM, aunque la activación siga siendo mínima.

**¿Está extendido el MoE hoy en día?**
Sí. En 2026, la mayoría de los grandes modelos de pesos abiertos se basan en una arquitectura MoE, como DeepSeek V4, Llama 4, Qwen 3.5 o Mistral Large 3. La ventaja competitiva es tan clara que el MoE se ha vuelto un estándar arquitectónico para los modelos a muy gran escala.

## Para seguir

- [Transformer](https://wyp.agency/es/glosario/transformer/)
- [Parámetro](https://wyp.agency/es/glosario/parametro/)
- [LLM (Large Language Model)](https://wyp.agency/es/glosario/llm/)
- [Inferencia](https://wyp.agency/es/glosario/inferencia/)
- [Modelo de fundación](https://wyp.agency/es/glosario/modelo-de-fundacion/)

## Fuentes

- Switch Transformers: Scaling to Trillion Parameter Models, Fedus, Zoph & Shazeer, arXiv:2101.03961, 2021 (https://arxiv.org/abs/2101.03961)
- DeepSeek-V3 Technical Report, DeepSeek-AI, arXiv:2412.19437, 2024 (https://arxiv.org/abs/2412.19437)
- DeepSeek-V4-Pro, ficha del modelo, DeepSeek-AI, Hugging Face (MoE, 1,6 billones de parámetros de los que 49 mil millones activos) (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro)
- The Llama 4 herd, Meta AI, abril de 2025 (primeros modelos Llama con arquitectura MoE) (https://ai.meta.com/blog/llama-4-multimodal-intelligence/)
- Qwen3.5-397B-A17B, ficha del modelo, Alibaba Qwen, Hugging Face (397 mil millones de parámetros de los que 17 mil millones activos) (https://huggingface.co/Qwen/Qwen3.5-397B-A17B)
- Mistral Large 3, ficha del modelo, Mistral AI, Hugging Face (MoE granular, 675 mil millones de parámetros de los que 41 mil millones activos) (https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512)

---
Ficha del glosario de IA de WYP.agency · https://wyp.agency/es/glosario/moe/ · Última actualización : 2026-10-14