Última revisión:
¿Qué es un modelo de fundación? Definición y retos para la empresa
Un modelo de fundación es un modelo de IA generalista entrenado sobre datos masivos y diversificados, que sirve de base reutilizable para decenas o incluso cientos de aplicaciones de negocio distintas, por adaptación (fine-tuning, RAG, prompt) y no por entrenamiento específico.
El término modelo de fundación (foundation model en inglés) fue introducido por el Stanford CRFM en 2021 (Bommasani et al., On the Opportunities and Risks of Foundation Models) para designar una nueva clase de modelos caracterizada por dos propiedades. La primera, el entrenamiento a gran escala sobre corpus generalistas: estos modelos no están concebidos para una tarea precisa, sino para captar las regularidades estadísticas de un dominio amplio (lenguaje, imagen, código). La segunda, su adaptabilidad descendente: el mismo modelo puede especializarse a posteriori para la traducción, el resumen, la clasificación, el código, el análisis de imagen, mediante técnicas de adaptación (fine-tuning, RAG, prompt engineering) mucho menos costosas que el entrenamiento inicial. GPT, Claude, Gemini, Llama y Mistral son modelos de fundación textuales. Stable Diffusion y DALL-E son modelos de fundación visuales. La casi totalidad de las aplicaciones de IA de empresa actuales se apoyan en un modelo de fundación, sin saberlo necesariamente.
Ejemplo concreto
El informe Stanford CRFM 2021 identificó los modelos de fundación como un cambio de paradigma: antes de 2018, cada tarea de IA (traducción, resumen, clasificación, visión) necesitaba su propio modelo entrenado específicamente, sobre datos dedicados. Después de 2018 y la emergencia de los grandes transformers, un único modelo generalista puede abordar decenas de tareas por adaptación ligera. Para una mediana empresa, esto cambia la ecuación económica: en lugar de financiar cinco desarrollos de IA especializada a 200 000 euros cada uno, se adapta un modelo de fundación existente cinco veces, a 10 000 o 30 000 euros por adaptación. La barrera de entrada se desploma un orden de magnitud.
Ver también
Para profundizar
On the Opportunities and Risks of Foundation Models, Stanford CRFM, Bommasani et al., 2021
Fuentes
- On the Opportunities and Risks of Foundation Models, Bommasani et al., Stanford CRFM, arXiv:2108.07258, 2021. https://arxiv.org/abs/2108.07258
- Center for Research on Foundation Models, Stanford HAI. https://crfm.stanford.edu/