Dernière revue :
Qu'est-ce qu'un modèle de fondation ? Définition et enjeux pour l'entreprise
Un modèle de fondation est un modèle d'IA généraliste entraîné sur des données massives et diversifiées, qui sert de base réutilisable pour des dizaines voire des centaines d'applications métier différentes, par adaptation (fine-tuning, RAG, prompt) plutôt que par entraînement spécifique.
Le terme modèle de fondation (foundation model en anglais) a été introduit par le Stanford CRFM en 2021 (Bommasani et al., On the Opportunities and Risks of Foundation Models) pour désigner une nouvelle classe de modèles caractérisée par deux propriétés. La première, l'entraînement à grande échelle sur des corpus généralistes : ces modèles ne sont pas conçus pour une tâche précise mais pour saisir les régularités statistiques d'un domaine vaste (langage, image, code). La seconde, leur adaptabilité descendante : le même modèle peut être spécialisé après coup pour la traduction, le résumé, la classification, le code, l'analyse d'image, par des techniques d'adaptation (fine-tuning, RAG, prompt engineering) bien moins coûteuses que l'entraînement initial. GPT, Claude, Gemini, Llama et Mistral sont des modèles de fondation textuels. Stable Diffusion et DALL-E sont des modèles de fondation visuels. La quasi-totalité des applications IA d'entreprise actuelles s'appuient sur un modèle de fondation, sans le savoir nécessairement.
Exemple concret
Le rapport Stanford CRFM 2021 a identifié les modèles de fondation comme un changement de paradigme : avant 2018, chaque tâche d'IA (traduction, résumé, classification, vision) nécessitait son propre modèle entraîné spécifiquement, sur des données dédiées. Après 2018 et l'émergence des grands transformers, un seul modèle généraliste peut adresser des dizaines de tâches par adaptation légère. Pour une ETI, cela change l'équation économique : au lieu de financer cinq développements d'IA spécialisée à 200 000 euros chacun, on adapte un modèle de fondation existant cinq fois, à 10 000 à 30 000 euros par adaptation. La barrière d'entrée s'écroule d'un ordre de grandeur.
À voir aussi
Pour aller plus loin
On the Opportunities and Risks of Foundation Models, Stanford CRFM, Bommasani et al., 2021
Sources
- On the Opportunities and Risks of Foundation Models, Bommasani et al., Stanford CRFM, arXiv:2108.07258, 2021. https://arxiv.org/abs/2108.07258
- Center for Research on Foundation Models, Stanford HAI. https://crfm.stanford.edu/