Qu'est-ce que l'entraînement d'un modèle d'IA ? Définition et enjeux

L'entraînement d'un modèle d'IA se décompose en deux phases distinctes. Le pré-entraînement (pre-training) consiste à exposer le modèle à un corpus très volumineux et généraliste (Wikipédia, livres numérisés, code source, archives web) pour qu'il apprenne les structures statistiques du langage. Cette phase dure des semaines à des mois sur des clusters de milliers de GPU. À l'issue, le modèle prédit correctement la suite d'un texte sans connaître votre cas d'usage métier. Le post-entraînement (post-training) couvre les étapes d'alignement et d'adaptation : apprentissage supervisé sur des exemples annotés, apprentissage par renforcement avec feedback humain (RLHF), et fine-tuning sur des données spécifiques. Ces étapes orientent le comportement du modèle vers ce qui est attendu d'un assistant utile (sécurité, ton, format). L'entraînement est une opération à coût fixe élevé. Une fois réalisé, le modèle est figé : pour modifier ses connaissances, il faut soit l'entraîner à nouveau (coûteux), soit lui fournir le contexte à chaque requête via un RAG (économe).