Dernière revue :
Qu'est-ce que le surapprentissage (overfitting) ? Définition et différence avec le sous-apprentissage
Le surapprentissage (overfitting) désigne un modèle d'IA qui colle si étroitement à ses données d'entraînement qu'il les mémorise, au lieu d'en tirer des règles générales : il obtient d'excellents scores en test interne, puis se trompe sur des cas nouveaux. C'est l'une des causes les plus fréquentes d'un modèle brillant en démonstration qui déçoit en production.
Google, dans son cours d'apprentissage automatique, définit le surapprentissage comme la création d'un modèle qui correspond si étroitement à son jeu d'entraînement qu'il n'arrive plus à faire des prédictions correctes sur de nouvelles données. Le contraire recherché s'appelle la généralisation : bien prédire sur des cas jamais vus. Le sous-apprentissage (underfitting) est le défaut inverse : un modèle trop simple, qui échoue dès les données d'entraînement. Deux causes dominent. Des données d'entraînement peu représentatives de la réalité (trop peu nombreuses, trop anciennes, issues d'un seul site ou d'une seule saison). Un modèle trop complexe pour la quantité de données disponible, qui a assez de paramètres pour apprendre le bruit par cœur. Le signe classique : l'erreur continue de baisser sur les données d'entraînement alors qu'elle remonte sur des données de validation mises de côté. La parade de base consiste à découper les données en trois lots (entraînement, validation, test) et à ne juger le modèle que sur des données qu'il n'a jamais vues. S'y ajoutent des techniques de régularisation : en 2012, le réseau AlexNet, avec ses 60 millions de paramètres, utilisait déjà une méthode dédiée pour limiter le surapprentissage. Les LLM connaissent une variante du problème, la contamination : si les questions d'un test figurent dans les données d'entraînement, le score mesure la mémoire du modèle et non sa capacité à raisonner.
Exemple concret
Cas réel, documenté dans la revue Science en mars 2014 : Google Flu Trends, lancé en 2008, estimait la circulation de la grippe aux États-Unis à partir des recherches Google. La méthode initiale cherchait, parmi 50 millions de termes de recherche, ceux qui collaient le mieux à 1 152 points de données officiels. Les auteurs de l'article y voient un surapprentissage : des termes saisonniers sans rapport avec la grippe, comme le basket-ball lycéen, suivaient la même courbe. En février 2013, l'outil prévoyait plus du double des consultations pour syndrome grippal mesurées par les autorités sanitaires américaines (CDC), et il avait surestimé la grippe 100 semaines sur 108 à partir d'août 2011.
Cas illustratif : une ETI de services prédit le départ de ses clients. En démonstration, le modèle affiche 96 % de bonnes prédictions. En production, il tombe sous 65 %. L'audit montre qu'il avait été testé sur les mêmes clients que ceux de l'entraînement.
Comparaison
| Sous-apprentissage (underfitting) | Bon ajustement | Surapprentissage (overfitting) | |
|---|---|---|---|
| Sur les données d'entraînement | Mauvais | Bon | Excellent, parfois parfait |
| Sur des données nouvelles | Mauvais | Proche du score d'entraînement | Nettement moins bon |
| Cause typique | Modèle trop simple, variables manquantes | Modèle et données bien dimensionnés | Modèle trop complexe, données peu nombreuses ou peu représentatives |
| Ce que voit le dirigeant | Le modèle ne convainc pas dès la démo | Les résultats du pilote tiennent en production | Démo brillante, déception en production |
| Remède | Modèle plus riche, meilleures variables | Suivi régulier de la performance | Plus de données réelles, test sur données jamais vues, régularisation |
Questions fréquentes
C'est quoi le surapprentissage en IA ?
C'est le défaut d'un modèle qui a mémorisé ses données d'entraînement au lieu d'en tirer des règles générales. Il réussit très bien sur les exemples déjà vus et se trompe sur les nouveaux. On dit qu'il généralise mal.
Quelle est la différence entre overfitting et underfitting ?
L'overfitting (surapprentissage) est un modèle trop collé à ses données : excellent à l'entraînement, mauvais sur des cas nouveaux. L'underfitting (sous-apprentissage) est un modèle trop simple : mauvais partout, y compris sur ses données d'entraînement. Le but est le juste milieu, un modèle qui généralise.
Comment détecter un surapprentissage ?
En comparant la performance sur les données d'entraînement et sur des données mises de côté que le modèle n'a jamais vues. Si l'écart est grand, ou si l'erreur de validation remonte pendant que l'erreur d'entraînement baisse, le modèle surapprend.
Comment éviter le surapprentissage ?
Avoir des données plus nombreuses et représentatives de la production, découper en jeux d'entraînement, de validation et de test, choisir un modèle adapté à la quantité de données, utiliser des techniques de régularisation et arrêter l'entraînement quand l'erreur de validation cesse de baisser.
Quel est un exemple de surapprentissage ?
Google Flu Trends : selon un article de Science (2014), l'outil sélectionnait des termes de recherche parmi 50 millions pour coller à 1 152 points de données, dont des termes saisonniers sans lien avec la grippe. En février 2013, il prévoyait plus du double des consultations mesurées par les autorités sanitaires américaines.
Les LLM comme ChatGPT peuvent-ils surapprendre ?
Oui, sous une forme particulière. Un LLM peut réciter des passages de ses données d'entraînement, ou réussir un test public parce qu'il en a vu les questions pendant l'entraînement (contamination). C'est pourquoi une évaluation sérieuse se fait sur vos propres cas, jamais publiés.
À voir aussi
Pour aller plus loin
Overfitting, Machine Learning Crash Course, Google for Developers (en anglais)
Sources
- Overfitting, Machine Learning Crash Course, Google for Developers. https://developers.google.com/machine-learning/crash-course/overfitting/overfitting
- The Parable of Google Flu: Traps in Big Data Analysis, Lazer, Kennedy, King et Vespignani, Science, vol. 343, n° 6176, 14 mars 2014. https://www.science.org/doi/10.1126/science.1248506
- ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky, Sutskever et Hinton, NeurIPS (NIPS) 2012. https://proceedings.neurips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html