Última revisión:
¿Qué es el sobreajuste (overfitting)? Definición y diferencia con el subajuste
El sobreajuste (overfitting) designa un modelo de IA que se ajusta tanto a sus datos de entrenamiento que los memoriza, en lugar de extraer reglas generales: obtiene excelentes resultados en las pruebas internas y luego se equivoca con casos nuevos. Es una de las causas más frecuentes de que un modelo brillante en la demostración decepcione en producción.
Google, en su curso de aprendizaje automático, define el sobreajuste como la creación de un modelo que se corresponde tan estrechamente con su conjunto de entrenamiento que ya no logra hacer predicciones correctas con datos nuevos. Lo contrario, lo que se busca, se llama generalización: predecir bien casos nunca vistos. El subajuste (underfitting) es el defecto inverso: un modelo demasiado simple, que falla ya con los datos de entrenamiento. Dominan dos causas. Datos de entrenamiento poco representativos de la realidad (demasiado escasos, demasiado antiguos, de un solo centro o de una sola temporada). Un modelo demasiado complejo para la cantidad de datos disponible, con parámetros suficientes para aprenderse el ruido de memoria. La señal clásica: el error sigue bajando con los datos de entrenamiento mientras sube con los datos de validación apartados. La defensa básica consiste en dividir los datos en tres lotes (entrenamiento, validación, prueba) y juzgar el modelo solo con datos que nunca ha visto. Se añaden técnicas de regularización: en 2012, la red AlexNet, con sus 60 millones de parámetros, ya utilizaba un método específico para limitar el sobreajuste. Los LLM conocen una variante del problema, la contaminación: si las preguntas de una prueba figuran en los datos de entrenamiento, la puntuación mide la memoria del modelo y no su capacidad de razonar.
Ejemplo concreto
Caso real, documentado en la revista Science en marzo de 2014: Google Flu Trends, lanzado en 2008, estimaba la circulación de la gripe en Estados Unidos a partir de las búsquedas en Google. El método inicial buscaba, entre 50 millones de términos de búsqueda, los que mejor encajaban con 1 152 puntos de datos oficiales. Los autores del artículo ven en ello un sobreajuste: términos estacionales sin relación con la gripe, como el baloncesto escolar, seguían la misma curva. En febrero de 2013, la herramienta preveía más del doble de consultas por síndrome gripal que las medidas por las autoridades sanitarias estadounidenses (CDC), y había sobrestimado la gripe 100 semanas de 108 a partir de agosto de 2011.
Caso ilustrativo: una empresa francesa mediana de servicios predice la baja de sus clientes. En la demostración, el modelo muestra un 96 % de aciertos. En producción, cae por debajo del 65 %. La auditoría revela que se había probado con los mismos clientes usados en el entrenamiento.
Comparación
| Subajuste (underfitting) | Buen ajuste | Sobreajuste (overfitting) | |
|---|---|---|---|
| Con los datos de entrenamiento | Malo | Bueno | Excelente, a veces perfecto |
| Con datos nuevos | Malo | Cercano a la puntuación de entrenamiento | Claramente peor |
| Causa típica | Modelo demasiado simple, variables ausentes | Modelo y datos bien dimensionados | Modelo demasiado complejo, datos escasos o poco representativos |
| Lo que ve el directivo | El modelo no convence desde la demostración | Los resultados del piloto se mantienen en producción | Demostración brillante, decepción en producción |
| Remedio | Modelo más rico, mejores variables | Seguimiento regular del rendimiento | Más datos reales, prueba con datos nunca vistos, regularización |
Preguntas frecuentes
¿Qué es el sobreajuste en IA?
Es el defecto de un modelo que ha memorizado sus datos de entrenamiento en lugar de extraer reglas generales. Acierta mucho con los ejemplos ya vistos y se equivoca con los nuevos. Se dice que generaliza mal.
¿Qué diferencia hay entre overfitting y underfitting?
El overfitting (sobreajuste) es un modelo demasiado pegado a sus datos: excelente en el entrenamiento, malo con casos nuevos. El underfitting (subajuste) es un modelo demasiado simple: malo en todo, incluso con sus datos de entrenamiento. El objetivo es el término medio, un modelo que generaliza.
¿Cómo se detecta el sobreajuste?
Comparando el rendimiento con los datos de entrenamiento y con datos apartados que el modelo nunca ha visto. Si la diferencia es grande, o si el error de validación sube mientras el de entrenamiento baja, el modelo sobreajusta.
¿Cómo evitar el sobreajuste?
Disponer de más datos representativos de la producción, dividir en conjuntos de entrenamiento, validación y prueba, elegir un modelo adaptado a la cantidad de datos, usar técnicas de regularización y detener el entrenamiento cuando el error de validación deja de bajar.
¿Cuál es un ejemplo de sobreajuste?
Google Flu Trends: según un artículo de Science (2014), la herramienta seleccionaba términos de búsqueda entre 50 millones para ajustarse a 1 152 puntos de datos, incluidos términos estacionales sin relación con la gripe. En febrero de 2013, preveía más del doble de las consultas medidas por las autoridades sanitarias estadounidenses.
¿Pueden sobreajustar los LLM como ChatGPT?
Sí, de una forma particular. Un LLM puede recitar pasajes de sus datos de entrenamiento, o superar una prueba pública porque vio sus preguntas durante el entrenamiento (contaminación). Por eso una evaluación seria se hace con sus propios casos, nunca publicados.
Ver también
Para profundizar
Overfitting, Machine Learning Crash Course, Google for Developers (en inglés)
Fuentes
- Overfitting, Machine Learning Crash Course, Google for Developers. https://developers.google.com/machine-learning/crash-course/overfitting/overfitting
- The Parable of Google Flu: Traps in Big Data Analysis, Lazer, Kennedy, King y Vespignani, Science, vol. 343, n.º 6176, 14 de marzo de 2014. https://www.science.org/doi/10.1126/science.1248506
- ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky, Sutskever y Hinton, NeurIPS (NIPS) 2012. https://proceedings.neurips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html