El sobreajuste es un problema habitual en el aprendizaje automático: un modelo aprende demasiado bien los datos de entrenamiento, incluido su ruido y valores atípicos, y por ello rinde mal con datos que no ha visto. Abordarlo es clave, porque el objetivo de un modelo es predecir con precisión sobre datos nuevos, no repetir los de entrenamiento.
Qué es el sobreajuste
En aprendizaje automático, la meta es crear modelos que generalicen bien a datos nuevos. Hay sobreajuste cuando un modelo se adapta en exceso al conjunto de entrenamiento y llega a capturar fluctuaciones aleatorias. Imagina enseñar a un niño a reconocer aves, pero solo le muestras palomas. Si ve un águila, puede pensar que también es una paloma, porque es lo único que conoce.
Las causas del sobreajuste pueden ser varias:
- Modelos complejos. Usar un modelo demasiado complejo para una tarea sencilla puede causar sobreajuste. Por ejemplo, aplicar una regresión polinómica de alto grado a datos que en realidad siguen una relación lineal.
- Datos insuficientes. Si hay pocos datos, el modelo puede "ver" patrones que en realidad no existen.
- Datos ruidosos. Si el conjunto de entrenamiento contiene errores o fluctuaciones aleatorias, un modelo sobreajustado las tratará como si fueran patrones reales.
El impacto del sobreajuste es notable. Aunque un modelo sobreajustado puede mostrar gran precisión en entrenamiento, su rendimiento cae con datos nuevos porque no ha aprendido a generalizar.
Cómo detectar el sobreajuste
Detectar el sobreajuste es un paso esencial en el proceso de machine learning. Así puedes identificarlo:
- Conjunto de validación. Divide tus datos en entrenamiento y validación. Si el modelo rinde bien en entrenamiento pero mal en validación, probablemente hay sobreajuste.
- Curvas de aprendizaje. Representa el rendimiento del modelo tanto en entrenamiento como en validación a lo largo del tiempo. Si las curvas se separan, es una señal de sobreajuste.
- Validación cruzada. Emplea validación cruzada: divide varias veces los datos de entrenamiento y evalúa el modelo en cada partición.
Es especialmente importante comprobar el sobreajuste cuando:
- Usas un modelo complejo.
- Tienes pocos datos.
- Hay mucho en juego, como en diagnósticos médicos.
Cómo prevenir el sobreajuste
Más vale prevenir que curar. Toma estas medidas:
- Modelos más sencillos. Empieza con un modelo simple y añade complejidad solo si hace falta.
- Más datos. Si puedes, reúne más datos. Cuantos más datos tenga el modelo, mejor podrá generalizar.
- Regularización. Técnicas como la regularización L1 y L2 ayudan a evitar el sobreajuste penalizando ciertos parámetros del modelo que puedan estar causándolo.
- Dropout. En redes neuronales, el dropout "apaga" neuronas aleatoriamente durante el entrenamiento y obliga a la red a aprender rasgos más robustos.
Consulta nuestro tutorial completo sobre cómo prevenir el sobreajuste en aprendizaje automático.
Sobreajuste vs. subajuste
Mientras que el sobreajuste es una adaptación excesiva a los datos de entrenamiento, el subajuste es lo contrario: un modelo que ni siquiera capta los patrones básicos del conjunto de entrenamiento.
- Sobreajuste: Alta precisión en entrenamiento y baja con datos nuevos. Es como un GPS que va perfecto en tu barrio, pero se pierde en cualquier otro sitio.
- Subajuste: Baja precisión tanto en entrenamiento como en datos nuevos. Es como un GPS que ni siquiera te guía bien por tu propio barrio.
Tanto el sobreajuste como el subajuste llevan a malas predicciones con datos nuevos, pero por razones distintas. El sobreajuste suele deberse a un modelo demasiado complejo o a datos ruidosos; el subajuste puede venir de un modelo excesivamente simple o de falta de variables relevantes.
Sobreajuste: el desafío constante para los ingenieros de ML
Como ingenieros de machine learning (ML), buscamos crear modelos lo más precisos posible. Sin embargo, el sobreajuste es uno de los grandes riesgos de perseguir esa precisión.
Muchas empresas caen en la trampa del sobreajuste. Ven una precisión altísima en entrenamiento y asumen que han creado un modelo excelente. Por desgracia, cuando lo ponen en producción, se viene abajo. Es como clavar todos los exámenes de prueba y suspender el examen real.
Como ingenieros de ML, debemos resistir la tentación de perseguir la precisión perfecta solo en entrenamiento. No puedes aspirar a un 100% en entrenamiento y esperar que eso se traduzca a datos nuevos. Hay que usar técnicas como la validación cruzada, la regularización, el aumento de datos y los ensamblados para garantizar que los modelos generalicen bien.
El camino del machine learning suele empezar con un modelo con subajuste e ir afinándolo por iteraciones para mejorar la precisión. Pero llega un punto en el que los retoques adicionales empiezan a generar sobreajuste. Hay que encontrar el equilibrio justo entre subajuste y sobreajuste para dar con ese modelo "ricitos de oro" que se comporte bien en cualquier situación.
¿Quieres aprender más sobre IA y aprendizaje automático? Echa un vistazo a estos recursos:
Preguntas frecuentes
¿Por qué es malo el sobreajuste?
El sobreajuste reduce la capacidad del modelo para generalizar a datos nuevos, que es su objetivo principal.
¿Cómo puedo evitar que mi modelo se sobreajuste?
Usa modelos más sencillos, recopila más datos, aplica técnicas de regularización y utiliza dropout en redes neuronales.
¿Puede ser bueno el sobreajuste en algunos casos?
En casos muy raros, si los datos de entrenamiento son extremadamente representativos y completos, el sobreajuste podría no ser perjudicial. Aun así, en la mayoría de escenarios reales no es deseable.
Soy un científico de datos certificado que disfruta creando aplicaciones de aprendizaje automático y escribiendo blogs sobre ciencia de datos. Actualmente me centro en la creación de contenidos, la edición y el trabajo con grandes modelos lingüísticos.
