Funciones de coste: Una guía completa

Error absoluto medio (MAE)

El error absoluto medio se define como la media del valor absoluto de los residuos.

El MAE trata todas las desviaciones por igual, por lo que no se ve tan afectado por los valores atípicos como otros métodos que veremos, como el MSE. Sin embargo, el error absoluto es matemáticamente complicado y dificulta la optimización basada en gradientes.

Una nota sobre el parámetro de la función. θ representa los parámetros del modelo. El optimizador controla el costo basándose en estos parámetros, no directamente en los valores previstos que se derivan de ellos. Por lo tanto, escribimos el costo como una función de la θ, no de Ŷi.

MSE

El error cuadrático medio (MSE) se calcula mediante la siguiente fórmula.

La cuadratura de los residuos exagera los errores grandes, lo que hace que el MSE sea sensible a los valores atípicos. Sin embargo, esta forma de error es diferenciable y convexa, lo que la hace fácil de optimizar.

RMSE

Un inconveniente del MSE es que sus unidades están al cuadrado. Por ejemplo, en un modelo de regresión de los precios de la vivienda, la pérdida se expresa en dólares al cuadrado, lo que carece de significado intuitivo. El RMSE corrige este problema tomando la raíz cuadrada del MSE.

El RMSE se comporta de manera similar al MSE, pero las unidades son las mismas que las del problema (dólares, no dólares al cuadrado). 

Huber

La pérdida de Huber es menos sensible a los valores atípicos en los datos que el MSE (o RMSE). Combina MAE y MSE, y controla la transición con un parámetro δ.

dónde

Esta fórmula evita que unos pocos residuos grandes dominen la pérdida. La pérdida de Huber es una buena opción para datos reales ruidosos en los que se esperan observaciones extremas ocasionales.

Pérdidas por clasificación 

La clasificación predice categorías discretas. Estas funciones de coste comparan las distribuciones de probabilidad con las etiquetas reales, penalizando las predicciones incorrectas o excesivamente seguras.

Pérdida por entropía cruzada

La pérdida de entropía cruzada (pérdida logarítmica) recompensa a un modelo cuando es correctamente seguro y lo castiga cuando es erróneamente seguro. 

Para un clasificador que genera probabilidades puras Ŷ, la probabilidad de la etiqueta observada Y es 

Estimación de máxima verosimilitud (MLE) maximiza esta verosimilitud en todas las muestras. 

Convirtamos esta idea en minimizar un cost. Minimizar es lo mismo que maximizar lo negativo, así que cambiemos el signo. Tomemos también los registros.

Podemos escribir esto de forma más sucinta como una sola suma. 

¿Por qué el registro? El registro tiene varias ventajas

• Convierte el producto en una suma. En lugar de multiplicar números pequeños y arriesgarnos a un desbordamiento por debajo del rango, sumamos probabilidades.
• Hace que la función sea cóncava. El logaritmo transforma la probabilidad en una función cóncava con un único máximo global.
• Proporciona una curva de penalización significativa. 
• p = 1,0 da como resultado una pérdida de 0. 
• p = 0,9 da como resultado una pérdida de 0,1 (pequeña).
• p = 0,2 da como resultado una pérdida de 2,3 (grande).
• p = 0,01 da como resultado una pérdida de 4,6 (enorme).
• Evita los exponentes anidados. En la regresión logística y las redes neuronales, el logaritmo «desenvuelve» las exponenciales anidadas, lo que hace que las derivadas sean simples y estables.

Supongamos que un modelo predice las probabilidades de dos opciones: «perro» (opción 0) o «gato» (opción 1). Si la respuesta real es 1 («gato») y el modelo tiene un 90 % de certeza de que se trata de un gato, la pérdida es pequeña porque el modelo estaba seguro y acertó. Si el modelo dice que hay un 10 % de certeza de que es un gato, la pérdida es grande, porque el modelo estaba seguro pero se equivocó.

Entropía cruzada para la clasificación multiclase

Cuando hay más de dos clases («gato», «perro», «pájaro»), el modelo produce una puntuación bruta («logit») para cada clase, denotada Zi. Los logits pueden ser cualquier número real, por lo que se convierten en probabilidades que suman uno mediante la función softmax. 

A continuación, las predicciones del modelo se comparan con las etiquetas reales utilizando la entropía cruzada.

Ejemplo 

Supongamos que la etiqueta verdadera es «gato» y que el modelo predice probabilidades: gato: 80 %, perro: 15 %, pájaro: 5 %. La pérdida es 

Si la probabilidad prevista para «gato» fuera solo del 30 %, la pérdida sería mucho mayor: 

El registro castiga los errores cometidos con confianza y recompensa las predicciones realizadas con gran confianza.

Pérdida de bisagra

La pérdida de bisagra se utiliza principalmente para la clasificación de margen máximo, como en las máquinas de vectores de soporte (SVM). El objetivo es clasificar con seguridad manteniendo las predicciones lejos del límite de decisión. 

Para la clasificación binaria, la pérdida de bisagra viene dada por la siguiente fórmula.

dónde

La función de coste total es 

El término YiŶi mide lo bien que está clasificada la muestra. 

• Cuando es mayor que 1, la muestra se encuentra en el lado correcto del límite sin pérdida.
• Cuando está entre 0 y 1, el punto está dentro del margen, por lo que se aplica una pequeña penalización.
• Cuando es inferior a 0, el modelo ha clasificado erróneamente. La pérdida crece linealmente con la distancia desde el límite. 

Generado por chatGPT 5

Kullback-Leibler (KL)

La divergencia de Kullback-Leibler (KL) es una medida de cuánto difiere una distribución de probabilidad aproximada Q de una distribución de probabilidad dada P. Se define como 

Wikipedia

La divergencia KL puede interpretarse como la diferencia media del número de bits para codificar muestras de P utilizando un código optimizado para Q. 

Regularización 

Las técnicas de regularización evitan que los modelos se ajusten al ruido en los datos de entrenamiento añadiendo un término a la función de coste que penaliza las soluciones excesivamente complejas.

Sin regularización, el modelo minimiza la pérdida:

Con la regularización, el modelo añade un término de penalización. 

dónde

• L es la pérdida habitual (por ejemplo, RMSE, entropía cruzada).
• R(θ) mide la complejidad del modelo.
• λ controla el equilibrio entre ajuste y simplicidad

Los tipos comunes de regularización son L1, L2 y red elástica.

La regularización L1 (también conocida como lasso) añade el valor absoluto de cada peso del modelo a la función de coste.

Cuando este coste se minimiza, muchos pesos se reducen a cero. Esto convierte a L1 en una forma de selección automática de características. Las características que no contribuyen se reducen a cero.

La regularización L2 (también conocida como regresión ridge) penaliza el cuadrado de cada peso del modelo.

A diferencia de L1, no establece los pesos exactamente en cero, sino que los reduce gradualmente. Esto mantiene todas las características del modelo, pero reduce su influencia para estabilizar las predicciones.

La red elástica añade tanto L1 como L2. 

λ controla la intensidad de la regularización general. α es un número entre 0 y 1 que controla los porcentajes de L1 frente a L2, donde 1 es L1 puro y 0 es ridge puro.

Compromisos 

Las diferentes estrategias de pérdida de clasificación tienen ventajas e inconvenientes.

La entropía cruzada maximiza la probabilidad correcta penalizando las respuestas erróneas seguras. Las desventajas son que es sensible a los valores atípicos y a los datos mal etiquetados. Funciona mejor cuando te preocupas por la calidad de la confianza (por ejemplo, modelos de riesgo).

La pérdida de bisagra impone un margen para que las clasificaciones correctas no solo sean correctas, sino también seguras. Ignora las muestras de valores que están claramente fuera del margen y aplica una penalización lineal por las infracciones. Es menos sensible a los valores atípicos que la entropía cruzada, pero más difícil de optimizar de forma fluida, ya que no es diferenciable en el punto de inflexión.

La divergencia de Kullback-Leibler (KL) compara una distribución de probabilidad con otra. Es equivalente a la entropía cruzada menos la entropía de la distribución real. 

Para obtener más información, consulta estos enlaces. 

• Función de pérdida de entropía cruzada en machine learning: Mejora de la precisión del modelo
• De los datos al dinero: predicción de los costes de los seguros
• Optimiza las predicciones de precios con ingeniería de características
• Hoja de referencia sobre las dimensiones de la calidad de los datos
• Tutorial sobre correlación R

Implementación y práctica de la función de coste en machine learning 

Hasta ahora, hemos hablado de las funciones de coste en teoría. En la práctica, el éxito de un modelo de aprendizaje automático depende de la eficiencia con la que minimice esas funciones. En esta sección, presentamos detalles prácticos sobre los algoritmos de optimización básicos y las estrategias de ajuste. 

Algoritmos de optimización y ajuste de parámetros

La optimización es el proceso de encontrar los valores óptimos de los parámetros del modelo que minimizan una función de coste. En ML, esto significa descubrir los parámetros que hacen que las predicciones sean lo más cercanas posible a los valores reales.

Descenso por gradiente 

El descenso por gradiente es el algoritmo estándar para optimizar funciones de coste. Actualiza iterativamente los parámetros del modelo en la dirección que más reduce el coste, el gradiente negativo. Conceptualmente, mide la pendiente multivariable de la función de coste y desciende por ella.

La regla de actualización es

donde θ son los parámetros del modelo, n es la tasa de aprendizaje y es el gradiente de la función de coste con respecto a los parámetros.

La elección de la tasa de aprendizaje es fundamental. Si es demasiado grande, las actualizaciones superan el mínimo y oscilan o divergen. Si es demasiado pequeño, la convergencia se vuelve lenta y puede estancarse en mínimos locales.

Las principales variantes son por lotes, estocásticas y minilotes.

• Descenso por gradiente por lotes. Calcula el gradiente utilizando todo el conjunto de entrenamiento. Es estable, pero lento y consume mucha memoria para conjuntos de datos grandes o aprendizaje en línea.
• Descenso estocástico por gradiente (SGD). Actualiza los parámetros después de cada ejemplo de entrenamiento. Es rápido y eficiente en cuanto a memoria, pero ruidoso en el sentido de que cada paso puede desviarse ligeramente de la ruta óptima. Sin embargo, la aleatoriedad puede ayudar a escapar de los mínimos locales.
• Descenso de gradiente por minilotes. Un compromiso práctico. Calcula gradientes en lotes pequeños para equilibrar velocidad y estabilidad. También permite el paralelismo de la GPU.

Optimizadores adaptativos 

El descenso de gradiente estándar aplica una tasa de aprendizaje fija a todos los parámetros. En modelos complejos, es posible que diferentes parámetros requieran diferentes tamaños de paso. Los optimizadores adaptativos ajustan las tasas de aprendizaje basándose en el historial de magnitudes de gradiente. 

• RMSProp emplea un promedio exponencialmente decreciente de los gradientes cuadrados recientes. 

El aprendizaje de cada parámetro se escala de forma inversa a este promedio. Esto evita la oscilación y permite un progreso estable incluso cuando algunos parámetros tienen gradientes pronunciados. RMSProp se utiliza ampliamente para redes recurrentes y datos ruidosos.

• Estimación adaptativa del momento (Adam) programa tanto la media como la varianza de los gradientes pasados y adapta dinámicamente los tamaños de los pasos. 

Converge rápidamente, es resistente a los datos ruidosos y es el optimizador predeterminado para los marcos de redes profundas.

Escalado e inicialización de características

Antes de optimizar con descenso de gradiente, escala las características para que funcionen en rangos comparables. Un escalado adecuado mejora la estabilidad y la eficiencia de la optimización. 

Sin escalado, las características con grandes rangos numéricos dominan el gradiente. El descenso por gradiente entonces zigzaguea en lugar de dar pasos directos hacia el mínimo.

Hay dos enfoques comunes.

• Estandarización. Centros cada característica en cero y reescala a la varianza unitaria.

donde u es la media y ơ es la desviación estándar. La estandarización preserva la estructura de los datos.

• Normalización. Reescala cada característica a un rango fijo, normalmente [0, 1]. 

La normalización es habitual en las redes neuronales, donde las funciones de activación funcionan mejor con entradas limitadas.

Estrategias de inicialización de parámetros

La inicialización de los parámetros influye considerablemente en el entrenamiento del modelo. Una inicialización deficiente puede provocar una convergencia lenta, gradientes explosivos o desaparecidos, o modelos que no aprenden. Una buena inicialización coloca los parámetros en una región de la superficie de coste donde los gradientes son estables.

• Inicialización aleatoria. Asigna pequeños valores aleatorios, normalmente extraídos de una distribución uniforme o normal. La aleatorización rompe la simetría para que los parámetros aprendan características distintas. Sin embargo, si la varianza es demasiado alta o baja, los gradientes pueden explotar o desaparecer.
• Inicialización de Xavier (Glorot). Diseñado para funciones de activación no lineales como tanh o sigmoide, Xavier escala la varianza de los pesos según el número de conexiones de entrada y salida.

Esto mantiene las activaciones y los gradientes más o menos constantes en todas las capas.

• Inicialización. Ajusta la varianza para las activaciones ReLU, que ponen a cero los valores negativos. Los pesos se obtienen a partir de una distribución normal con una varianza especificada:

Esto evita que los gradientes desaparezcan demasiado rápido durante la retropropagación. 

Monitorización, diagnóstico y visualización

Una curva de pérdida de entrenamiento gráficando el error del modelo en el conjunto de datos de entrenamiento a lo largo del tiempo. Muestra lo bien que el modelo actualiza sus parámetros para minimizar el error. Una curva que disminuye de manera constante indica que el modelo está aprendiendo patrones a partir de los datos.

La curva de pérdida de validación muestra la capacidad del modelo para generalizar datos no vistos, como un conjunto de retención o validación. Indica la capacidad del modelo para predecir datos no vistos anteriormente.

Lo ideal es que ambas curvas disminuyan al principio y luego se estabilicen. Esto demuestra que el modelo está aprendiendo y generalizando de manera eficaz.

El sobreajuste ( ) se produce cuando el modelo aprende el ruido como si fuera señal y no generaliza bien. Esto aparece en un gráfico que muestra las curvas de entrenamiento y validación cuando la pérdida de entrenamiento disminuye, pero la pérdida de validación aumenta. Las soluciones incluyen el uso de un conjunto de datos más grande o la aplicación de regularización en el modelo.

El subajuste se produce cuando el modelo no logra captar los patrones subyacentes en los datos. Tanto las curvas de entrenamiento como las de validación se mantienen altas. En este caso, prueba con más datos, un modelo más complejo o reduce la regularización.

La convergencia es el punto en el que la curva se aplana y la formación del mineral ofrece pocas mejoras. Este es el punto óptimo entre el sobreajuste y el subajuste. 

Optimización de la función de coste y teoría de la decisión 

Hemos visto cómo la economía y el machine learning se basan en la optimización para orientar la toma de decisiones y la formación. Ambos campos se esfuerzan por tomar las mejores decisiones basándose en una métrica de coste o pérdida. Profundicemos en la teoría de la optimización de una manera más general.

Funciones objetivas

Una función objetivo es una función matemática que define lo que queremos minimizar o maximizar. En los casos que hemos visto hasta ahora, hemos minimizado el costo o el error. Para econ, analizamos las curvas de costes, y con ML, analizamos las pérdidas de regresión (MAE, RMSE, Huber) y las pérdidas de clasificación (entropía cruzada, pérdida de bisagra, pérdida KL). Ambos son ejemplos de optimización de una función objetivo.

Optimización multiobjetivo 

A menudo, queremos optimizar múltiples objetivos, que a menudo son contradictorios. Una empresa puede querer maximizar los beneficios y minimizar los riesgos. Un científico de datos puede querer mejorar la precisión del modelo sin sacrificar la interpretabilidad o la equidad. Estos objetivos contrapuestos definen un problema de optimización multiobjetivo en el que mejorar un objetivo puede empeorar otro.

frontera de Pareto

Una solución es óptima según Pareto si no se puede mejorar ningún objetivo sin empeorar al menos otro objetivo. El conjunto de soluciones óptimas de Pareto forma lafrontera de Pareto e e, una curva que consiste en las mejores compensaciones posibles. Cada punto de esta curva representa un equilibrio diferente de prioridades.

Por ejemplo, aumentar la complejidad de un modelo puede mejorar la precisión, pero reducir la interpretabilidad. Los modelos más simples son más fáciles de explicar, pero pueden tener un rendimiento inferior. La frontera de Pareto incluye las «mejores compensaciones» y excluye las soluciones que están dominadas por otras variables.

Elegir el punto adecuado depende del contexto y del criterio personal. Puedes asignar ponderaciones a cada objetivo o utilizar restricciones normativas.

Pérdida esperada

Cuando los resultados son inciertos, la optimización minimiza la pérdida esperada, es decir, la pérdida media en todos los escenarios posibles. En ML, esta idea aparece en la función de riesgo.

donde L(Y,f(x)) es la pérdida para una predicción dada, y la esperanza se promedia sobre la distribución de datos. El objetivo es encontrar el modelo f que minimice esta pérdida esperada. Este modelo ofrece el mejor rendimiento en promedio, no solo en muestras individuales.

Riesgo bayesiano

El riesgo bayesiano es el límite inferior teórico de la pérdida esperada. Formalmente, se expresa mediante la siguiente fórmula.

Intuitivamente, es la «puntuación perfecta», es decir, el valor más pequeño que se puede alcanzar con información perfecta sobre la distribución de los datos. Cuanto más se acerque el rendimiento de un modelo al riesgo bayesiano, más óptimo será.

Aplicaciones interdisciplinarias 

Las funciones de coste se utilizan en cualquier sector que tome decisiones basadas en datos. Ayudan a equilibrar objetivos contrapuestos y a formalizar lo que significa «mejor». Estas funciones equilibran objetivos contrapuestos y guían la optimización. La misma lógica que se utiliza para entrenar modelos de ML se utiliza para optimizar procesos del mundo real.

Aplicaciones industriales y casos de uso en distintos ámbitos

En la industria manufacturera, por ejemplo, las funciones de coste cuantifican pérdidas, como la pérdida de inventario. Una función de coste de inventario equilibra el gasto del exceso de existencias con las sanciones por escasez. Se utilizan marcos similares para la programación de la producción o el uso de energía con el fin de minimizar el costo total previsto en condiciones de incertidumbre.

En el ámbito sanitario, los modelos predictivos utilizan funciones de coste para equilibrar la precisión y la asignación de recursos. Por ejemplo, un modelo de riesgo de reingreso identifica tempranamente a los pacientes de alto riesgo para que los médicos puedan intervenir con llamadas de seguimiento o visitas domiciliarias. Pasar por alto a un paciente de alto riesgo es más costoso que señalar a uno de bajo riesgo, por lo que la función penaliza esos errores de manera diferente. 

Las finanzas también utilizan funciones objetivas. Por ejemplo, los modelos de puntuación crediticia predicen la probabilidad de que un prestatario incumpla el pago de un préstamo en un periodo de tiempo determinado, por ejemplo, doce meses. Aprobar a un prestatario arriesgado conlleva una posible pérdida financiera, mientras que rechazar a un prestatario seguro conlleva una posible pérdida de ingresos. El modelo minimiza el costo esperado.

En todos estos ámbitos, las funciones de coste equilibran las compensaciones en cantidades medibles que los responsables de la toma de decisiones pueden utilizar y razonar.

Conclusión 

Las funciones de coste proporcionan un método para evaluar las decisiones. En economía, modelan la relación entre producción y eficiencia. En machine learning, miden la diferencia entre las predicciones y la realidad. 

En el aprendizaje automático, las funciones de coste son la base del diseño de modelos. La elección de las funciones de pérdida determina lo que el modelo considera «éxito». El error cuadrático medio recompensa la precisión general, la entropía cruzada recompensa las probabilidades calibradas y la pérdida de bisagra recompensa la separación segura.

En todos los ámbitos y sectores, la lógica subyacente es la misma: definir un objetivo y optimizarlo. Las funciones de coste traducen objetivos vagos en cifras concretas que guían la optimización.

Las funciones de coste son útiles en economía, machine learning, fabricación, finanzas, sanidad y cualquier otro ámbito en el que se desee cuantificar las compensaciones.

Para obtener más información, recomiendo estos recursos de DataCamp.

• Introducción a la escritura de funciones en R
• Analista cuantitativo en R
• Función R c(): Creación de vectores de forma sencilla
• Elaboración de informes financieros
• Cálculos en Tableau 
• Funciones agregadas en SQL
• Funciones condicionales en hojas de cálculo