La Trama Q-Q: Qué significa y cómo interpretarlo

Los modelos de regresión lineal se utilizan mucho en estadística y aprendizaje automático para predecir valores numéricos a partir de características de entrada, y también para comprender la relación entre variables. Sin embargo, que puedas trazar una línea a través de tus datos no significa que debas hacerlo. También tenemos que diagnosticar la calidad del ajuste para determinar si el modelo es adecuado para los datos o si hay que refinarlo.

Hay varias formas de probar un modelo, como evaluar el modelo mediante un flujo de trabajo de entrenamiento/prueba y observar las estadísticas del modelo, como la r-cuadrado ajustada. En este artículo, me centraré en cómo crear e interpretar un gráfico de diagnóstico específico llamado gráfico Q-Q, y te mostraré algunos métodos diferentes para crear este gráfico Q-Q en el lenguaje de programación R. Para seguir dominando realmente las técnicas de regresión, toma Introducción a la regresión en R o Regresión intermedia en R o, para Python, toma Introducción a la regresión en Python o Regresión intermedia en Python, según tu nivel de comodidad.

¿Qué es una Gráfica Q-Q?

Un gráfico Q-Q (Cuantil-Cuantil) se utiliza para ver si un conjunto de datos sigue una determinada distribución teórica. Un gráfico Q-Q funciona comparando los cuantiles de los datos observados con los cuantiles de nuestra otra distribución teórica. Digo "distribución teórica" para ser exactos, pero a menudo cuando creamos un gráfico Q-Q estamos pensando realmente en la distribución normal o gaussiana y nos referimos a ella como diagrama Q-Q normal. Sin embargo, los gráficos Q-Q también pueden utilizarse para comparar datos con otras distribuciones, como la exponencial, la uniforme, la chi-cuadrado o la distribución t, distribución de Poissonu otras, según el contexto del análisis.

Es útil entenderlo mostrando un ejemplo. Aquí tengo una distribución de números. Para construir un gráfico Q-Q normal, primero pongo los números en orden. A continuación, calculo el rango cuantil con esta ecuación: q = (i- 0,5)/n. Entonces, podría utilizar la función de punto porcentual (PPF) de la distribución normal estándar para hallar el valor correspondiente del rango cuantílico. (Quizá te resulte más familiar la función de distribución acumulativa (FDA), que nos indica la probabilidad hasta un valor x. Pues el PPF es todo lo contrario: Nos da el valor x para una probabilidad dada). Para crear el gráfico, compararíamos los valores de los rangos cuantílicos con los cuantiles teóricos (de ahí las dos Q del gráfico Q-Q).

¿Por qué utilizar un diagrama Q-Q?

Un gráfico Q-Q es una buena forma visual de comprobar los supuestos de distribución. Hay otras formas de comprobar si los datos siguen una distribución normal, como la prueba de Shapiro-Wilk, por ejemplo, pero nada, en mi opinión, es realmente tan visual, y hace la historia tan obvia, como el gráfico Q-Q.

Conocer la distribución de algo es importante de varias maneras. Por un lado, probablemente querremos saber cuáles son las mejores medidas para el centro y la dispersión. Además, al crear una regresión lineal, queremos saber si nuestra variable dependiente, en particular, sigue una distribución normal, y también queremos ver si los residuos de nuestro modelo se distribuyen normalmente para tener una mayor confianza en nuestras estimaciones. Así que, básicamente, creo que los gráficos Q-Q son útiles por dos razones generales: comparar nuestros datos con distribuciones muestrales y comprobar la normalidad.

Cómo crear un gráfico Q-Q en R

Veamos ahora cómo crear un gráfico Q-Q en R. Para esta sección, repasaré tres métodos diferentes: R base, el paquete car y los métodos tidyverse. Creo que verás que prefiero los métodos tidyverse porque te dan más flexibilidad para que el gráfico tenga un aspecto más bonito y tiene más extensibilidad con otros paquetes.

Para cada método, crearé un gráfico Q-Q sobre los residuos de una regresión lineal simple, que es uno de los usos más comunes -si no el más común- del gráfico Q-Q. Sin embargo, también podrías crear un gráfico Q-Q para comprobar la distribución de las variables antes de crear una regresión lineal en primer lugar. Sólo necesitas la distribución de una variable y una distribución teórica con la que compararla.

Si quieres seguirme, puedes descargar el conjunto de datos de Kaggle que estoy utilizando: Precios de los coches Jordania 2023.

Crear un gráfico Q-Q en R base

Primero vamos a crear un gráfico Q-Q en R básico, es decir, no vamos a instalar ningún paquete adicional, sino que vamos a utilizar sólo las funciones incorporadas. 

# importing data (in my case, saved on my desktop)
car_prices_jordan <- read.csv('~/Desktop/car_prices_jordan.csv')

# Create a linear model
car_linear_model <- lm(Price ~ sqrt(Price), filtered_car_prices)

# Extract the residuals
residuals <- resid(car_linear_model)

# Q-Q plot of residuals
qqnorm(residuals, main = "Q-Q Plot of Residuals from Linear Regression")
qqline(residuals, col = "red")

Gráfico Q-Q creado en R base. Imagen del Autor

Crear un gráfico Q-Q con el paquete coche

Ahora, vamos a intentar crear un gráfico Q-Q utilizando el paquete car. En mi opinión, la calidad de la visualización no es demasiado diferente, pero este gráfico Q-Q tiene la ventaja de que muestra una envolvente de confianza que define el área dentro de la cual se espera que se sitúen nuestros puntos de datos si se cumpliera el supuesto de normalidad del modelo. 

# Install the car package if not already installed
# install.packages("car")
library(car)

# Q-Q plot of residuals using car package
car::qqPlot(car_linear_model, main = "Q-Q Plot of Residuals from Linear Regression")

Gráfico Q-Q creado con el paquete car en R. Imagen del autor

Crear un gráfico Q-Q con ggplot2

Ahora vamos a ver cómo crear un gráfico Q-Q utilizando métodos tidyverse para tener más flexibilidad y que quede más bonito. Esta vez, voy a colocar el gráfico Q-Q como un panel junto a mi gráfico de dispersión original.

library(tidyverse)
library(metBrewer)

car_prices_jordan$Power <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Power))
car_prices_jordan$Price <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Price))

slope <- (cor(car_prices_jordan$Power, car_prices_jordan$Price) * (sd(car_prices_jordan$Price)) / sd(car_prices_jordan$Power))
intercept <- (mean(car_prices_jordan$Price) - slope * mean(car_prices_jordan$Power))

car_prices_graph <- ggplot(car_prices_jordan, aes(x = Power, y = Price)) +
	geom_point() +
	ggtitle("Car Prices in Jordan") +
	geom_abline(slope = slope, intercept = intercept, color = '#376795', size = 1)

car_linear_model <- lm(Price ~ Price, car_prices_jordan)

qq_plot <- ggplot(data = car_linear_model, aes(sample = .resid)) +
	stat_qq() +
	stat_qq_line(linetype = 'dashed', color = '#ef8a47', size = 1) +
	labs(title = "Car Prices in Jordan") +
	labs(subtitle = "Residual QQ Plot")

library(patchwork)
car_prices_graph + qq_plot

Regresión lineal y un gráfico Q-Q de los residuos creado en ggplot2. Imagen del autor

Lo que puede decirnos una trama Q-Q

Con un gráfico Q-Q, los cuantiles de los datos observados se comparan con los cuantiles teóricos. Si los datos siguen de cerca la distribución teórica, los puntos del gráfico Q-Q se moverán sobre una línea diagonal. Las desviaciones de esta línea indican desviaciones de la distribución esperada. Los puntos que caen por encima o por debajo de la línea sugieren asimetría o valores atípicos, y los patrones como curvas o desviaciones en forma de s indican diferencias sistemáticas, como colas más pesadas o más ligeras.

Hay unas tres cosas que buscamos. 

• Línea recta: Los datos se ajustan bien a la distribución teórica.
• Patrones curvos: Indica datos sesgados o distribuciones no normales.
• Colas pesadas o ligeras: Si los puntos se desvían en los extremos, los datos podrían tener colas más pesadas o más ligeras de lo esperado.

Vamos a mostrarlo con un ejemplo para cada uno:

Tres gráficos : uno con una línea recta; uno con una curva; uno con una cola pesada
Tres gráficos Q-Q: uno con una línea recta; uno con una curva; uno con una cola pesada. Imagen del autor

En el primer caso, la línea Q-Q coincide con los puntos de datos, por lo que la distribución es normal. En el segundo caso, vemos un patrón curvo, por lo que los datos o bien no son normales o bien están sesgados. En el último caso, vemos una especie de forma de "s", por lo que la distribución tiene colas pesadas o valores más extremos.

Gráficos Q-Q en regresión lineal

Existen algunos supuestos diferentes para los modelos lineales, como la linealidad (que la relación entre las variables es lineal), la independencia de los errores (que los errores no están correlacionados entre sí), la homocedasticidad (que los residuos deben tener una varianza constante), y que los errores no están correlacionados entre sí.que los residuos deben tener una varianza constante)y normalidad de los residuos (que los residuos siguen una distribución normal). El gráfico Q-Q ayuda en particular con ese cuarto supuesto del modelo lineal, la normalidad de los residuos. 

He aquí cómo afectan los distintos patrones a la interpretación y fiabilidad de nuestro modelo:

Alineación en línea recta

• Qué significa: Los residuos son aproximadamente normales, lo que indica que el modelo se ajusta bien a los datos según el supuesto de normalidad.
• Implicación en la práctica: Es probable que los intervalos de confianza, los valores p y las pruebas de hipótesis derivados del modelo sean fiables, ya que suponen residuos distribuidos normalmente.

Patrones curvos

• Qué significa: Un gráfico Q-Q curvo a menudo indica no normalidad, como asimetría en los residuos. La curva puede ser ascendente o descendente. (Este patrón curvo es lo que vemos en nuestro ejemplo, más arriba).
• Implicación en la práctica: Los residuos no normales pueden dar lugar a valores p o intervalos de confianza sesgados, especialmente con conjuntos de datos pequeños. Deberíamos plantearnos transformar la variable dependiente o revisar la estructura del modelo.

Colas pesadas o ligeras

• Qué significa: Si hay colas pesadas, los residuos tienen más valores extremos de los esperados según la normalidad, posiblemente debido a valores atípicos, o bien puede haber una especificación incorrecta del modelo. Si hay colas ligeras, significa que en realidad hay menos residuos extremos de lo esperado, lo que puede indicar un truncamiento de los datos.
• Implicación en la práctica: Con colas pesadas, los valores atípicos pueden afectar desproporcionadamente a la línea de regresión, dando lugar a resultados engañosos. Deberíamos plantearnos eliminar o ponderar a la baja los valores atípicos. Creo que las colas ligeras podrían no afectar tanto al modelo, pero podrían ser una pista de que los datos podrían estar incompletos de algún modo.