Il Q-Q plot: cos’è e come interpretarlo

I modelli di regressione lineare sono ampiamente usati in statistica e machine learning per prevedere valori numerici a partire da variabili in input e per comprendere la relazione tra variabili. Tuttavia, il fatto che tu possa tracciare una retta attraverso i tuoi dati non significa che dovresti farlo. Dobbiamo anche diagnosticare la qualità del fit per capire se il modello è adatto ai dati o se va perfezionato.

Ci sono diversi modi per testare un modello, tra cui valutare il modello usando un flusso train/test e osservare statistiche del modello come l’R-quadrato corretto. In questo articolo, mi concentrerò su come creare e interpretare un grafico diagnostico specifico chiamato Q-Q plot e ti mostrerò alcuni metodi per creare questo Q-Q plot nel linguaggio R. Per continuare davvero a padroneggiare le tecniche di regressione, segui Introduction to Regression in R o Intermediate Regression in R oppure, per Python, segui Introduction to Regression in Python o Intermediate Regression in Python, a seconda del tuo livello di confidenza.

Cos’è un Q-Q plot?

Un Q-Q (Quantile-Quantile) plot serve per verificare se un dataset segue una particolare distribuzione teorica. Funziona confrontando i quantili dei dati osservati con i quantili di un’altra distribuzione. Ho detto “distribuzione teorica” per essere preciso, ma spesso quando creiamo un Q-Q plot pensiamo in particolare alla distribuzione normale, o gaussiana, e la indichiamo come normal Q-Q plot. Tuttavia, i Q-Q plot possono essere usati anche per confrontare i dati con altre distribuzioni, come esponenziale, uniforme, chi-quadrato, t-distribution, distribuzione di Poisson o altre, a seconda del contesto.

È utile capirlo con un esempio. Qui ho creato 10 numeri. Per costruire un normal Q-Q plot, prima metto i numeri in ordine. Poi calcolo la probabilità con questa equazione: q = (i – 0,5)/n. Quindi, posso usare la percent-point function (PPF) della distribuzione normale standard (la funzione qnorm()) per trovare il valore corrispondente al rango. (Forse ti è più familiare la cumulative distribution function (CDF), che ci dice la probabilità fino a un valore x. Ebbene, la PPF è l’opposto: ci fornisce il valore di x per una data probabilità.)

Infine, per creare il grafico, riportiamo i quantili dei nostri valori osservati contro i quantili teorici (da qui le due Q nel Q-Q plot). La linea è costruita calcolando pendenza e intercetta usando il primo e terzo quartile sia della distribuzione osservata sia di quella teorica.

library(dplyr)
library(ggplot2)

# Create a data frame
data <- data.frame(
  numbers = c(
    -2.28261064680868, -0.91977039576432, -2.08595211862542,
    1.29734993896137, -0.200143957176023, -0.693254525721567,
    -3.90536265272207, 4.16373814964331, 2.3499592867344,
    0.299856042823977
  )
)

# Prepare Q-Q plot data
qq_data <- data %>%
  arrange(numbers) %>%  # Step 1: Arrange the numbers in ascending order
  mutate(
    rank = seq(1, n()), # Step 2: Rank each number from 1 to n
    prob = (rank - 0.5) / n(), # Step 3: Calculate empirical cumulative probability
    theoretical_quantile = qnorm(prob) # Step 4: Calculate theoretical quantiles
  )

# Calculate slope and intercept for the Q-Q line
q1_obs <- quantile(qq_data$numbers, probs = 0.25)
q3_obs <- quantile(qq_data$numbers, probs = 0.75)
q1_theo <- qnorm(0.25)
q3_theo <- qnorm(0.75)
slope <- (q3_obs - q1_obs) / (q3_theo - q1_theo)
intercept <- q1_obs - slope * q1_theo

# Create the Q-Q plot
(qq_plot <- ggplot(data = qq_data, aes(x = theoretical_quantile, y = numbers)) +
  geom_point(fill = '#01ef63', color = '#203147', shape = 21, size = 2) +  # Points with a border
  labs(title = "Q-Q Plot") +
  geom_abline(slope = slope, intercept = intercept, color = '#203147', linetype = "dashed"))

Q-Q plot illustrativo. Immagine dell’autore

Perché usare un Q-Q plot?

Un Q-Q plot è un modo visivo efficace per verificare assunzioni sulla distribuzione. Esistono altri metodi per testare se i dati seguono una distribuzione normale, come ad esempio il test di Shapiro-Wilk, ma nulla, a mio avviso, è altrettanto visivo e rende la storia così evidente come il Q-Q plot.

Conoscere la distribuzione è importante per vari motivi. Per cominciare, probabilmente vorremo sapere quali sono le migliori misure di centro e dispersione. Inoltre, quando creiamo una regressione lineare, vogliamo sapere se la nostra variabile dipendente, in particolare, segue una distribuzione normale, e vogliamo anche verificare se i residui del nostro modello sono normalmente distribuiti per avere maggiore fiducia nelle stime. In sostanza, penso che i Q-Q plot siano utili per due ragioni generali: confrontare i nostri dati con distribuzioni campione e testare la normalità.

Come creare un Q-Q plot in R

Vediamo ora come creare un Q-Q plot in R. In questa sezione passerò attraverso tre metodi diversi: base R, il pacchetto car e i metodi tidyverse. Vedrai che preferisco i metodi tidyverse perché offrono più flessibilità per migliorare l’aspetto del grafico e maggiore estensibilità con altri pacchetti.

Per ciascun metodo, creerò un Q-Q plot sui residui di una regressione lineare semplice, uno degli usi più comuni – se non il più comune – del Q-Q plot. Tuttavia, potresti anche creare un Q-Q plot per verificare la distribuzione delle variabili prima di costruire la regressione lineare. Tutto ciò che ti serve è la distribuzione di una variabile e una distribuzione teorica con cui confrontarla.

Se vuoi seguire passo passo, puoi scaricare il dataset di Kaggle che sto usando: Car Prices Jordan 2023.

Creare un Q-Q plot in base R

Per prima cosa creiamo un Q-Q plot in base R, cioè senza installare pacchetti extra ma usando solo le funzioni integrate. 

# Importing data (in this example, saved on the desktop)
car_prices_jordan <- read.csv('~/Desktop/car_prices_jordan.csv')

# Create a linear model
car_linear_model <- lm(Price ~ sqrt(Price), data = filtered_car_prices)

# Extract the residuals
residuals <- resid(car_linear_model)

# Q-Q plot of residuals
qqnorm(residuals, main = "Q-Q Plot of Residuals from Linear Regression")
qqline(residuals, col = "red")

Q-Q plot creato in base R. Immagine dell’autore

Creare un Q-Q plot con il pacchetto car

Ora proviamo a creare un Q-Q plot usando il pacchetto car. A mio parere, la qualità della visualizzazione non è molto diversa, ma questo Q-Q plot ha il vantaggio di mostrare un “confidence envelope”, che definisce l’area entro la quale ci si aspetta che cadano i punti se l’assunzione di normalità del modello fosse vera. 

# Install and load the 'car' package
# install.packages("car") # Uncomment this line if the 'car' package is not installed
library(car)

# Q-Q plot of residuals using the 'car' package
car::qqPlot(car_linear_model, main = "Q-Q Plot of Residuals from Linear Regression")

Q-Q plot creato con il pacchetto car in R. Immagine dell’autore

Creare un Q-Q plot con ggplot2

Vediamo ora come creare un Q-Q plot con i metodi tidyverse per avere più flessibilità e un aspetto migliore. Questa volta inserirò il Q-Q plot come pannello accanto al mio scatterplot originale.

# Load necessary libraries
library(tidyverse)
library(metBrewer)

# Clean and convert Power and Price columns to numeric
car_prices_jordan$Power <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Power))
car_prices_jordan$Price <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Price))

# Calculate slope and intercept for linear regression line
slope <- (cor(car_prices_jordan$Power, car_prices_jordan$Price) * 
           (sd(car_prices_jordan$Price)) / 
           sd(car_prices_jordan$Power))
intercept <- (mean(car_prices_jordan$Price) - slope * mean(car_prices_jordan$Power))

# Create scatter plot with regression line
car_prices_graph <- ggplot(car_prices_jordan, aes(x = Power, y = Price)) +
  geom_point() +
  ggtitle("Car Prices in Jordan") +
  geom_abline(slope = slope, intercept = intercept, color = '#376795', size = 1)

# Fit a linear model
car_linear_model <- lm(Price ~ Power, data = car_prices_jordan)

# Generate Q-Q plot for residuals
qq_plot <- ggplot(data = data.frame(resid = residuals(car_linear_model)), aes(sample = resid)) +
  stat_qq() +
  stat_qq_line(linetype = 'dashed', color = '#ef8a47', size = 1) +
  labs(
    title = "Car Prices in Jordan",
    subtitle = "Residual QQ Plot"
  )

# Combine scatter plot and Q-Q plot using patchwork
library(patchwork)
car_prices_graph + qq_plot

Regressione lineare e Q-Q plot dei residui creati con ggplot2. Immagine dell’autore

Cosa può dirci un Q-Q plot

Con un Q-Q plot, i quantili dei dati osservati sono riportati contro i quantili teorici. Se i dati seguono da vicino la distribuzione teorica, i punti nel Q-Q plot si dispongono lungo una linea diagonale. Le deviazioni da questa linea indicano scostamenti dalla distribuzione attesa. Punti sopra o sotto la linea suggeriscono asimmetria o outlier, e pattern come curve o deviazioni a forma di S indicano differenze sistematiche, come code più pesanti o più leggere.

In generale, guardiamo circa tre aspetti. 

• Linea retta: i dati sono ben allineati con la distribuzione teorica.
• Pattern curvilinei: indicano dati asimmetrici o distribuzioni non normali.
• Code pesanti o leggere: se i punti deviano alle estremità, i dati potrebbero avere code più pesanti o più leggere del previsto.

Vediamolo con un esempio per ciascun caso:

Tre Q-Q plot: uno con linea retta; uno con curva; uno con coda pesante. Immagine dell’autore

Nel primo caso, la linea del Q-Q coincide con i punti, quindi la distribuzione è effettivamente normale. Nel secondo caso, vediamo un pattern curvilineo: i dati non sono normali o sono asimmetrici. Nell’ultimo caso, osserviamo una sorta di forma a “s”, quindi la distribuzione ha code pesanti o valori più estremi.

Q-Q plot nella regressione lineare

Le assunzioni di un modello lineare sono diverse, tra cui linearità (la relazione tra variabili è lineare), indipendenza degli errori (gli errori non sono correlati tra loro), omocedasticità (che i residui abbiano varianza costante) e normalità dei residui (che i residui seguano una distribuzione normale). Il Q-Q plot aiuta in particolare con la quarta assunzione, la normalità dei residui. 

Ecco come diversi pattern influenzano l’interpretazione e l’affidabilità del nostro modello:

Allineamento in linea retta

• Cosa significa: i residui sono approssimativamente normali, indicando che il modello rispetta bene l’assunzione di normalità.
• Implicazioni pratiche: intervalli di confidenza, p-value e test d’ipotesi derivati dal modello sono probabilmente affidabili, poiché presuppongono residui normalmente distribuiti.

Pattern curvilinei

• Cosa significa: un Q-Q plot curvo spesso segnala non normalità, ad esempio asimmetria nei residui. La curvatura può essere verso l’alto o verso il basso. (Questo pattern curvo è ciò che vediamo nel nostro esempio, sopra.)
• Implicazioni pratiche: residui non normali possono portare a p-value o intervalli di confidenza distorti, soprattutto con dataset piccoli. Dovremmo considerare di trasformare la variabile dipendente o rivedere la struttura del modello.

Code pesanti o leggere

• Cosa significa: con code pesanti, i residui hanno più valori estremi del previsto in condizioni di normalità, potenzialmente a causa di outlier o di una specifica del modello non corretta. Con code leggere, ci sono in realtà meno residui estremi del previsto, il che può indicare troncamento dei dati.
• Implicazioni pratiche: con code pesanti, gli outlier possono influenzare in modo sproporzionato la retta di regressione, portando a risultati fuorvianti. Dovremmo considerare la rimozione o la riduzione del peso degli outlier. Penso che le code leggere possano non impattare molto il modello, ma potrebbero suggerire che i dati siano in qualche modo incompleti.