The Q-Q Plot: Was es bedeutet und wie man es interpretiert

Lineare Regressionsmodelle werden in der Statistik und beim maschinellen Lernen häufig verwendet, um numerische Werte auf der Grundlage von Eingabemerkmalen vorherzusagen und um die Beziehung zwischen Variablen zu verstehen. Aber nur weil du eine Linie durch deine Daten ziehen kannst, heißt das nicht, dass du das auch tun solltest. Wir müssen auch die Qualität der Anpassung diagnostizieren, um festzustellen, ob das Modell für die Daten geeignet ist oder ob es verfeinert werden muss.

Es gibt verschiedene Möglichkeiten, ein Modell zu testen, z. B. die Bewertung des Modells mithilfe eines Train/Test-Workflows oder die Betrachtung von Modellstatistiken wie dem bereinigten r-Quadrat. In diesem Artikel werde ich mich darauf konzentrieren, wie man eine bestimmte diagnostische Darstellung, die sogenannte Q-Q-Darstellung, erstellt und interpretiert, und ich zeige dir ein paar verschiedene Methoden, um diese Q-Q-Darstellung in der Programmiersprache R zu erstellen. Um die Regressionstechniken wirklich zu beherrschen, nimmst du an Introduction to Regression in R oder Intermediate Regression in R teil oder für Python an Introduction to Regression in Python oder Intermediate Regression in Python, je nachdem, wie gut du dich auskennst.

Was ist ein Q-Q-Plot?

Eine Q-Q-Darstellung (Quantil-Quantil) wird verwendet, um zu sehen, ob ein Datensatz einer bestimmten theoretischen Verteilung folgt. Eine Q-Q-Darstellung funktioniert, indem die Quantile der beobachteten Daten mit den Quantilen unserer anderen theoretischen Verteilung verglichen werden. Ich sage "theoretische Verteilung", um genau zu sein, aber wenn wir ein Q-Q-Diagramm erstellen, denken wir oft an die Normal- oder Gauß-Verteilung und bezeichnen sie als normale Q-Q-Darstellung. Q-Q-Diagramme können aber auch verwendet werden, um Daten mit anderen Verteilungen zu vergleichen, z. B. mit der Exponential-, Uniform-, Chi-Quadrat- oder t-Verteilung, Poisson-Verteilungoder andere, je nach Kontext der Analyse.

Es ist hilfreich, das anhand eines Beispiels zu verstehen. Hier habe ich eine Verteilung von Zahlen. Um ein normales Q-Q-Diagramm zu erstellen, bringe ich zuerst die Zahlen in die richtige Reihenfolge. Dann berechne ich den Quantilsrang mit dieser Gleichung: q = (i- 0,5)/n. Dann könnte ich die Prozentpunktfunktion (PPF) der Standardnormalverteilung verwenden, um den entsprechenden Wert für den Quantilsrang zu finden. (Du bist vielleicht mit der kumulativen Verteilungsfunktion (CDF) vertrauter, die uns die Wahrscheinlichkeit bis zu einem Wert x angibt. Nun, der PPF ist das Gegenteil davon: Sie gibt uns den x-Wert für eine bestimmte Wahrscheinlichkeit). Um das Diagramm zu erstellen, würden wir die Quantilsrangwerte gegen die theoretischen Quantile auftragen (daher die beiden Qs in Q-Q-Plot).

Warum ein Q-Q-Diagramm verwenden?

Ein Q-Q-Diagramm ist eine schöne visuelle Methode, um die Verteilungsannahmen zu überprüfen. Es gibt noch andere Methoden, um zu prüfen, ob die Daten einer Normalverteilung folgen, wie z.B. den Shapiro-Wilk-Test, aber nichts ist meiner Meinung nach so anschaulich und macht die Geschichte so deutlich wie der Q-Q-Plot.

Die Verteilung von etwas zu kennen, ist in vielerlei Hinsicht wichtig. Zum einen wollen wir wahrscheinlich die besten Maße für die Mitte und die Streuung wissen. Wenn wir eine lineare Regression erstellen, wollen wir auch wissen, ob unsere abhängige Variable einer Normalverteilung folgt und ob die Residuen unseres Modells normalverteilt sind, damit wir mehr Vertrauen in unsere Schätzungen haben. Ich denke also, dass Q-Q-Diagramme aus zwei allgemeinen Gründen nützlich sind: um unsere Daten mit Stichprobenverteilungen zu vergleichen und um die Normalität zu prüfen.

Wie man ein Q-Q-Diagramm in R erstellt

Schauen wir uns nun an, wie man ein Q-Q-Diagramm in R erstellt. In diesem Abschnitt gehe ich auf drei verschiedene Methoden ein: Base R, das Paket car und die Tidyverse-Methode. Ich denke, du wirst sehen, dass ich die tidyverse-Methoden bevorzuge, weil sie dir mehr Flexibilität bieten, um den Graphen schöner aussehen zu lassen, und weil sie mit anderen Paketen besser erweiterbar sind.

Für jede Methode werde ich ein Q-Q-Diagramm für die Residuen einer einfachen linearen Regression erstellen, was eine der häufigsten Anwendungen - wenn nicht sogar die häufigste - des Q-Q-Diagramms ist. Du könntest aber auch ein Q-Q-Diagramm erstellen, um die Verteilung der Variablen zu überprüfen, bevor du überhaupt eine lineare Regression erstellst. Alles, was du brauchst, ist die Verteilung einer Variablen und eine theoretische Verteilung, mit der du sie vergleichen kannst.

Wenn du mitmachen willst, kannst du den Kaggle-Datensatz herunterladen, den ich verwende: Autopreise Jordanien 2023.

Erstellen eines Q-Q-Plots in Base R

Erstellen wir zunächst einen Q-Q-Plot in Basis-R, d.h. wir installieren keine zusätzlichen Pakete, sondern verwenden nur die eingebauten Funktionen. 

# importing data (in my case, saved on my desktop)
car_prices_jordan <- read.csv('~/Desktop/car_prices_jordan.csv')

# Create a linear model
car_linear_model <- lm(Price ~ sqrt(Price), filtered_car_prices)

# Extract the residuals
residuals <- resid(car_linear_model)

# Q-Q plot of residuals
qqnorm(residuals, main = "Q-Q Plot of Residuals from Linear Regression")
qqline(residuals, col = "red")

Q-Q-Plot erstellt in Base R. Bild vom Autor

Erstellen eines Q-Q-Plots mit dem Auto-Paket

Versuchen wir nun, mit dem Paket car ein Q-Q-Diagramm zu erstellen. Meiner Meinung nach unterscheidet sich die Qualität der Visualisierung nicht allzu sehr, aber diese Q-Q-Darstellung hat den Vorteil, dass sie eine Konfidenzhüllkurve anzeigt, die den Bereich definiert, in dem unsere Datenpunkte voraussichtlich liegen werden, wenn die Modellannahme der Normalität zutreffen würde. 

# Install the car package if not already installed
# install.packages("car")
library(car)

# Q-Q plot of residuals using car package
car::qqPlot(car_linear_model, main = "Q-Q Plot of Residuals from Linear Regression")

Q-Q-Plot erstellt mit dem car-Paket in R. Bild vom Autor

Erstellen eines Q-Q-Plots mit ggplot2

Jetzt schauen wir uns an, wie man ein Q-Q-Diagramm mit Tidyverse-Methoden erstellt, um flexibler zu sein und es schöner aussehen zu lassen. Dieses Mal werde ich das Q-Q-Diagramm als Panel neben meinem ursprünglichen Scatterplot einfügen.

library(tidyverse)
library(metBrewer)

car_prices_jordan$Power <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Power))
car_prices_jordan$Price <- as.numeric(gsub("[^0-9]", "", car_prices_jordan$Price))

slope <- (cor(car_prices_jordan$Power, car_prices_jordan$Price) * (sd(car_prices_jordan$Price)) / sd(car_prices_jordan$Power))
intercept <- (mean(car_prices_jordan$Price) - slope * mean(car_prices_jordan$Power))

car_prices_graph <- ggplot(car_prices_jordan, aes(x = Power, y = Price)) +
	geom_point() +
	ggtitle("Car Prices in Jordan") +
	geom_abline(slope = slope, intercept = intercept, color = '#376795', size = 1)

car_linear_model <- lm(Price ~ Price, car_prices_jordan)

qq_plot <- ggplot(data = car_linear_model, aes(sample = .resid)) +
	stat_qq() +
	stat_qq_line(linetype = 'dashed', color = '#ef8a47', size = 1) +
	labs(title = "Car Prices in Jordan") +
	labs(subtitle = "Residual QQ Plot")

library(patchwork)
car_prices_graph + qq_plot

Lineare Regression und ein Q-Q-Diagramm der Residuen, erstellt in ggplot2. Bild vom Autor

Was uns ein Q-Q-Plot sagen kann

In einem Q-Q-Diagramm werden die Quantile der beobachteten Daten gegen die theoretischen Quantile aufgetragen. Wenn die Daten der theoretischen Verteilung genau entsprechen, bewegen sich die Punkte auf dem Q-Q-Diagramm auf einer diagonalen Linie. Abweichungen von dieser Linie zeigen Abweichungen von der erwarteten Verteilung an. Punkte, die über oder unter die Linie fallen, deuten auf Schiefe oder Ausreißer hin, und Muster wie Kurven oder s-förmige Abweichungen weisen auf systematische Unterschiede hin, wie z. B. schwerere oder leichtere Schwänze.

Es gibt ungefähr drei Dinge, auf die wir achten. 

• Gerade Linie: Die Daten stimmen gut mit der theoretischen Verteilung überein.
• Gebogene Muster: Kennzeichne schiefe Daten oder nicht-normale Verteilungen.
• Schwere oder leichte Schwänze: Wenn die Punkte an den Enden abweichen, haben die Daten möglicherweise schwerere oder leichtere Schwänze als erwartet.

Das wollen wir an einem Beispiel zeigen:

Drei Q-Q-Diagramme: eines mit einer geraden Linie, eines mit einer Kurve, eines mit einem starken Ausläufer. Bild vom Autor

Im ersten Fall stimmt die Q-Q-Linie mit den Datenpunkten überein, also ist die Verteilung tatsächlich normal. Im zweiten Fall sehen wir ein gekrümmtes Muster, d.h. die Daten sind entweder nicht normal oder sie sind schief. Im letzten Fall sehen wir eine Art "S"-Form, d.h. die Verteilung hat starke Schwänze oder mehr Extremwerte.

Q-Q-Diagramme in der linearen Regression

Es gibt verschiedene Annahmen für lineare Modelle, darunter die Linearität (dass die Beziehung zwischen den Variablen linear ist), die Unabhängigkeit der Fehler (dass die Fehler nicht miteinander korreliert sind), die Homoskedastizität (dass diedass die Residuen eine konstante Varianz haben sollten)und Normalität der Residuen (dass die Residuen einer Normalverteilung folgen). Das Q-Q-Diagramm hilft vor allem bei der vierten Annahme des linearen Modells, der Normalität der Residuen. 

Hier siehst du, wie verschiedene Muster die Interpretation und Zuverlässigkeit unseres Modells beeinflussen:

Geradliniges Ausrichten

• Was es bedeutet: Die Residuen sind annähernd normal, was darauf hindeutet, dass das Modell im Hinblick auf die Normalitätsannahme gut zu den Daten passt.
• Auswirkungen auf die Praxis: Konfidenzintervalle, p-Werte und Hypothesentests, die aus dem Modell abgeleitet werden, sind wahrscheinlich zuverlässig, da sie von normalverteilten Residuen ausgehen.

Gekrümmte Muster

• Was es bedeutet: Ein gekrümmtes Q-Q-Diagramm deutet oft auf eine Nicht-Normalität hin, wie z. B. eine Schiefe in den Residuen. Die Kurve kann eine Aufwärts- oder Abwärtskurve sein. (Dieses gekrümmte Muster ist das, was wir in unserem Beispiel oben sehen).
• Auswirkungen auf die Praxis: Nicht-normale Residuen können zu verzerrten p-Werten oder Konfidenzintervallen führen, insbesondere bei kleineren Datensätzen. Wir sollten in Betracht ziehen, die abhängige Variable zu transformieren oder die Modellstruktur zu überarbeiten.

Schwere oder leichte Schwänze

• Was es bedeutet: Wenn es starke Schwänze gibt, haben die Residuen mehr Extremwerte als unter Normalität erwartet, möglicherweise aufgrund von Ausreißern, oder es liegt eine falsche Modellspezifikation vor. Wenn es leichte Schwänze gibt, bedeutet das, dass es weniger extreme Residuen gibt als erwartet, was auf eine Datenbeschneidung hindeuten kann.
• Auswirkungen auf die Praxis: Bei starken Schwänzen können Ausreißer die Regressionslinie unverhältnismäßig stark beeinflussen, was zu irreführenden Ergebnissen führt. Wir sollten in Betracht ziehen, Ausreißer zu entfernen oder herunterzugewichten. Ich denke, dass leichte Schwänze das Modell nicht so sehr beeinflussen, aber es könnte ein Hinweis darauf sein, dass die Daten irgendwie unvollständig sind.