Konfidenz- vs. Vorhersageintervalle: Den Unterschied verstehen

Unterschiede zwischen Vorhersage- und Konfidenzintervallen

Beide Konzepte – Vorhersageintervall und Konfidenzintervall – sind eng verwandt. Oft kommen in derselben Analyse beide Arten von Intervallen zum Einsatz. Ein Direktvergleich ist daher hilfreich. 

Zweck und Interpretation

Wenn du einen Populationsparameter wie den Mittelwert kennen möchtest, nutzt du eine Stichprobe, um ihn zu schätzen. Da die Stichprobe typischerweise viel kleiner ist als die Population, ist die Schätzung unvollkommen. Das Konfidenzintervall ist der Bereich um die Stichprobenschätzung, der den Populationsparameter voraussichtlich enthält. 

Auch Regressionskoeffizienten sind Populationsparameter. Weil sie auf einer Stichprobe (und nicht der gesamten Population) beruhen, enthalten sie Schätzfehler. Daher lassen sich auch Regressionskoeffizienten mit einem Konfidenzintervall angeben. 

Mithilfe von Regressionen kannst du außerdem Folgendes vorhersagen:

• Den durchschnittlichen Wert einer abhängigen Variable (z. B. das Durchschnittsgewicht 2-jähriger Hunde) oder
• den Wert eines einzelnen Datenpunkts (z. B. eines konkreten 2-jährigen Hundes). 

Für Ersteres nutzt du ein Konfidenzintervall, für Letzteres ein Vorhersageintervall. Der nächste Abschnitt vertieft diesen Unterschied.

Berechnung und Breite des Intervalls

Konfidenzintervall für Inferenz berechnen 

Wie erläutert, ist die Intervallbreite proportional zur Standardabweichung und umgekehrt proportional zur Stichprobengröße. Das Konfidenzintervall des Populationsmittelwerts 𝛍 lautet:

Dabei gilt:

• x ist der Stichprobenmittelwert, also die messbare Schätzung
• 𝛍 ist der Populationsmittelwert, der zu schätzende Populationsparameter. 
• n ist die Stichprobengröße
• s ist die Stichproben-Standardabweichung
• t ist der kritische Wert der Student-t-Verteilung bei
• Signifikanzniveau 1 - α
• n-1 Freiheitsgraden
• Die t-Werte findest du in Standardtabellen – such einfach nach „Student’s t-Tabelle“. 

Damit ergibt sich für 𝛍 der Bereich:

Konfidenzniveau und Signifikanzniveau verstehen 

Beachte, dass die Intervallbreite proportional zum t-Wert ist. Wenn du eine sehr hohe Sicherheit willst, dass der wahre Wert im angegebenen Bereich liegt, muss dieser Bereich groß sein. Je niedriger das Konfidenzniveau, desto schmaler das Intervall. Ein zu niedriges Konfidenzniveau ist jedoch wenig nützlich. In der Praxis sind 90 %, 95 %, 99 % etc. üblich. 

Ein Konfidenzniveau von 95 % entspricht einem Signifikanzniveau von 5 %. Bei einem zweiseitigen Intervall benötigst du den kritischen t-Wert bei 2,5 % (0,025). 

Konzeptionell lassen sich alle Intervalle wie folgt ausdrücken:

Je größer der Fehlerterm, desto breiter das Intervall. Dieser Fehler wird je nach Anwendungsfall unterschiedlich berechnet. Für Inferenz ist es die Standardabweichung. Für Regression zeigt der nächste Abschnitt den Fehlerterm.

Konfidenzintervall für Regression berechnen 

Wenn du den durchschnittlichen Wert der abhängigen Variable vorhersagen willst, schätzt du dessen Bereich über das Konfidenzintervall. Beispiel: Du möchtest den durchschnittlichen Gewichtsbereich 2-jähriger Hunde basierend auf ihrem Alter vorhersagen. Das ist das Konfidenzintervall der mittleren Antwort (mean response). Es ist ebenfalls ein Populationsparameter, da es eine Eigenschaft der gesamten Population ist. Das Intervall lautet:

Darin gilt:

• y0 ist der wahre Wert des vorhergesagten Parameters. 
• y0  ist der mit der Regressionsbeziehung vorhergesagte Wert. 
• Der kritische t-Wert ist im vorigen Abschnitt erklärt.
• n ist die Stichprobengröße
• (x0  - x) ist die Differenz zwischen dem Mittelwert von x und x0, für das du y0 vorhersagen willst. Je größer diese Differenz, desto breiter das Intervall. Enge Intervalle (und präzisere Vorhersagen) erhältst du für x-Werte nahe dem Stichprobenmittel. 
• SSx ist die quadrierte Abweichung der x-Stichprobe und lautet:

• SE ist der Standardfehler der Schätzung. Er ist die Wurzel aus dem Mean Squared Error (MSE). Der MSE ist die Varianz des Fehlers. Damit ist der SE analog zur Standardabweichung des Fehlers. Der MSE basiert auf dem Residualfehler und lautet: 

Die Summe in der Formel heißt auch Summe der quadrierten Residuen. Das Residuum ist die Differenz zwischen dem wahren y-Wert und dem vorhergesagten y-Wert. 

Unter Verwendung des MSE statt SE kann das Konfidenzintervall der mittleren Antwort auch so geschrieben werden:

Vergleiche den obigen Ausdruck mit der zuvor gezeigten konzeptionellen Beziehung. 

Der Fehlerterm berücksichtigt:

• Die Differenz zwischen tatsächlichem und vorhergesagtem y. 
• Die Differenz zwischen dem Durchschnitt von x und dem Wert o, für den du die Prognose erstellen willst
• Die generelle Streuung der x-Werte (relativ zu ihrem Mittel) 

Vorhersageintervall für Regression berechnen 

Um den exakten Wert eines einzelnen Datenpunkts (nicht den Durchschnitt) vorherzusagen, nutzt du das Vorhersageintervall. Beispiel: Du möchtest den Gewichtsbereich eines bestimmten 2-jährigen Hundes basierend auf dem Alter schätzen. Das Vorhersageintervall lautet:

Zum Vergleich das zuvor gezeigte Konfidenzintervall:

Beide Ausdrücke sind sehr ähnlich. Der einzige Unterschied ist der zusätzliche Fehlerterm im Vorhersageintervall. Das Vorhersageintervall enthält unter der Wurzel einen zusätzlichen MSE-Term gegenüber dem Konfidenzintervall. Damit wird die Variabilität in den y-Werten berücksichtigt, die du vorhersagen willst. Dadurch ist das Vorhersageintervall breiter als das Konfidenzintervall. 

Die Skizze unten zeigt Konfidenz- und Vorhersageintervalle im Verhältnis zur Punktschätzung (Prognosewert).

Vergleich von Konfidenz- und Vorhersageintervall einer Punktschätzung. Bild: Autor.

Die schematische Darstellung unten zeigt die Intervalle entlang der Regressionsgeraden – beachte, dass sie in der Nähe des Mittelwerts am schmalsten sind. 

Illustration von Konfidenz- und Vorhersageintervallen in der Regression. Bild: Autor.

Wann du ein Konfidenzintervall verwendest

Zuvor wurden Grundlagen, Einsatzzwecke und Formeln für Konfidenz- und Vorhersageintervalle erläutert. Hier folgen praktische Beispiele, wann welches Intervall sinnvoll ist. 

Ein Konfidenzintervall nutzt du, wenn du einen Populationsparameter schätzt. Zur Schätzung kannst du entweder:

1. Direkte Messungen an einer Zufallsstichprobe nutzen
2. Ein Regressionsmodell auf Basis einer Zufallsstichprobe verwenden

Beispielhafte Anwendungsfälle für Konfidenzintervalle:

• Schätzung eines Populationsparameters anhand einer Zufallsstichprobe. Beispiel: Zur Schätzung der durchschnittlichen Größe und des Gewichts von Neugeborenen misst du eine Zufallsstichprobe von Neugeborenen. 
• Abschätzung des Verhaltens einer Population anhand einer Stichprobe. Typisch etwa in klinischen Studien, in denen die Wirkung eines Medikaments auf die Population aus dessen Wirkung auf eine Zufallsstichprobe abgeleitet wird. 
• Vorhersage der mittleren Antwort einer abhängigen Variable per Regression auf Basis einer Zufallsstichprobe. Beispielsweise möchtest du das durchschnittliche Gewicht 55 Tage alter Welpen vorhersagen, basierend auf Messungen im 15-Tage-Rhythmus. 
• Toleranzgrenzen in Fertigungsprozessen festlegen. Wenn eine Maschine Teile mit einem Sollgewicht produziert, entspricht nicht jedes Teil exakt diesem Wert. Das Gewicht liegt in einem Konfidenzintervall um den Sollwert – das ist die Toleranz. Teile außerhalb dieser Grenzen werden verworfen. Die Maschine soll überwiegend Teile innerhalb der Toleranz liefern. 
• Qualitätskontrolle. Um festzustellen, ob Teile innerhalb der Toleranz liegen, kannst du nicht jedes Teil messen. Du ziehst Zufallsstichproben, misst sie und nutzt die Stichprobenschätzung zur Beurteilung der Populationsparameter. 
• Hypothesentests. Konfidenzniveau und Signifikanzniveau gehören zusammen: Signifikanzniveau = 1 - Konfidenzniveau. Ein Konfidenzintervall mit festgelegtem Niveau umfasst jene Werte, für die die Nullhypothese bei Signifikanzniveau (1 - Konfidenzniveau) gilt. 

Wann du ein Vorhersageintervall verwendest

Vorhersageintervalle nutzt du, wenn du den erwarteten Wert eines einzelnen Datenpunkts vorhersagst – basierend auf Beobachtungen und einer Regressionsanalyse einer Zufallsstichprobe. 

Praktische Beispiele: 

• Vorhersage des Bereichs eines einzelnen Datenpunkts per Regression. Da Einzelwerte stärker variieren können als der Stichprobenmittelwert, benötigst du ein breiteres Vorhersageintervall. Beispiel: Du möchtest das Gewicht eines einzelnen 55 Tage alten Welpen vorhersagen, basierend auf Messungen im 15-Tage-Rhythmus. 
• Monte-Carlo-Simulationen zur Vorhersage eines unbekannten Werts einsetzen. Da Monte-Carlo-Methoden probabilistisch sind, erhältst du bei jedem Lauf leicht unterschiedliche Ergebnisse. Diese Unterschiede werden im Monte-Carlo-Unsicherheitsintervall erfasst – konzeptionell ähnlich zum Vorhersageintervall. 
• In der Standardregression sagst du den Mittelwert eines Parameters voraus. In der Quantilsregression baust du getrennte Modelle für einzelne Quantile des Zielparameters. So lassen sich granularere Vorhersageintervalle konstruieren. 
• Machine-Learning-Modelle sagen den Wert einer unbekannten Größe voraus. Diese Modelle beruhen meist auf statistischen Methoden und prognostizieren den Erwartungswert. Daher umfasst die Modellausgabe sowohl den erwarteten (durchschnittlichen) Wert als auch das Vorhersageintervall. 
• Deep-Learning-Modelle nutzen Schichten neuronaler Netze für Prognosen. Um die Unsicherheit abzuschätzen, werden häufig zufällig Neuronen „gedroppt“, um die Ausgabestreuung zu analysieren. Diese Varianz dient zur Konstruktion des Vorhersageintervalls. 
• In der Zeitreihenprognose geht es darum, den Wert einer Größe in einem zukünftigen Zeitschritt vorherzusagen. Die Prognosen basieren auf statistischen Modellen wie ARIMA, die autoregressiv mit gleitendem Durchschnitt arbeiten und damit den Erwartungswert schätzen. Die tatsächlich beobachteten Werte liegen innerhalb eines Vorhersageintervalls um den Erwartungswert. Dieses Intervall wird als Funktion der Standardabweichung berechnet. Bei 95 % Konfidenz liegt es zum Beispiel innerhalb von 1,96 Standardabweichungen um den Erwartungswert. Mehrschritt-Prognosen mit längerem Horizont gehen zudem mit breiteren Vorhersageintervallen einher. Mehr zur Zeitreihenanalyse lernst du im DataCamp Kurs zur Zeitreihenanalyse. 

Konfidenz- vs. Vorhersageintervall: Zusammenfassung

Konfidenz- und Vorhersageintervalle werden oft im selben Kontext verwendet. Umso wichtiger ist es, ihren Unterschied zu verstehen. 

Die folgende Tabelle fasst die Unterschiede basierend auf den vorherigen Abschnitten zusammen:

Konfidenz- und Vorhersageintervalle in R umsetzen

Dieser Abschnitt zeigt praktische Beispiele, wie du in R Konfidenz- und Vorhersageintervalle berechnest. R ist für statistische Anwendungen entwickelt worden und bringt eingebaute Datensätze und Funktionen mit. 

Mehr zu Regressionen mit R erfährst du im DataCamp Tutorial zu linearen Regressionen in R.

Die folgenden Beispiele nutzen den eingebauten Orange Datensatz. Er enthält Umfang (in Millimetern) und Alter (in Tagen) von Orangenbäumen. Naheliegend ist: Je älter der Baum, desto größer sein Umfang. 

Konfidenzintervalle in R berechnen

Die folgenden Beispiele zeigen Konfidenzintervalle für deskriptive Statistiken und Regressionsanalysen. 

Konfidenzintervall in der deskriptiven Statistik

Um das Konfidenzintervall für den Mittelwert zu erhalten, führst du einen Standard-t-Test mit der Funktion t.test() auf dem Datensatz aus:

t.test(Orange$circumference)

Die Ausgabe sieht beispielsweise so aus:

t = 11.923, df = 34, p-value = 1.076e-13 
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
   96.10926 135.60502 
sample estimates: 
mean of x
   115.8571 

Du erhältst die Schätzung des Mittelwerts und das 95%-Konfidenzintervall. Standardmäßig nutzt t.test() 95 % Konfidenz. Über den Parameter conf.level kannst du z. B. 99 % angeben. 

> t.test(Orange$circumference, conf.level = 0.99)

Diese Anweisung liefert etwa:

t = 11.923, df = 34, p-value = 1.076e-13 
alternative hypothesis: true mean is not equal to 0
99 percent confidence interval:
   89.34458 142.36970 
sample estimates: 
mean of x
   115.8571 

Der geschätzte Mittelwert ist in beiden Fällen gleich. Für ein höheres Konfidenzniveau muss das Intervall jedoch breiter sein. Auf Basis der Daten bin ich zu 99 % sicher, dass der Mittelwert zwischen 89,3 und 142,4 liegt, aber nur zu 95 % sicher, dass er zwischen 96,1 und 135,6 liegt. Für eine gegebene Stichprobe gilt: Je schmaler das Intervall, desto geringer das Konfidenzniveau. 

Konfidenzintervall in der Regression 

In Regressionsanalysen benötigst du Konfidenzintervalle für Regressionskoeffizienten und Vorhersagen. 

Für ein tieferes Verständnis von Regressionen in R folge dem DataCamp Kurs Inference for Linear Regression in R.

Konfidenzintervall der Regressionskoeffizienten 

Regressionskoeffizienten werden anhand einer Zufallsstichprobe geschätzt und sind daher keine „wahren“ Koeffizienten für die Gesamtpopulation. Die Schätzungen sind mit Fehlern behaftet. Zusätzlich zu den Punktschätzungen ist es hilfreich, Konfidenzintervalle für die Parameter anzugeben. 

Erstelle mit lm() ein lineares Modell auf Basis des Orange-Datensatzes, um den Umfang (mm) von Orangenbäumen anhand des Alters (Tage) vorherzusagen:

model_orange <- lm(circumference ~ age, data = Orange)

Prüfe die Koeffizienten des linearen Modells:

model_orange

Der Befehl zeigt Achsenabschnitt und Steigung:

Coefficients: (Intercept)          age
                              17.3997       0.1068  

Mit confint() berechnest du die 95%-Konfidenzintervalle:

confint(model_orange, level = 0.95)

Du siehst nun die 95%-Konfidenzintervalle für Steigung und Achsenabschnitt:

                          2.5 %                   97.5 %
(Intercept)     -0.14328303       34.9425835 
age                  0.08993141          0.1236092

Konfidenzintervall einer mittleren Antwortvorhersage 

Nutze das oben erstellte Regressionsmodell, um den erwarteten durchschnittlichen Umfang 900 Tage alter Bäume vorherzusagen. Gib über den Parameter interval das Konfidenzintervall an. 

predict(model_orange, data.frame(age = 900), interval = "confidence", level = 0.95)  

Die Ausgabe enthält die Vorhersage (fit) sowie untere und obere Grenze (lwr, upr):

       fit                    lwr              upr
 1     113.4929        105.3211       121.6647

Vorhersageintervalle in R berechnen

Nutze dasselbe Modell, um den konkreten Umfang eines einzelnen 900 Tage alten Orangenbaums vorherzusagen. Verwende den Parameter interval, um das Vorhersageintervall zu wählen. 

> predict(model, data.frame(age = 900), interval = "prediction", level = 0.95)  

Die Ausgabe ähnelt diesem Beispiel:

       fit                    lwr              upr
1      113.4929        64.5118        162.4741

In beiden Fällen ist der vorhergesagte Umfang gleich – 113,49. Das Vorhersageintervall ist jedoch deutlich breiter als das Konfidenzintervall. Das Konfidenzintervall der Vorhersage beschreibt den Bereich, in dem der durchschnittliche Umfang 900 Tage alter Bäume erwartet wird. Das Vorhersageintervall beschreibt den erwarteten Bereich für den Umfang eines einzelnen 900 Tage alten Baums. Einzelwerte variieren stärker, was sich im Mittel glättet. 

Häufige Missverständnisse und Fallstricke

Statistische Intervalle sind in angewandten Feldern wie Datenanalyse, Pharma, Ökonometrie usw. weit verbreitet. Ohne formalen Statistik-Hintergrund lassen sich Konfidenz- und Vorhersageintervalle leicht verwechseln. 

Einige verbreitete Missverständnisse sind: 

• Vorhersagen ohne Berücksichtigung des Vorhersageintervalls. 
• Bei einer Regressionsprognose für einen gegebenen x-Wert liefert die Gleichung den erwarteten y-Wert. Der tatsächliche Wert entspricht selten exakt diesem Erwartungswert, sondern liegt in einem Bereich darum – dem Vorhersageintervall. 
• Annahme, dass Regression nur Vorhersageintervalle umfasst.
• Mit Regressionsmodellen triffst du zwei Arten von Vorhersagen: 1) einen zukünftigen Einzelwert und 2) die mittlere Antwort. Im Orangenbaum-Beispiel kannst du 1) den Umfang eines bestimmten 900 Tage alten Baums oder 2) den durchschnittlichen Umfang aller 900 Tage alten Bäume prognostizieren. Der Erwartungswert ist in beiden Fällen gleich. Für 1) nutzt du das Vorhersageintervall, für 2) das Konfidenzintervall. 
• Glaube, das schmalere Intervall sei „besser“.
• Manchmal ist die Versuchung groß, einfach das schmalere Intervall zu verwenden. Das Konfidenzintervall ist nicht „besser“, weil es schmaler ist – es beschreibt schlicht etwas anderes als das Vorhersageintervall. Entscheide, ob du den Durchschnitt der abhängigen Variable oder einen Einzelwert prognostizierst.
• Konfidenz- und Vorhersageintervall verwechseln. 
• Wenn deine Prognose die Schätzung eines Populationsparameters aus einer Stichprobe oder die mittlere Antwort aus einer Regression betrifft, nutzt du das Konfidenzintervall. Möchtest du eine Eigenschaft eines einzelnen Datenpunkts per Regression vorhersagen, nutzt du das Vorhersageintervall. 

Fazit

Dieser Artikel gab einen Überblick über Konfidenz- und Vorhersageintervalle, erklärte die Unterschiede und zeigte praxisnahe Einsatzfälle. Außerdem hast du gesehen, wie du Vorhersage- und Konfidenzintervalle in R berechnest. 

Wenn du statistische Formeln mit Python anwenden möchtest, sieh dir den DataCamp Kurs Statistik in Python an. Und falls du dich auf Bewerbungen mit Statistik-Fokus vorbereitest, schau dir den DataCamp Kurs zu Statistik-Fragen im Vorstellungsgespräch in Python an.