Explorative Datenanalyse von Craft Beers: Datenprofiling

Beers-Variablen

print_categories(beers)

Der Befehl oben liefert dir folgendes Ergebnis:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Breweries-Variablen

print_categories(breweries)

Das ergibt folgendes:

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Mit diesen Informationen verstehst du den Datensatz bereits besser. Du weißt, dass du nur mit kategorischen und numerischen Daten arbeitest. Numerische Variablen erlauben viele Kennzahlen wie Mittelwert, Standardabweichung usw. Kategorische Variablen eignen sich in der Regel gut zur Segmentierung und Gruppierung der Daten. Du könntest zum Beispiel untersuchen, wie sich die IBU je nach Bierstil unterscheiden.

Länge

Die Funktion len zählt die Anzahl der Beobachtungen in einer Series. Sie zählt alle Beobachtungen, unabhängig von fehlenden bzw. Null-Werten.

length = len(beers["ibu"])
print(length)

Diese Series umfasst insgesamt 2410 Beobachtungen.

Anzahl

Die Funktion count gibt die Anzahl der nicht-NA/nicht-null Beobachtungen in einer Series zurück.

count = beers["ibu"].count()
print(count)

Wie du siehst, gibt es 1405 nicht-leere Beobachtungen in der Series.

Fehlende Werte

Mit Length und Count kannst du nun die Anzahl fehlender Werte berechnen. Sie ist die Differenz aus Length und Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Um fehlende Werte als Prozentsatz auszugeben, teilst du die Anzahl fehlender Werte durch die Gesamtzahl der Beobachtungen, also die Länge. float stellt sicher, dass Dezimalstellen in der Division berücksichtigt werden. Mit format formatierst du den Wert ansprechend als Prozentzahl.

In diesem Fall fehlen fast 42% der IBU-Werte. Das ist wichtig, weil es deine Analyse beeinflusst. Die meisten beschreibenden Statistiken ignorieren fehlende Werte – das führt zwangsläufig zu Verzerrungen.

Minimum/Maximum

Minimal- und Maximalwert eines Datensatzes erhältst du mit den Funktionen min und max auf einer Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

Min/Max helfen, die Spannweite einer Variable zu verstehen. Hier reicht IBU von 4 bis 138.

Modus

Der Modus ist der am häufigsten auftretende Wert in einem Datensatz. Er lässt sich mit der Funktion mode auf einer Series bestimmen.

print(beers["ibu"].mode())

In einer Normalverteilung entspricht der Modus dem mean und dem median.

Hier ist der Modus der Variable IBU gleich 20. Das ist der häufigste IBU-Wert im Datensatz.

Mittelwert

Der Mittelwert ist ein Maß der zentralen Tendenz. Er ist die Summe aller Werte geteilt durch die Anzahl nicht fehlender Beobachtungen.

Er lässt sich mit der Funktion mean auf einer Series berechnen.

mean = beers["ibu"].mean()

Der Mittelwert ist anfällig für Ausreißer. Einige extreme Werte können ihn stark nach oben oder unten ziehen.

Median

Auch der Median ist ein Maß der zentralen Tendenz. Er ist der Wert genau in der Mitte einer geordneten Liste numerischer Werte.

median = beers["ibu"].median()

Bei schiefen Verteilungen ist der Median oft das bessere Lagemaß als der Mittelwert.

Bei der Verteilung von IBU liegen Mittelwert und Median in derselben Größenordnung.

Standardabweichung

Die Standardabweichung ist ein Streuungsmaß. Eine hohe Standardabweichung zeigt, dass die Daten über einen weiten Wertebereich verteilt sind. Sie hat dieselbe Einheit wie die Werte selbst.

standarddev = beers["ibu"].std()

Hier beträgt die Standardabweichung rund 26 – genau 25.954065911259324. Wäre die Verteilung von IBU normalverteilt, lägen etwa 68% der Beobachtungen innerhalb einer Standardabweichung um den Mittelwert.

Quantile

Quantile sind Schnittpunkte, die eine Verteilung in gleich große Teile teilen. Viele Quantile haben eigene Namen. Teilt man eine Verteilung in vier gleich große Gruppen, spricht man von quartiles. Du kannst Quantile mit der Funktion quantile auf einer Series berechnen. Übergebe dazu ein Array der gewünschten Quantile. Im Beispiel unten teilen wir die Verteilung in vier gleich große Gruppen.

quantile = beers["ibu"].quantile([.25, .5, .75])

Wie du siehst, entspricht das 50%-Quantil dem Median. Es ist der Wert, der den Datensatz halbiert. Außerdem liegen 75% der Beobachtungen bei höchstens 64 IBU. 50% der Verteilung liegen zwischen 21 und 64 IBU. Beachte: Fehlende Werte gehen in diese Kennzahlen nicht ein.

Verteilungsdiagramme

Visualisierungen sind in der explorativen Datenanalyse extrem hilfreich. In diesem Beitrag vertiefen wir das Thema Visualisierung nicht, aber ohne die Bedeutung eines Häufigkeitsdiagramms geht es beim Datenprofiling nicht. Es ist eine der einfachsten und gleichzeitig aussagekräftigsten Visualisierungen und zeigt, wie oft jeder Wert im Datensatz vorkommt.

Für diese Visualisierung nutzen wir die Bibliothek seaborn`` mit der Funktion displot. Diese Funktion erwartet eine Series ohne fehlende Werte.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

In diesem Verteilungsdiagramm erkennst du einige der zuvor berechneten Werte deutlich. Der Minimalwert liegt nahe bei 0 IBU, der Maximalwert nahe bei 140 IBU. Der häufigste Wert liegt klar bei rund 20 IBU. Zusätzlich sehen wir einen Peak bei etwa 60 IBU.

Warum gibt es zwei Peaks in dieser Verteilung?

Wodurch lässt sich das erklären? Das ist ein Aspekt für die zweite Phase der explorativen Datenanalyse.

Korrelationen

Korrelationen helfen, Beziehungen zwischen numerischen Variablen aufzudecken. Es gibt verschiedene Verfahren zur Berechnung der Korrelation. Der Pearson-Korrelationskoeffizient ist weit verbreitet und misst die lineare Abhängigkeit zwischen zwei Variablen. Er liegt zwischen -1 und 1: 1 bedeutet perfekte positive, -1 perfekte negative und 0 keine lineare Korrelation. Wir können diese Berechnung mit der Funktion corr auf einer Series durchführen. Standardmäßig wird die Pearson-Korrelation verwendet, du kannst aber auch andere Methoden angeben.

beers[["abv", "ibu", "ounces"]].corr()

Wie erwartet, ist die Korrelation von IBU mit sich selbst 1. Interessanter ist, dass die Korrelation zwischen ABV und IBU 0.670621 beträgt. Das ist zwar keine perfekte, aber eine starke positive Korrelation – ein spannender Punkt für eine vertiefte Analyse.

Ein paar Hinweise zu nicht-numerischen Variablen

Die bisher betrachteten Kennzahlen gelten vor allem für numerische Werte. Bei anderen Datentypen wie kategorischen Daten kannst du dennoch interessante Größen berechnen, zum Beispiel die Häufigkeit einzelner Ausprägungen.

DataFrame-Objekte haben eine Funktion describe, die den Datensatz zusammenfasst. Besteht dein DataFrame nur aus kategorischen oder Textwerten, passt sich die Zusammenfassung entsprechend an.

beers[["name", "style"]].describe()