Exploratory Data Analysis van Craft Beers: Data Profiling

Beers-variabelen

print_categories(beers)

Het bovenstaande commando geeft je het volgende resultaat terug:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Breweries-variabelen

print_categories(breweries)

Dat levert je het volgende resultaat op:

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Met deze informatie kun je onze dataset al beter begrijpen. Je weet dat je alleen met categorische en numerieke data te maken hebt. Numerieke variabelen kun je gebruiken om allerlei metingen te extraheren, zoals het gemiddelde, de standaarddeviatie, enzovoort. Categorische variabelen zijn doorgaans een interessante manier om de data te segmenteren en te groeperen. Je zou bijvoorbeeld willen begrijpen hoe de IBU verschilt tussen de verschillende bierstijlen.

Lengte

De functie len telt het aantal observaties in een Series. De functie telt alle observaties, ongeacht of er missende of null-waarden zijn.

length = len(beers["ibu"])
print(length)

In deze Series hebben we in totaal 2410 observaties.

Aantal

De functie count geeft het aantal niet-NA/niet-null observaties in een Series terug.

count = beers["ibu"].count()
print(count)

Zoals je ziet, heb je 1405 niet-null observaties in de Series.

Missende waarden

Met de Length en de Count kunnen we nu het aantal missende waarden berekenen. Het aantal missende waarden is het verschil tussen de Length en de Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Om de missende waarden als percentage weer te geven, deel je simpelweg het aantal missende waarden door het totale aantal observaties, de lengte. De functie float wordt gebruikt om ervoor te zorgen dat de decimalen in de deling worden meegenomen. De functie format wordt gebruikt om het getal netjes als percentage op te maken.

In dit geval mis je bijna 42% van de variabele IBU. Dit is belangrijk om te weten omdat het je analyse zal beïnvloeden. De meeste beschrijvende statistieken negeren deze missende waarden en dat veroorzaakt zeker een bias.

Minimum/maximumwaarde

De minimum- en maximumwaarde van een dataset kun je eenvoudig verkrijgen met de functies min en max op een Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

De min/max-waarden helpen om het bereik van waarden in een variabele te begrijpen. In dit geval loopt de IBU van 4 tot 138.

Modus

De modus is de meest voorkomende waarde in een dataset. Je kunt deze verkrijgen met de functie mode op een Series.

print(beers["ibu"].mode())

In een normale verdeling is de modus gelijk aan het mean en de median.

In dit geval is de modus van de variabele IBU 20. Dat is de meest voorkomende IBU in onze dataset.

Gemiddelde

Het gemiddelde is een maat voor centrale tendentie. Het is de som van de waarden gedeeld door het aantal niet-missende observaties.

Je verkrijgt het met de functie mean op een Series.

mean = beers["ibu"].mean()

Het gemiddelde is gevoelig voor uitschieters. Een paar extreme waarden kunnen het gemiddelde sterk veranderen en het omhoog of omlaag trekken.

Mediaan

De mediaan is ook een maat voor centrale tendentie. Het is het getal precies in het midden van een geordende lijst met numerieke waarden.

median = beers["ibu"].median()

Bij scheve verdelingen is de mediaan een veel betere maat voor centrale tendentie dan het gemiddelde.

In het geval van de IBU-verdeling liggen gemiddelde en mediaan in dezelfde ordegrootte.

Standaarddeviatie

De standaarddeviatie is een maat voor spreiding. Een hoge standaarddeviatie geeft aan dat de datapunten verdeeld zijn over een brede range aan waarden. De standaarddeviatie wordt uitgedrukt in dezelfde eenheid als de waarden.

standarddev = beers["ibu"].std()

In dit geval is de standaarddeviatie ~26. Precies 25.954065911259324. Als de verdeling van IBU een normale verdeling zou zijn, dan weet je dat ~68% van de observaties binnen één standaarddeviatie van het gemiddelde ligt.

Kwantielstatistieken

Kwantielen zijn snijpunten die een verdeling in gelijke delen splitsen. Veel kwantielen hebben hun eigen naam. Als je een verdeling in vier gelijke groepen splitst, heet het kwantiel dat je hebt gemaakt een quartile. Je kunt eenvoudig kwantielen maken met de functie quantile op een Series. Je kunt aan die functie een array meegeven met de verschillende te berekenen kwantielen. In het onderstaande geval willen we onze verdeling in vier gelijke groepen splitsen.

quantile = beers["ibu"].quantile([.25, .5, .75])

Zoals je hierboven ziet, is het 50%-kwantiel gelijk aan de mediaan. Dat is de waarde die de dataset in tweeën splitst. Je kunt ook opmerken dat 75% van de observaties gelijk is aan of lager dan 64 IBU. Bovendien ligt 50% van de verdeling tussen 21 en 64 IBU. Het is belangrijk om te benadrukken dat de missende waarden in deze statistieken niet worden meegenomen.

Distributieplots

Visualisaties zijn erg nuttig bij exploratory data analysis. In dit artikel gaan we niet dieper in op visualisaties. Toch kunnen we het bij data profiling niet hebben zonder het belang van een frequentieverdelingsplot te noemen. Het is een van de simpelste maar krachtigste visualisaties. Het laat de frequentie van elke waarde in onze dataset zien.

Voor deze visualisatie gebruiken we de seaborn`` library with thedisplotfunction. This function expects aSeries` zonder missende waarden.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

In dit distributieplot zie je duidelijk een paar van de waarden die we eerder hebben berekend. De minimale waarde ligt dicht bij 0 IBU en de maximale waarde ligt dicht bij 140 IBU. Je ziet duidelijk dat de meest voorkomende waarde rond de 20 IBU ligt. Naast deze informatie zien we nu een piek rond de 60 IBU.

Waarom zijn er twee pieken in deze verdeling?

Wat kan dit verklaren? Dit is een aspect dat we in de tweede fase van exploratory data analysis kunnen verkennen.

Correlaties

Correlaties zijn een geweldige manier om relaties tussen numerieke variabelen te ontdekken. Er zijn verschillende manieren om de correlatie te berekenen. De Pearson-correlatiecoëfficiënt is een veelgebruikte methode die de lineaire afhankelijkheid tussen twee variabelen meet. De correlatiecoëfficiënt loopt van -1 tot 1. Een correlatie van 1 is een volledig positieve correlatie, een correlatie van -1 is een volledig negatieve correlatie en een correlatie van 0 is een niet-lineaire correlatie. We kunnen die berekening uitvoeren met de functie corr op een Series. Standaard gebruikt deze functie de Pearson-correlatiecoëfficiënt. Het is mogelijk om met deze functie andere berekeningsmethoden te gebruiken.

beers[["abv", "ibu", "ounces"]].corr()

Zoals je hierboven ziet, is de correlatie tussen IBU en zichzelf 1. Uiteraard zijn numerieke variabelen perfect gecorreleerd met zichzelf. Interessanter is dat je ziet dat de correlatie tussen ABV en IBU gelijk is aan 0.670621. Hoewel dit geen volledig positieve correlatie is, is het nog steeds een sterke correlatie. Dit is een interessant aspect dat we later verder kunnen verkennen.

Enkele opmerkingen over niet-numerieke variabelen

De metrics die eerder zijn geëxtraheerd, zijn vooral toepasbaar op numerieke waarden. Als je met andere typen data te maken hebt, zoals categorische data, kun je nog steeds interessante metingen verzamelen. Je zou de frequentie van elke waarde in de dataset kunnen berekenen.

DataFrame heeft een functie genaamd describe die de dataset samenvat. Als je DataFrame alleen categorische of tekstwaarden bevat, wordt de samenvatting specifiek aangepast voor dit datatype.

beers[["name", "style"]].describe()