Analisi esplorativa delle birre artigianali: Data Profiling

Variabili di Beers

print_categories(beers)

Il comando sopra ti restituisce il seguente risultato:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Variabili di Breweries

print_categories(breweries)

Che ti restituisce il seguente risultato:

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Con queste informazioni puoi già comprendere meglio il nostro dataset. Sai che stai trattando solo dati categoriali e numerici. Le variabili numeriche possono essere usate per estrarre molte misurazioni diverse come media, deviazione standard, ecc. Le variabili categoriali sono in genere un modo interessante per segmentare e raggruppare i dati. Per esempio, potresti voler capire come l’IBU differisce tra i vari stili di birra.

Lunghezza

La funzione len conta il numero di osservazioni in una Series. La funzione conterà tutte le osservazioni, indipendentemente dalla presenza di valori mancanti o nulli.

length = len(beers["ibu"])
print(length)

In questa Series abbiamo un totale di 2410 osservazioni.

Conteggio

La funzione count restituisce il numero di osservazioni non-NA/non-nulle in una Series.

count = beers["ibu"].count()
print(count)

Come puoi vedere, hai 1405 osservazioni non nulle nella Series.

Valori mancanti

Con la Length e il Count ora possiamo calcolare il numero di valori mancanti. Il numero di valori mancanti è la differenza tra Length e Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Per ottenere i valori mancanti in percentuale, dividi semplicemente il numero di valori mancanti per il numero totale di osservazioni, cioè la lunghezza. La funzione float è usata per assicurarsi che i decimali vengano catturati nella divisione. La funzione format è usata per formattare in modo ordinato il numero come percentuale.

In questo caso, mancano quasi il 42% dei valori della variabile IBU. Questo è importante da sapere perché influenzerà la tua analisi. La maggior parte delle statistiche descrittive ignorerà questi valori mancanti e questo causerà certamente un bias.

Valore minimo/massimo

Il valore minimo e massimo di un dataset si possono ottenere facilmente con le funzioni min e max su una Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

I valori min/max sono utili per capire l’intervallo di valori di una variabile. In questo caso, l’IBU va da 4 a 138.

Moda

La moda è il valore più frequente in un dataset. Si può ottenere usando la funzione mode su una Series.

print(beers["ibu"].mode())

In una distribuzione normale, la moda è uguale a mean e median.

In questo caso, la moda della variabile IBU è 20. È l’IBU più frequente nel nostro dataset.

Media

La media è una misura di tendenza centrale. Rappresenta la somma dei valori divisa per il numero di osservazioni non mancanti.

Si può ottenere con la funzione mean su una Series.

mean = beers["ibu"].mean()

La media è suscettibile all’influenza degli outlier. Alcuni valori estremi possono modificarla notevolmente, trascinandola verso l’alto o verso il basso.

Mediana

La mediana è anch’essa una misura di tendenza centrale. È il numero esattamente al centro di un elenco ordinato di valori numerici.

median = beers["ibu"].median()

Nel caso di distribuzioni asimmetriche, la mediana è una misura di tendenza centrale molto migliore della media.

Nel caso della distribuzione dell’IBU, media e mediana sono dello stesso ordine di grandezza.

Deviazione standard

La deviazione standard è una misura di dispersione. Un’elevata deviazione standard indica che i punti dati sono distribuiti su un ampio intervallo di valori. La deviazione standard è espressa nella stessa unità dei valori.

standarddev = beers["ibu"].std()

In questo caso, la deviazione standard è ~26. Precisamente 25.954065911259324. Se la distribuzione dell’IBU fosse normale, sapresti che ~68% delle osservazioni è entro una deviazione standard dalla media.

Statistiche di quantile

I quantili sono punti di taglio che dividono una distribuzione in parti di uguale dimensione. Molti quantili hanno un proprio nome. Se dividi una distribuzione in quattro gruppi uguali, il quantile creato si chiama quartile. Puoi creare facilmente quantili usando la funzione quantile su una Series. Puoi passare a quella funzione un array con i diversi quantili da calcolare. Nel caso sotto, vogliamo dividere la nostra distribuzione in quattro gruppi uguali.

quantile = beers["ibu"].quantile([.25, .5, .75])

Come puoi vedere sopra, il quantile al 50% è uguale alla mediana. È il valore che divide il dataset a metà. Puoi anche notare che il 75% delle osservazioni è minore o uguale a 64 IBU. Inoltre, il 50% della distribuzione si trova tra 21 e 64 IBU. È importante notare che i valori mancanti non sono considerati in queste metriche.

Grafici di distribuzione

Le visualizzazioni sono molto utili nell’analisi esplorativa dei dati. In questo post non entreremo nel dettaglio delle visualizzazioni. Tuttavia, non si può parlare di data profiling senza menzionare l’importanza di un grafico di distribuzione delle frequenze. È una delle visualizzazioni più semplici ma anche più potenti. Mostra la frequenza di ciascun valore nel nostro dataset.

Per creare questa visualizzazione usiamo la libreria seaborn`` con ladisplotfunction. Questa funzione si aspetta unaSeries` senza valori mancanti.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

In questo grafico di distribuzione puoi vedere chiaramente alcuni dei valori calcolati in precedenza. Il valore minimo è vicino a 0 IBU e il valore massimo è vicino a 140 IBU. Vedi chiaramente che il valore più frequente è vicino a 20 IBU. In aggiunta a queste informazioni, ora vediamo un picco vicino a 60 IBU.

Perché ci sono due picchi in questa distribuzione?

Cosa può spiegarlo? Questo è un aspetto che possiamo esplorare nella seconda fase dell’analisi esplorativa dei dati.

Correlazioni

Le correlazioni sono un ottimo modo per scoprire relazioni tra variabili numeriche. Esistono vari modi per calcolare la correlazione. Il coefficiente di correlazione di Pearson è un approccio ampiamente usato che misura la dipendenza lineare tra due variabili. Il coefficiente di correlazione varia da -1 a 1. Una correlazione di 1 è una correlazione positiva totale, -1 è una correlazione negativa totale e 0 indica assenza di correlazione lineare. Possiamo eseguire quel calcolo usando la funzione corr su una Series. Per impostazione predefinita, questa funzione usa il coefficiente di Pearson. È possibile usare metodi di calcolo diversi con questa funzione.

beers[["abv", "ibu", "ounces"]].corr()

Come puoi vedere sopra, la correlazione tra l’IBU e se stessa è 1. Ovviamente, le variabili numeriche sono perfettamente correlate con se stesse. Più interessante, puoi vedere che la correlazione tra ABV e IBU è pari a 0.670621. Pur non essendo una correlazione positiva totale, è comunque elevata. Questo è un aspetto interessante che possiamo esplorare più avanti.

Qualche nota sulle variabili non numeriche

Le metriche estratte in precedenza sono applicabili principalmente ai valori numerici. Se stai lavorando con altri tipi di dati, come quelli categoriali, puoi comunque ricavare alcune misure interessanti. Potresti calcolare la frequenza di ciascun valore nel dataset.

I DataFrame hanno una funzione chiamata describe che riassume il dataset. Se il tuo DataFrame contiene solo valori categoriali o di testo, il riepilogo sarà adattato specificamente a questo tipo di dati.

beers[["name", "style"]].describe()