Exploratory Data Analysis of Craft Beers: Pemprofilan Data

Beers Variabel

print_categories(beers)

Perintah di atas memberi Anda hasil berikut:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Breweries Variabel

print_categories(breweries)

Yang memberikan hasil berikut:

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Dengan informasi ini, Anda sudah dapat lebih memahami dataset kita. Anda tahu bahwa Anda hanya berurusan dengan data kategorikal dan numerik. Variabel numerik dapat digunakan untuk mengekstrak berbagai pengukuran seperti mean, standar deviasi, dan sebagainya. Variabel kategorikal umumnya merupakan cara yang menarik untuk melakukan segmentasi dan pengelompokan data. Misalnya, Anda mungkin ingin memahami bagaimana IBU berbeda di antara berbagai gaya bir.

Panjang

Fungsi len menghitung jumlah observasi dalam sebuah Series. Fungsi ini akan menghitung semua observasi, terlepas dari ada tidaknya nilai hilang atau null.

length = len(beers["ibu"])
print(length)

Dalam Series ini kita memiliki total 2410 observasi.

Hitung

Fungsi count akan mengembalikan jumlah observasi non-NA/non-null dalam sebuah Series.

count = beers["ibu"].count()
print(count)

Seperti yang terlihat, Anda memiliki 1405 observasi non-null dalam Series ini.

Nilai Hilang

Dengan Length dan Count, kini kita dapat menghitung jumlah nilai hilang. Jumlah nilai hilang adalah selisih antara Length dan Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Untuk menampilkan nilai hilang sebagai persentase, Anda cukup membagi jumlah nilai hilang dengan total jumlah observasi, yaitu panjangnya. Fungsi float digunakan untuk memastikan desimal tertangkap dalam pembagian. Fungsi format digunakan untuk memformat angka dengan rapi sebagai persentase.

Dalam kasus ini, Anda kehilangan hampir 42% dari variabel IBU. Ini penting untuk diketahui karena akan memengaruhi analisis Anda. Sebagian besar statistik deskriptif akan mengabaikan nilai hilang tersebut dan ini pasti menyebabkan bias.

Nilai Minimum/Maksimum

Nilai minimum dan maksimum suatu dataset dapat diperoleh dengan mudah menggunakan fungsi min dan max pada sebuah Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

Nilai min/maks membantu memahami rentang nilai dalam sebuah variabel. Dalam kasus ini, IBU berkisar dari 4 hingga 138.

Modus

Modus adalah nilai yang paling sering muncul dalam sebuah dataset. Dapat diperoleh menggunakan fungsi mode pada sebuah Series.

print(beers["ibu"].mode())

Dalam distribusi normal, modus sama dengan mean dan median.

Dalam kasus ini, modus variabel IBU adalah 20. Itulah IBU yang paling sering muncul dalam dataset kita.

Mean

Mean adalah ukuran tendensi sentral. Ini merepresentasikan jumlah dari nilai-nilai dibagi dengan jumlah observasi yang tidak hilang.

Dapat diperoleh dengan fungsi mean pada sebuah Series.

mean = beers["ibu"].mean()

Mean rentan dipengaruhi oleh outlier. Beberapa nilai ekstrem dapat sangat mengubah mean, menariknya naik atau turun.

Median

Median juga merupakan ukuran tendensi sentral. Ini adalah angka yang tepat berada di tengah dari daftar nilai numerik yang diurutkan.

median = beers["ibu"].median()

Pada distribusi yang condong (skewed), median adalah ukuran tendensi sentral yang jauh lebih baik daripada mean.

Pada kasus distribusi IBU, mean dan median berada pada orde besaran yang sama.

Standar Deviasi

Standar deviasi adalah ukuran dispersi. Standar deviasi yang tinggi menunjukkan titik data tersebar pada rentang nilai yang luas. Standar deviasi dinyatakan dalam satuan yang sama dengan nilainya.

standarddev = beers["ibu"].std()

Dalam kasus ini, standar deviasi ~26. Tepatnya 25.954065911259324. Jika distribusi IBU adalah distribusi normal, Anda akan tahu bahwa ~68% observasi berada dalam satu standar deviasi dari mean.

Statistik Kuantil

Kuantil adalah titik potong yang membagi distribusi menjadi ukuran yang sama. Banyak kuantil memiliki nama masing-masing. Jika Anda membagi distribusi menjadi empat kelompok yang sama besar, kuantil yang Anda buat dinamakan quartile. Anda dapat dengan mudah membuat kuantil menggunakan fungsi quantile pada sebuah Series. Anda dapat memberikan sebuah array berisi berbagai kuantil yang ingin dihitung. Pada kasus di bawah, kita ingin membagi distribusi menjadi empat kelompok yang sama.

quantile = beers["ibu"].quantile([.25, .5, .75])

Seperti terlihat di atas, kuantil 50% sama dengan median. Ini adalah nilai yang membagi dataset menjadi dua. Anda juga dapat mencatat bahwa 75% observasi bernilai sama dengan atau di bawah 64 IBU. Selain itu, 50% distribusi berada antara 21 dan 64 IBU. Penting untuk dicatat bahwa nilai hilang tidak diperhitungkan dalam metrik tersebut.

Plot Distribusi

Visualisasi sangat berguna dalam exploratory data analysis. Dalam tulisan ini, kita tidak akan membahas topik visualisasi secara mendalam. Namun, kita tidak bisa membicarakan pemprofilan data tanpa menyebut pentingnya plot frekuensi-distribusi. Ini adalah salah satu visualisasi paling sederhana namun paling kuat. Plot ini menunjukkan frekuensi setiap nilai dalam dataset kita.

Untuk membuat visualisasi ini, kita menggunakan pustaka seaborn`` dengandisplotfunction. Fungsi ini mengharapkan sebuahSeries` tanpa nilai hilang.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

Pada plot distribusi ini, Anda dapat dengan jelas melihat beberapa nilai yang sebelumnya kita hitung. Nilai minimal mendekati 0 IBU dan nilai maksimum mendekati 140 IBU. Anda juga jelas melihat bahwa nilai yang paling sering muncul mendekati 20 IBU. Selain informasi ini, kini kita melihat puncak mendekati 60 IBU.

Mengapa ada dua puncak dalam distribusi ini?

Apa yang dapat menjelaskannya? Ini adalah aspek yang dapat kita eksplorasi pada fase kedua exploratory data analysis.

Korelasi

Korelasi adalah cara yang bagus untuk menemukan hubungan antar variabel numerik. Ada berbagai cara untuk menghitung korelasi. Koefisien korelasi Pearson adalah pendekatan yang banyak digunakan yang mengukur ketergantungan linear antara dua variabel. Koefisien korelasi berkisar dari -1 hingga 1. Korelasi 1 adalah korelasi positif total, -1 adalah korelasi negatif total dan 0 adalah korelasi non-linear. Kita dapat melakukan perhitungan tersebut menggunakan fungsi corr pada sebuah Series. Secara default, fungsi ini akan menggunakan perhitungan koefisien korelasi Pearson. Dimungkinkan menggunakan metode perhitungan lain dengan fungsi ini.

beers[["abv", "ibu", "ounces"]].corr()

Seperti terlihat di atas, korelasi antara IBU dan dirinya sendiri adalah 1. Jelas, variabel numerik berkorelasi sempurna dengan dirinya sendiri. Yang lebih menarik, Anda dapat melihat bahwa korelasi antara ABV dan IBU sama dengan 0.670621. Meskipun ini bukan korelasi positif total, tetap saja cukup tinggi. Ini adalah aspek menarik yang dapat kita eksplorasi lebih lanjut ke depan.

Beberapa catatan tentang variabel non-numerik

Metrik yang sebelumnya diekstrak sebagian besar hanya berlaku untuk nilai numerik. Jika Anda berurusan dengan tipe data lain seperti data kategorikal, Anda tetap dapat mengumpulkan beberapa pengukuran menarik. Anda dapat menghitung frekuensi setiap nilai dalam dataset.

DataFrame memiliki fungsi bernama describe yang merangkum dataset. Jika DataFrame Anda hanya memiliki nilai kategorikal atau teks, ringkasannya akan diadaptasi khusus untuk tipe data ini.

beers[["name", "style"]].describe()