Zanaat Biralarının Keşifsel Veri Analizi: Veri Profilleme

Beers Değişkenleri

print_categories(beers)Altyapı:

Yukarıdaki komut size şu sonucu verir:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  NumericalAltyapı:

Breweries Değişkenleri

print_categories(breweries)Altyapı:

Bu da size aşağıdaki sonucu verir:

name :  Categorical
city :  Categorical
state :  Categorical
id :  NumericalAltyapı:

Bu bilgilerle, veri kümemizi şimdiden daha iyi anlayabilirsiniz. Yalnızca kategorik ve sayısal verilerle uğraştığınızı biliyorsunuz. Sayısal değişkenler, ortalama, standart sapma vb. gibi birçok farklı ölçüm çıkarmak için kullanılabilir. Kategorik değişkenler ise genellikle veriyi bölümlendirmenin ve gruplandırmanın ilginç bir yoludur. Örneğin, farklı bira stilleri arasında IBU'nun nasıl farklılaştığını anlamak isteyebilirsiniz.

Uzunluk

len işlevi bir Series içindeki gözlem sayısını sayar. İşlev, eksik ya da null değerler olsa da tüm gözlemleri sayar.

length = len(beers["ibu"])
print(length)Altyapı:

Bu Series içinde toplam 2410 gözlemimiz var.

Sayım

count işlevi bir Series içindeki NA olmayan/null olmayan gözlemlerin sayısını döndürür.

count = beers["ibu"].count()
print(count)Altyapı:

Gördüğünüz gibi, Series içinde 1405 adet null olmayan gözlem var.

Eksik Değerler

Length ve Count ile artık eksik değerlerin sayısını hesaplayabiliriz. Eksik değerlerin sayısı, Length ile Count arasındaki farktır.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)Altyapı:

Eksik değerleri yüzde olarak vermek için, eksik değerlerin sayısını toplam gözlem sayısına, yani uzunluğa bölersiniz. Bölmede ondalıkların yakalanmasını sağlamak için float işlevi kullanılır. format işlevi ise sayıyı yüzde olarak hoş bir biçimde biçimlendirmek için kullanılır.

Bu durumda, IBU değişkeninin neredeyse %42'si eksik. Bu, analizinizi etkileyeceği için bilmeniz önemlidir. Çoğu betimsel istatistik bu eksik değerleri yok sayar ve bu da kesinlikle bir önyargıya yol açar.

Minimum/Maksimum Değer

Bir veri setinin minimum ve maksimum değeri, bir Series üzerinde min ve max işlevleriyle kolayca elde edilebilir.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())Altyapı:

Min/maks değerler, bir değişkendeki değer aralığını anlamaya yardımcı olur. Bu durumda IBU 4 ile 138 arasında değişmektedir.

Mod

Mod, bir veri setindeki en sık görülen değerdir. Bir Series üzerinde mode işlevi kullanılarak elde edilebilir.

print(beers["ibu"].mode())Altyapı:

Normal bir dağılımda mod, mean ve median ile eşittir.

Bu durumda, IBU değişkeninin modu 20'dir. Veri setimizde en sık görülen IBU budur.

Ortalama

Ortalama, merkezi eğilim ölçüsüdür. Değerlerin toplamının, eksik olmayan gözlem sayısına bölünmesini temsil eder.

Bir Series üzerinde mean işleviyle elde edilebilir.

mean = beers["ibu"].mean()Altyapı:

Ortalama, aykırı değerlerden etkilenmeye yatkındır. Birkaç uç değer ortalamayı ciddi şekilde değiştirebilir, onu yukarı veya aşağı çekebilir.

Medyan

Medyan da bir merkezi eğilim ölçüsüdür. Sıralanmış sayısal değerler listesinin tam ortasındaki sayıdır.

median = beers["ibu"].median()Altyapı:

Çarpık dağılımlar söz konusu olduğunda medyan, ortalamaya göre çok daha iyi bir merkezi eğilim ölçüsüdür.

IBU dağılımı söz konusu olduğunda, ortalama ve medyan aynı mertebededir.

Standart Sapma

Standart sapma, yayılım ölçüsüdür. Yüksek standart sapma, veri noktalarının geniş bir değer aralığına yayıldığını gösterir. Standart sapma, değerlerle aynı birimde ifade edilir.

standarddev = beers["ibu"].std()Altyapı:

Bu durumda standart sapma ~26’dır; tam olarak 25.954065911259324. Eğer IBU dağılımı normal dağılım olsaydı, gözlemlerin ~%68’inin ortalamanın bir standart sapması içinde olduğunu bilirdiniz.

Kantil İstatistikleri

Kantiller, bir dağılımı eşit büyüklükte parçalara bölen kesme noktalarıdır. Birçok kantilin kendi adı vardır. Bir dağılımı dört eşit gruba bölerseniz, oluşturduğunuz kantile quartile denir. Bir Series üzerinde quantile işlevini kullanarak kantilleri kolayca oluşturabilirsiniz. Bu işlevi hesaplanacak farklı kantillerin bulunduğu bir diziyle çağırabilirsiniz. Aşağıdaki durumda dağılımımızı dört eşit gruba bölmek istiyoruz.

quantile = beers["ibu"].quantile([.25, .5, .75])Altyapı:

Yukarıda gördüğünüz gibi, %50 kantili medyana eşittir. Veri setini ikiye bölen değerdir. Ayrıca, gözlemlerin %75’inin 64 IBU’ya eşit veya ondan küçük olduğunu da not edebilirsiniz. Dahası, dağılımın %50’si 21 ile 64 IBU arasındadır. Bu metriklerde eksik değerlerin dikkate alınmadığını belirtmek önemlidir.

Dağılım Grafikleri

Görselleştirmeler, keşifsel veri analizinde çok kullanışlıdır. Bu yazıda, görselleştirme konusunu ayrıntılı şekilde ele almayacağız. Ancak, bir frekans-dağılım grafiğinin öneminden bahsetmeden veri profillemeden söz edemeyiz. En basit ama en güçlü görselleştirmelerden biridir. Veri setimizdeki her değerin sıklığını gösterir.

Bu görselleştirmeyi oluşturmak için seaborn`` library with thedisplotfunction. This function expects aSeries` with no missing values.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());Altyapı:

Bu dağılım grafiğinde, daha önce hesapladığımız birkaç değeri açıkça görebilirsiniz. Minimum değer 0 IBU’ya yakın ve maksimum değer 140 IBU’ya yakındır. En sık görülen değerin 20 IBU’ya yakın olduğunu net bir şekilde görüyorsunuz. Buna ek olarak, 60 IBU civarında bir tepe noktası görüyoruz.

Bu dağılımda neden iki tepe var?

Bunu ne açıklayabilir? Bu, keşifsel veri analizinin ikinci aşamasında keşfedebileceğimiz bir yön.

Korelasyonlar

Korelasyonlar, sayısal değişkenler arasındaki ilişkileri keşfetmenin harika bir yoludur. Korelasyonu hesaplamanın çeşitli yolları vardır. Pearson korelasyon katsayısı, iki değişken arasındaki doğrusal bağımlılığı ölçen yaygın bir yaklaşımdır. Korelasyon katsayısı -1 ile 1 arasında değişir. 1 korelasyonu tam pozitif korelasyon, -1 korelasyonu tam negatif korelasyon ve 0 korelasyonu doğrusal olmayan (korelasyonsuz) ilişkiyi ifade eder. Bu hesabı bir Series üzerinde corr işlevini kullanarak yapabiliriz. Varsayılan olarak bu işlev Pearson korelasyon katsayısı hesabını kullanır. Bu işlevle farklı hesaplama yöntemlerini kullanmak da mümkündür.

beers[["abv", "ibu", "ounces"]].corr()Altyapı:

Yukarıda gördüğünüz gibi, IBU’nun kendisiyle korelasyonu 1’dir. Elbette sayısal değişkenler kendileriyle mükemmel korelasyona sahiptir. Daha ilginç olarak, ABV ile IBU arasındaki korelasyonun 0.670621 olduğunu görebilirsiniz. Bu tam pozitif bir korelasyon olmasa da hâlâ yüksek bir korelasyondur. Bu, ileride daha ayrıntılı olarak keşfedebileceğimiz ilginç bir yön.

Sayısal Olmayan Değişkenlere Dair Notlar

Önceden çıkardığımız metrikler çoğunlukla yalnızca sayısal değerlere uygulanabilir. Kategorik veriler gibi diğer türlerle uğraşıyorsanız da bazı ilginç ölçümler toplayabilirsiniz. Veri setindeki her değerin sıklığını hesaplayabilirsiniz.

DataFrame'lerin veri setini özetleyen describe adlı bir işlevi vardır. DataFrame'iniz yalnızca kategorik veya metin değerleri içeriyorsa özet, bu veri türüne özel şekilde uyarlanır.

beers[["name", "style"]].describe()Altyapı: