Python ile Hiyerarşik Kümelemede Bir Giriş

Motivasyon

Bir perakende şirketinde çalışan bir Veri Bilimci olduğunuzu hayal edin. Yöneticiniz, hedefli pazarlama ve ürün önerileri amacıyla müşterileri harcama davranışlarına göre şu gruplara ayırmanızı istiyor: düşük, ortalama, orta veya platin müşteri.

Bu müşterilerle ilişkili böyle bir tarihsel etiket olmadığını bildiğimize göre, onları nasıl kategorize edebiliriz? 

İşte burada kümeleme yardımcı olabilir. Etiketlenmemiş verileri benzer kategoriler halinde gruplamak için kullanılan gözetimsiz bir makine öğrenmesi tekniğidir. 

Bu eğitim, gözetimsiz makine öğrenmesindeki pek çok teknikten biri olan hiyerarşik kümeleme yaklaşımına odaklanacaktır. Önce hiyerarşik kümelemenin ne olduğuna genel bir bakış sunacak, ardından mevcut bazı tekniklerle karşılaştıracaktır.

Sonrasında, popüler Scipy kütüphanesini kullanarak Python’da adım adım bir uygulamadan geçirecektir.

Hiyerarşik Kümelemenin Tanımı

Hiyerarşik kümeleme yaklaşımı, ardışık kümelerin, daha önce tanımlanmış kümelere dayanarak belirlenmesine dayanır. Temel olarak alttaki kümeler arasındaki hiyerarşik ilişkiyi grafiksel olarak gösteren dendrogram adı verilen bir küme ağacına verileri gruplayan bir tekniktir.

Hiyerarşik Kümelemenin Diğer Kümeleme Teknikleriyle Karşılaştırılması

Hiyerarşik kümeleme güçlü bir algoritmadır, ancak tek yöntem değildir ve her kümeleme türünün kendi avantaj ve dezavantajları vardır. 

K-means ve model tabanlı kümeleme gibi diğer türlerle nasıl karşılaştırıldığını anlayalım. Daha pek çok teknik mevcut olsa da, bu ikisi hiyerarşik kümeleme ile birlikte yaygın olarak kullanılır ve diğerlerini daha iyi anlamaya yardımcı olacak bir çerçeve sunar. 

Makine öğrenmesinde kümeleme hakkında daha fazla bilgiyi, beş temel kümeleme algoritmasını ele alan ayrı makalemizde bulabilirsiniz. 

Hiyerarşik kümeleme vs K Means kümeleme

Hiyerarşik kümelemeden farklı olarak K-means kümeleme, kullanıcı tarafından önceden belirlenen “K” sayıda gruba veya kümeye orijinal veri noktalarını ayırmayı amaçlar. 

Genel fikir, tüm öznitelikler (değişkenler veya özellikler) boyunca noktaların merkezlere olan kareli Öklid uzaklığını en aza indiren kümeleri aramak ve bireyleri yinelemeli bir şekilde birleştirmektir. 

Scikit-learn ile Python’da K-means Kümeleme eğitimimiz, ilginç bir vaka çalışmasıyla K-means kümelemenin iç işleyişini anlamanıza yardımcı olacaktır.

Faydalar 

• Hiyerarşik kümelemeden daha hesaplama verimlidir ve büyük veri kümelerini analiz etmek için kullanılabilir. 
• K-means anlaması ve uygulaması daha kolaydır. 

Dezavantajlar

• Kullanıcının küme sayısını önceden belirtmesini zorunlu kıldığı için hiyerarşik kümelemeden daha az esnektir; bu da bazı durumlarda açık olmayabilir.  
• Aynı veri kümesi için sonuç kararlı değildir ve yinelemeler arasında değişir.
• Verideki aykırı değerlerin kullanımı kümenin ortalamasını etkilediğinden aykırı değerlere daha hassastır. 
• Hem k-means hem de hiyerarşik kümeleme kategorik verileri doğrudan işleyemez ve sürekli olmayan veya çok büyük varyansa sahip verilerle iyi çalışmayabilir.

Sınırlamalarına rağmen, k-means kümeleme kullanım kolaylığı ve hesaplama verimliliği nedeniyle hâlâ popüler bir yöntemdir. Sıklıkla diğer kümeleme tekniklerinin performansını karşılaştırmak için bir referans noktası olarak kullanılır. 

Model tabanlı kümeleme

Hem K-means hem de hiyerarşik kümeleme teknikleri, veri kümesindeki tüm noktalar arasındaki mesafeleri temsil etmek için bir uzaklık matrisi kullanır. Öte yandan model tabanlı kümeleme, verideki kümeleri belirlemek için istatistiksel teknikler uygular. Genel süreç aşağıdaki gibidir: 

• Kullanılacak istatistiksel modele karar verin ve küme sayısını seçin. 
• Modeli verilere uydurun. 
• Kümeleri model parametrelerine göre belirleyin.

Faydalar 

• Model tabanlı kümeleme, farklı türde kümeleri belirlemek için farklı modellerin kullanılmasına izin verdiğinden hiyerarşik kümelemeden daha esnektir. 
• Karmaşık şekillere veya yapılara sahip verilerde daha iyi çalışır.

Dezavantajlar

• Özellikle büyük verilerde, hiyerarşik kümelemeden daha fazla hesaplama maliyeti gerektirir. 
• Model seçiminin nihai sonucu etkileyebilmesi nedeniyle, istatistiksel modelleme tekniklerinin daha iyi anlaşılmasını gerektirir. 
• K-means kümelemeye benzer şekilde, küme sayısının önceden belirtilmesini gerektirir. 

Hiyerarşik Kümelemenin Uygulamaları

Hiyerarşik kümelemenin günlük yaşamımızda; biyoloji, görüntü işleme, pazarlama, ekonomi ve sosyal ağ analizi başta olmak üzere çok çeşitli uygulamaları vardır.

Biyoloji

DNA dizilerinin kümelenmesi, biyoinformatiğin en büyük zorluklarından biridir. 

Biyologlar, organizmalar arasındaki genetik ilişkileri incelemek ve bu organizmaları taksonomik gruplara sınıflandırmak için hiyerarşik kümelemeden yararlanabilir. Bu, altta yatan ilişkilerin hızlı analizi ve görselleştirilmesi için faydalıdır.  

Görüntü işleme

Hiyerarşik kümeleme, bir görüntünün benzer bölgelerini veya piksellerini renk, yoğunluk veya diğer özellikler açısından gruplamak için görüntü işlemeye uygulanabilir. Bu, görüntü bölütleme, görüntü sınıflandırma ve nesne tanıma gibi sonraki görevler için yararlı olabilir.

Pazarlama

Pazarlama uzmanları, müşterilerin satın alma alışkanlıklarına göre farklı müşteri türleri arasında bir hiyerarşi oluşturmak için hiyerarşik kümelemeyi kullanabilir; böylece daha iyi pazarlama stratejileri ve ürün önerileri geliştirebilir. Örneğin, perakendedeki farklı ürünler, müşteriler düşük, orta veya yüksek harcayıcı olmalarına göre önerilebilir.

Sosyal ağ analizi

Sosyal ağlar, etkili bir şekilde yararlanıldığında değerli bilgilerin harika bir kaynağıdır. Hiyerarşik kümeleme, grupları veya toplulukları belirlemek ve bunların birbirleriyle ve ağın tamamının yapısıyla olan ilişkilerini anlamak için kullanılabilir.

Hiyerarşik Kümeleme Algoritması

Bu bölümde üç ana kavrama bakacağız: Hiyerarşik algoritmanın adımları, hiyerarşik kümelemenin iki türünün (birleştirici ve bölücü) öne çıkarılması ve son olarak doğru uzaklık ölçüsünü seçmeye yönelik bazı teknikler.

Hiyerarşik kümeleme algoritmasında yer alan adımlar

Hiyerarşik kümeleme algoritması, kümeler üretmek için uzaklık ölçülerini kullanır. Bu üretim süreci aşağıdaki ana adımları içerir: 

Eksik verileri kaldırarak ve veriyi mümkün olduğunca temiz hale getirecek ek görevleri uygulayarak veriyi ön işleyin. Bu adım, makine öğrenmesi görevlerinin çoğu için daha genel bir adımdır. 

1. Öklidyen mesafe, Manhattan mesafesi veya kosinüs benzerliği gibi belirli bir uzaklık metriğini kullanarak her bir veri noktası çifti arasındaki mesafeyi içeren uzaklık matrisini hesaplayın. Varsayılan uzaklık metriği Öklidyen’dir.

2. Mesafe açısından birbirine en yakın iki kümeyi birleştirin. 

3. Yeni kümelere göre uzaklık matrisini güncelleyin.  

4. Tüm kümeler tek bir küme oluşturacak şekilde birleşene kadar 1, 2 ve 3. adımları tekrarlayın. 

Hiyerarşik kümeleme örnekleri 

Birleştirici ve bölücü kümelemeyi birbirinin yansıması olarak düşünebiliriz. Her birinin nasıl çalıştığını, bir hiyerarşik kümeleme örneği ve grafik görselleştirmeyle birlikte daha yakından inceleyelim. 

Birleştirici hiyerarşik kümeleme

İlk senaryo, yukarıda açıklanan yaklaşıma karşılık gelir. Her gözlemi tek başına bir küme (yalnızca bir veri noktasından oluşan küme) olarak ele alarak başlar. Ardından yalnızca tek bir küme elde edene kadar kümeleri yinelemeli olarak birleştirir. Bu sürece aşağıdan yukarıya yaklaşım da denir. 

Aşağıdaki görselde gösterildiği gibi: 

• Her hayvanı kendine ait benzersiz bir küme olarak ele alarak başlarız.  
• Daha sonra bu benzersiz hayvanlardan benzerliklerine göre üç farklı küme oluştururuz: 
• Kuşlar: Kartal ve Tavuskuşu
• Memeliler:  Aslan ve Ayı
• Üçten fazla bacaklı hayvanlar: Örümcek ve Akrep.
• Kuşlar ve Memeliler gibi en benzer iki kümeyi birleştirerek Omurgalılar kümesini oluşturmak için birleştirme sürecini tekrar ederiz.
• Bu adımdan sonra kalan iki küme, Omurgalılar ve Üçten fazla bacak, tek bir Hayvanlar kümesi oluşturmak üzere birleştirilir. 

Birleştirici Kümeleme Yaklaşımının Dendrogramı

Bölücü kümeleme

Öte yandan bölücü kümeleme, tüm veri noktalarını tek bir küme olarak ele alarak başladığı için yukarıdan aşağıya doğrudur. Ardından tüm veri noktaları benzersiz olana kadar bunları ayırır.

Bu bölücü yaklaşım görselinden: 

• Tüm hayvan veri kümesinin tek bir blok olarak ele alındığını görürüz. 
• Daha sonra o blok, Omurgalılar ve 3’ten fazla bacaklılar şeklinde iki kümeye ayrılır. 
• Ayrıştırma işlemi, benzersiz hayvanlar elde edene kadar daha önce oluşturulan kümelere yinelemeli olarak uygulanır. 

Bölücü Kümeleme Yaklaşımının Dendrogramı

Doğru uzaklık ölçüsünün seçimi

Uzaklık ölçüsü seçiminiz kümelemede kritik bir adımdır ve çözmeye çalıştığınız probleme bağlıdır. Aşağıdaki senaryoyu düşünürsek, öğrencileri şu gibi çok sayıda yaklaşıma göre kümeleyebiliriz: 

• Geldikleri ülke
• Cinsiyet, erkek veya kadın
• Önceki akademik geçmişleri.

Bunların hepsi geçerli kümelerdir ancak anlam bakımından farklıdır. 

Öklidyen mesafe çoğu kümeleme yazılımında en yaygın kullanılan mesafe olsa da Manhattan mesafesi, Canberra mesafesi, Pearson veya Spearman korelasyonu ve Minkowski mesafesi gibi diğer ölçüler de vardır.

Kümeleri birleştirmeden önce nasıl ölçersiniz

Önceden bahsedilen mesafeler öğelerle ilgilidir. Bu bölümde, kümeleri birleştirmeden önce en yakın küme çiftini ölçmek için üç standart yolu (tükenmez değil) ele alacağız: (1) Tek bağ, (2) Tam bağ ve (3) Ortalama bağ. 

Tek bağ

İki küme C1 ve C2 içindeki öğeler arasındaki tüm ikili mesafelerden, tek bağ, kümeler arası mesafe olarak minimum mesafeyi alır. 

Mesafe (C1, C2) = Min { d(i, j), burada i öğesi C1 içinde ve j öğesi C2 içindedir}

İki kümeden gelen tüm öğe çiftleri arasında, yeşil ile vurgulananlar en küçük mesafeye sahiptir. 

Tek bağ görseli

Tam bağ

İki küme C1 ve C2 içindeki öğeler arasındaki tüm ikili mesafelerden, tam bağ, kümeler arası mesafe olarak maksimum mesafeyi alır. 

Mesafe (C1, C2) = Max { d(i, j), burada i öğesi C1 içinde ve j öğesi C2 içindedir}

İki kümeden gelen tüm öğe çiftleri arasında, yeşil ile vurgulananlar en büyük mesafeye sahiptir.

Tam bağ görseli

Ortalama bağ

Ortalama bağ kümelemede, iki küme C1 ve C2 arasındaki mesafe, iki kümedeki tüm öğe çiftleri arasındaki mesafelerin ortalamasına karşılık gelir.

Mesafe (C1, C2) = Toplam{ d(i, j) } / Toplam Mesafe Sayısı

Ortalama bağ görseli

​Ardından ortalama bağ kümeleme şu şekilde gerçekleştirilir 

d(a,j) + d(a,h) + d(a,n) + d(d,j) + d(d,h) + d(d,n)  

—-----------------------------------------------------------, burada Toplam mesafe sayısı = 6

  Toplam mesafe sayısı

Python’da Hiyerarşik Kümelemenin Uygulanması

Artık hiyerarşik kümelemenin nasıl çalıştığına dair bir anlayışa sahipsiniz. Bu bölümde Python kullanarak teknik uygulamaya odaklanacağız.

Uygulamayı R programlama diliyle yapmayı tercih ediyorsanız, R ile Hiyerarşik Kümeleme eğitimimiz başlangıç noktasıdır.

Ortamın hazırlanması 

Başlamak için bilgisayarınızda Python’ın yüklü olması ve aşağıdaki kütüphanelerin bulunması gerekir:

• Veri çerçevesini yüklemek için Pandas. 
• Veri normalleştirmeyi gerçekleştirmek için Scikit-learn.
• Görselleştirme amacıyla Seaborn ve matplotlib.
• Kümelemeyi uygulamak için Scipy.

Bu kütüphaneleri Python paket yöneticisi pip ile şu şekilde kurabilirsiniz:

pip install scikit-learn
pip install pandas

pip install matplotlib seaborn

pip install scipy

Sırada gerekli modülleri içe aktaralım ve veri kümesini yükleyelim. Farklı iris çiçeği türleri hakkında bilgi içeren scikit-learn’ün yerleşik iris veri kümesini kullanacağız.

Vaka kullanımını daha iyi göstermek için, DataLab’de bulunan Loan Data’yı kullanacağız. Bu eğitimdeki kodların tamamı bu DataLab çalışma kitabında mevcuttur; tarayıcıda kodu çalıştırmak için kendi kopyanızı kolayca oluşturabilir, bilgisayarınıza herhangi bir yazılım kurmadan ilerleyebilirsiniz.

Veriyi anlama

Veri kümesi; kredi yapısı, borçlu ve kredinin tam olarak geri ödenip ödenmediğine dair bilgilerle birlikte 9.500 krediden oluşmaktadır. Gözetimsiz yaklaşımı sağlamak için not.fully.paid hedef sütununu kaldıracağız.

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

Verinin ilk beş satırı

Aşağıdaki komut, verilerin 9.578 satıra ve 14 sütuna sahip olduğunu; bunların sayısal tipte olduğunu, amaç (purpose) sütununun ise nesne tipinde olup kredinin amacına ilişkin metinsel açıklama verdiğini gösterir. 

loan_data.info()

Veri hakkında bilgi

Verinin ön işlenmesi 

Kümelemeyi uygulamadan önce, eksik bilgilerle başa çıkmak, sütun değerlerini normalleştirmek ve ilgisiz sütunları kaldırmak için verinin ön işlenmesi gerekir.

Eksik değerlerle başa çıkma

Aşağıdaki çıktıya göre, veride eksik değer olmadığını görüyoruz.

percent_missing =round(100*(loan_data.isnull().sum())/len(loan_data),2)
percent_missing

Verideki eksik değer yüzdesi

İstenmeyen sütunları kaldırma

Kredi verilerini aşağıdaki sütunlar hariç tüm sütunları kullanarak analiz edeceğiz: 

• Purpose
• Not.fully.paid, çünkü borçlunun tam ödeme yapıp yapmadığını söyleyen etikettir.

cleaned_data, yukarıdaki sütunları çıkarmış verilere karşılık gelir. 

cleaned_data = loan_data.drop(['purpose', 'not.fully.paid'], axis=1)
cleaned_data.info()

Aşağıdaki görsel, yeni verilerin bilgisini göstermektedir.

İstenmeyen sütunlar olmadan yeni veri

Aykırı değer analizi

Hiyerarşik kümelemenin zayıf yönlerinden biri, aykırı değerlere duyarlı olmasıdır.  Her bir değişkenin dağılımı kutu grafikleriyle (boxplot) verilir. 

def show_boxplot(df):
plt.rcParams['figure.figsize'] = [14,6]
sns.boxplot(data = df, orient="v")
plt.title("Outliers Distribution", fontsize = 16)
plt.ylabel("Range", fontweight = 'bold')
plt.xlabel("Attributes", fontweight = 'bold')
   
show_boxplot(cleaned_data)

Verideki tüm değişkenlerin kutu grafiği

Borçlunun devir bakiyesi (revol_bal), diğerlerinden çok uzakta kalan veri noktalarına sahip tek özniteliktir. 

Çeyrekler arası aralık yaklaşımını kullanarak, IQR (InterQuartile Range) Çeyrekler arası Aralık olmak üzere, çeyrekler +/- 1,5 × IQR ile tanımlanan aralığın dışına düşen tüm bu noktaları kaldırabiliriz. 

Bu, aşağıdaki yardımcı fonksiyonla gerçekleştirilir. 

def remove_outliers(data):
   
df = data.copy()
   
for col in list(df.columns):
 
      Q1 = df[str(col)].quantile(0.05)
      Q3 = df[str(col)].quantile(0.95)
      IQR = Q3 - Q1
      lower_bound = Q1 - 1.5*IQR
      upper_bound = Q3 + 1.5*IQR
 
      df = df[(df[str(col)] >= lower_bound) & 

        (df[str(col)] <= upper_bound)]
   
return df

Ardından fonksiyonu veri setine uygulayabiliriz. 

without_outliers = remove_outliers(cleaned_data)

Şimdi yeni kutu grafiğini kontrol edip aykırı değerlerin kaldırılmasından öncekiyle karşılaştırabiliriz. 

show_boxplot(without_outliers)

Artık çeyrekler arası aralığın dışında kalan veri noktası yok.

without_outliers.shape

Verinin şekli artık 9.319 satır ve 12 sütun. Bu, 259 gözlemin aykırı değer olduğu ve kaldırıldığı anlamına gelir. 

Veriyi yeniden ölçeklendirme

Hiyerarşik kümeleme, farklı ölçeklere sahip değişkenlerle çalışmaya oldukça duyarlı olan Öklidyen mesafeyi kullandığından, mesafeyi hesaplamadan önce tüm değişkenleri yeniden ölçeklendirmek akıllıca olacaktır. 

Bu, sklearn’ün StandardScaler sınıfı kullanılarak yapılır. 

from sklearn.preprocessing import StandardScaler

data_scaler = StandardScaler()

scaled_data = data_scaler.fit_transform(without_outliers)
scaled_data.shape

Normalleştirme verinin şeklini etkilemediğinden, verinin şekli aynı kalır (9.319 satır, 12 sütun). 

Hiyerarşik kümeleme algoritmasını uygulama 

Tüm gereksinimler karşılandığına göre kümeleme algoritmasının uygulanmasına derinlemesine dalabiliriz. 

Bu noktada, linkage() yönteminin method özniteliğinde kümeleme için hangi bağ yaklaşımını benimsediğimize karar verebiliriz. Bu bölümde, Öklidyen mesafeyi kullanarak üç bağ tekniğinin tamamını ele alacağız. 

İlgili kütüphaneler içe aktarıldıktan sonra aşağıdaki kodlarla bu gerçekleştirilir.

from scipy.cluster.hierarchy import linkage, dendrogram

complete_clustering = linkage(scaled_data, method="complete", metric="euclidean")
average_clustering = linkage(scaled_data, method="average", metric="euclidean")
single_clustering = linkage(scaled_data, method="single", metric="euclidean")

Üç kümelemenin tamamını hesapladıktan sonra, karşılık gelen dendrogramlar aşağıdaki gibi gösterilir; tam bağ kümelemeden başlayarak  

dendrogram(complete_clustering)
plt.show()

Tam bağ kümeleme yaklaşımının dendrogramı

dendrogram(average_clustering)
plt.show()

Ortalama bağ kümeleme yaklaşımının dendrogramı

dendrogram(single_clustering)
plt.show()

Tek bağ kümeleme yaklaşımının dendrogramı

Sonuçların yorumlanması (dendrogramı görselleştirme, küme sayısını belirleme)

Her bir bağ yaklaşımı için dendrogramın nasıl inşa edildiğini ve her veri noktasının tek bir kümede sonlandığını görebiliriz. 

• Dendrogramın x ekseni, verideki örnekleri temsil eder.
• Y ekseni, bu örnekler arasındaki mesafeyi temsil eder. Çizgi ne kadar yüksekse, bu örnekler/kümeler o kadar farklıdır.
• Uygun küme sayısını, en yüksek dikey çizgiyi kesecek şekilde yatay bir çizgi çizerek elde ederiz ve kesişim sayısı küme sayısına karşılık gelir. 

En uygun küme sayısı, diğer kümelerle (yatay çizgi) kesişmeyen en yüksek dikey çizgi belirlenerek elde edilebilir. Böyle bir çizgi aşağıda kırmızı daire ve yeşil onay işareti ile gösterilmiştir.   

• Tam bağ için, sağdaki mavi çizgidir ve üç küme üretir. 

Kesişme olmadan en yüksek mesafeden optimal küme sayısı (tam bağ)

• Ortalama bağ için, ilk mavi dikey çizgidir ve iki küme üretir.

Kesişme olmadan en yüksek mesafeden optimal küme sayısı (ortalama bağ)

• Tek bağ için, ilk dikey çizgidir ve yalnızca bir küme üretir. 

Kesişme olmadan en yüksek mesafeden optimal küme sayısı (tek bağ)

Yukarıdaki gözlemlerden, ortalama bağın en iyi kümelemeyi sağlıyor gibi göründüğü; tek ve tam bağın ise sırasıyla bir küme ve üç kümeyi önermesiyle tezat oluşturduğu anlaşılıyor. Ayrıca iki olan optimal küme sayısı, veri kümesi hakkındaki ön bilgimiz olan iki tür borçluya karşılık gelmektedir. 

Artık optimal küme sayısını bulduğumuza göre, bu kümelerin borçlunun kredi notuna göre ne anlama geldiğine bakalım.

cluster_labels = cut_tree(average_clustering, n_clusters=2).reshape(-1, )
without_outliers["Cluster"] = cluster_labels

sns.boxplot(x='Cluster', y='fico', data=without_outliers)

Yukarıdaki kutu grafiğinden şunları gözlemleyebiliriz: 

• 0. kümedeki borçluların kredi notları daha yüksektir.  
• 1. kümedeki borçluların ise kredi notları daha düşüktür.

Python’da Küme Analizi, Scipy kütüphanesini kullanarak K-means ve hiyerarşik kümelemeye derinlemesine dalmak için iyi bir sonraki adım olabilir. 

Sonuç

Bu makalede hiyerarşik külemenin ne olduğu, faydaları ve zayıf yönleri ile k-means ve model tabanlı kümeleme ile nasıl karşılaştırıldığı ele alındı. 

Makalenin, etiketlenmemiş verilerinizi eyleme dönük kararlar için verimli bir şekilde kümelenmeniz adına size ilgili becerileri kazandırmasını umuyoruz.