Makine Öğreniminde Kümeleme: 5 Temel Kümeleme Algoritması

Kümelemenin kendisi belirli bir algoritma değil, çözülmesi gereken genel bir görevdir. Bu hedefe, bir kümenin ne olduğuna ve onu nasıl verimli bulacağına dair anlayışları önemli ölçüde farklılık gösteren çeşitli algoritmalarla ulaşabilirsiniz. 

Kümelemenin arkasındaki sezgiyi oluşturma

Algoritmik ayrıntılara dalmadan önce, meyve veri kümelerinden oluşan basit bir örnekle kümelemenin arkasındaki sezgiyi oluşturalım. Diyelim ki üç meyve içeren büyük bir görüntü veri kümesi koleksiyonumuz var: (i) çilek, (ii) armut ve (iii) elma. 

Veri kümesinde tüm görüntüler karışık halde ve kullanım durumunuz benzer meyveleri birlikte gruplamak, yani her biri tek bir meyve türünü içerecek şekilde üç grup oluşturmaktır. Bir kümeleme algoritması tam olarak bunu yapar. 

Kümeleme analizinde başarı için temel ölçütler

Kümeleme, sınıflandırma veya regresyon gibi denetimli öğrenme kullanım durumlarının aksine, uçtan uca tamamen otomatikleştirilemez. Bunun yerine, istenen sonuca ulaşmak için verilere ve model parametrelerine sıklıkla ayarlamalar yapılan, alan uzmanlığı ve insan yargısı gerektiren yinelemeli bir bilgi keşfi sürecidir. 

En önemlisi, kümeleme denetimsiz öğrenme olduğundan ve etiketli verileri kullanmadığından, farklı algoritmaları veya veri ön işleme tekniklerini karşılaştırmak için doğruluk, AUC, RMSE vb. performans metriklerini hesaplayamayız. Bu nedenle, kümeleme modellerinin performansını değerlendirmek gerçekten zorlu ve öznel hale gelir. 

Kümeleme modellerinde başarının temel ölçütleri şunların etrafında döner:

• Yorumlanabilir mi?
• Kümelemenin çıktısı iş açısından faydalı mı?
• Kümeleme öncesinde farkında olmadığınız yeni bilgiler öğrendiniz mi veya veride yeni örüntüler keşfettiniz mi?

Kümeleme kalitesini ölçme

Etiketli veri olmadan doğruluk veya AUC hesaplayamazsınız. Kümelerinizin ne kadar iyi ayrıldığını nicelleştirmeye yardımcı olan iki metrik vardır. Yaygın iki ölçüm:

• Silhouette Skoru, bir noktanın kendi kümesine komşu en yakın kümeye kıyasla ne kadar benzer olduğunu ölçer. -1 ile 1 arasında değişir; 0,5’in üzerindeki skorlar iyi ayrılmış kümeleri ima eder.
• Davies-Bouldin İndeksi, her küme ile en benzer kümesi arasındaki ortalama benzerliği ölçer — daha düşük daha iyidir.

Her ikisi de scikit-learn’de mevcuttur: sklearn.metrics.silhouette_score(X, labels) ve sklearn.metrics.davies_bouldin_score(X, labels).

1. K-Means

K-Means, adımların takip edilmesi kolay olduğu ve scikit-learn uygulaması sade olduğu için kümeleme görevlerinde en yaygın kullanılan algoritmadır. Kullanıcının oluşturmak istediği küme sayısını tanımlaması gereken, merkez temelli bir algoritmadır. 

Bu sayı genellikle bir iş kullanım durumundan gelir veya farklı küme sayıları denenip çıktı değerlendirilerek belirlenir. 

K-Means kümeleme, bir yinelemeli algoritmadır ve çakışmayan kümeler oluşturur; yani veri kümenizdeki her gözlem yalnızca tek bir kümeye ait olabilir. K-Means algoritmasının sezgisini edinmenin en kolay yolu, aşağıdaki örnek diyagramla birlikte adımları anlamaktır. Sürecin ayrıntılı açıklamasını ayrıca Python’da K-Means Kümeleme ve R’da K-Means Kümeleme eğitimlerimizde bulabilirsiniz. 

1. Kullanıcı küme sayısını belirtir.
2. Küme sayısına göre merkezler rastgele başlatılır. Aşağıdaki diyagramda, 1. Yinelemede üç merkezin mavi, kırmızı ve yeşil olarak rastgele başlatıldığını fark edin.
3. Veri noktaları ile her bir merkez arasındaki mesafe hesaplanır ve her nokta en yakın merkeze atanır.
4. Merkezlerin ortalaması, atanan tüm veri noktalarına göre yeniden hesaplanır; bu da, 2 - 9. yinelemelerde görüldüğü gibi konumlarının değişmesine yol açar ve nihayetinde yakınsar.
5. Yineleme, merkezin ortalamasında değişim kalmayana veya eğitim sırasında kullanıcı tarafından tanımlanan azami yineleme sayısı olan max_iter parametresine ulaşılana kadar sürer. scikit-learn’de varsayılan max_iter değeri 300’dür.

Görsel Kaynağı: Learnbymarketing.com

2. MeanShift

K-Means algoritmasının aksine MeanShift algoritması, küme sayısını belirtmeyi gerektirmez. Algoritmanın kendisi küme sayısını otomatik olarak belirler; veri kümenizde kaç küme olduğunu bilmediğinizde bu, K-Means’e göre açık bir avantajdır. 

MeanShift de merkezlere dayanır ve her bir veri noktasını yineli olarak kümelere atar. MeanShift kümelemenin en yaygın kullanım durumu görüntü bölümlemedir.

MeanShift algoritması çekirdek yoğunluk kestirimine dayanır. K-Means algoritmasına benzer şekilde MeanShift, rastgele başlatılan küme merkezlerine her bir veri noktasını yinelemeli olarak en yakın olana doğru taşır ve her nokta, en çok noktanın bulunduğu yöne, yani Moda (MeanShift bağlamında, bölgedeki veri noktalarının en yüksek yoğunluğu) göre uzayda yinelemeli olarak hareket ettirilir. 

Bu nedenle MeanShift algoritması, Mod arayan algoritma olarak da bilinir. MeanShift algoritmasının adımları şöyledir:

• Rastgele bir nokta seçin ve bu noktanın etrafında bir pencere oluşturun.
• Bu pencere içindeki tüm noktaların ortalamasını hesaplayın.
• Pencereyi modun yönünü izleyerek kaydırın. 
• Yakınsamaya kadar adımları tekrarlayın.

Görsel Kaynağı: ResearchGate

Uygulamada MeanShift için adım adım bir yürüyüş görmek üzere Mean Shift Kümeleme eğitimimize bakın.

3. DBSCAN

DBSCAN, yani Density-Based Spatial Clustering of Applications with Noise, düşük yoğunluklu bölgelerle ayrılmış yoğun bölgelerin kümeleri oluşturduğu varsayımına dayanan bir denetimsiz kümeleme algoritmasıdır. 

Bu algoritmanın K-Means ve MeanShift’e göre en büyük avantajı aykırı değerlere karşı sağlam olmasıdır; yani aykırı veri noktalarını hiçbir kümeye dahil etmez. 

DBSCAN algoritmaları kullanıcıdan yalnızca iki parametre ister: 

• Her bir veri noktasının çevresinde oluşturulacak dairenin yarıçapı; epsilon olarak da bilinir

• Bir veri noktasının Çekirdek (Core) nokta olarak sınıflandırılması için o dairenin içinde bulunması gereken asgari veri noktası sayısını tanımlayan minPoints.

Her veri noktası epsilon yarıçaplı bir daire ile çevrelenir ve DBSCAN bunları Çekirdek nokta, Sınır (Border) nokta veya Gürültü (Noise) nokta olarak tanımlar. Etrafındaki daire, minPoints parametresinin belirlediği asgari sayıda nokta içeriyorsa, veri noktası Çekirdek nokta kabul edilir. 

Gerekli asgari sayının altında kalırsa Sınır Noktası sayılır; herhangi bir veri noktasının epsilon yarıçapı içinde başka veri noktası yoksa Gürültü kabul edilir. Gürültü veri noktaları hiçbir kümeye kategorize edilmez (özünde aykırı değerlerdir).

DBSCAN kümeleme algoritmasının yaygın kullanım durumlarından bazıları şunlardır:

• Yüksek yoğunluklu ile düşük yoğunluklu kümeleri ayırmada çok başarılıdır;
• Doğrusal olmayan veri kümelerinde iyi çalışır ve
• anomali tespitinde kullanılabilir; zira gürültü noktalarını ayırır ve bunları hiçbir kümeye atamaz.

DBSCAN ve K-Means

DBSCAN ile K-Means algoritmalarını karşılaştırdığımızda en yaygın farklar şunlardır: 

• K-Means algoritması veri kümesindeki tüm gözlemleri kümelerken, DBSCAN gürültü noktalarını (aykırı değerleri) geçerli bir kümeye atamaz
• K-Means, küresel olmayan kümelerde zorlanırken DBSCAN bunu sorunsuzca ele alır
• K-Means, veri kümesindeki tüm noktaların Gauss dağılımından geldiğini varsayar; DBSCAN veriye dair bir varsayımda bulunmaz.

Parametre ayarlamayı ve uygulamalı örnekleri kapsayan DBSCAN kümeleme algoritması rehberimizde daha fazla bilgi edinebilirsiniz. 

Görsel Kaynağı: Medium

4. Hiyerarşik Kümeleme

Hiyerarşik kümeleme, kümelerden bir hiyerarşi oluşturan bir kümeleme yöntemidir. Bu yöntemin iki türü vardır. 

• Birleştirici (Agglomerative): Bu, tabandan tavana yaklaşımdır; başlangıçta her gözlem kendi kümesi olarak kabul edilir ve aşağıdan yukarıya çıktıkça gözlemler ikili olarak birleştirilir, ikililer kümelere birleştirilir. 
• Bölücü (Divisive): Bu, “yukarıdan aşağıya” yaklaşımdır: tüm gözlemler tek bir kümede başlar ve yukarıdan aşağı doğru ilerledikçe yinelemeli olarak bölünür.

Sosyal ağlardan gelen verileri analiz etmeye gelince, hiyerarşik kümeleme açık ara en yaygın ve popüler kümeleme yöntemidir. Grafikteki düğümler (dallar), aralarındaki benzerlik derecesine göre birbirleriyle karşılaştırılır. Birbiriyle ilişkili daha küçük düğüm grupları bir araya getirilerek daha büyük gruplar oluşturulabilir.

Hiyerarşik kümelemenin en büyük avantajı anlaşılmasının ve uygulanmasının kolay olmasıdır. Genellikle bu yöntemin çıktısı aşağıdaki gibi bir görselde analiz edilir. Buna Dendrogram denir.

Dendrogramları Python’da oluşturup okumayı adım adım anlatan hiyerarşik kümeleme eğitimimizde daha fazla bilgi edinebilirsiniz. 

Görsel Kaynağı: ResearchGate

5. BIRCH

BIRCH, Balanced Iterative Hierarchical Based Clustering ifadesinin kısaltmasıdır. K-Means’in pratikte ölçeklenemediği çok büyük veri kümelerinde kullanılır. BIRCH algoritması büyük veriyi küçük kümelere böler ve mümkün olan en fazla bilgiyi korumaya çalışır. Büyük veri kümelerini doğrudan kümemek yerine daha küçük gruplar son aşamada kümelenir. 

BIRCH genellikle diğer kümeleme algoritmalarını desteklemek için, onların kullanabileceği bilgi özetleri üretmek amacıyla kullanılır. Kullanıcıların, tıpkı K-Means’de olduğu gibi BIRCH algoritmasını eğitirken küme sayısını tanımlaması gerekir.

BIRCH kullanmanın faydalarından biri, çok boyutlu veri noktalarını kademeli ve dinamik olarak kümeyebilmesidir. Bu, belirli bir bellek ve zaman kısıtı altında en yüksek kaliteli kümeleri oluşturmak için yapılır. Çoğu durumda BIRCH, veritabanı üzerinde yalnızca tek bir tarama yapmak zorundadır; bu da BIRCH’i ölçeklenebilir kılar. 

BIRCH kümeleme algoritmasının en yaygın kullanım durumu, bellek veya hesaplama kısıtları nedeniyle K-Means ile işlenemeyen büyük veri kümelerini kümemek için K-Means’e bellek açısından verimli bir alternatiftir.

Kümelenmenin İş Uygulamaları

Kümeleme; medya, sağlık, üretim, perakende ve büyük miktarda etiketlenmemiş verinin bulunduğu her yerde geniş uygulamalara sahiptir. İşte bazı pratik örnekler.

Müşteri Bölümlendirme

Müşteriler, hedefli pazarlama kampanyaları geliştirmek amacıyla satın alma davranışlarına veya ilgi alanlarına göre kümeleme algoritmalarıyla kategorize edilir. 

10 milyon müşteriniz olduğunu ve kişiselleştirilmiş veya odaklı pazarlama kampanyaları geliştirmek istediğinizi düşünün. 10 milyon farklı kampanya geliştirmeniz pek olası değildir; peki ne yaparız? 10 milyon müşteriyi kümeleme ile 25 kümeye ayırabilir ve 10 milyon yerine 25 pazarlama kampanyası tasarlayabiliriz.

Görsel Kaynağı: Medium

Perakende Kümelemesi

Perakende işletmelerinde kümeleme için pek çok fırsat vardır. Örneğin, her mağaza için veri toplayabilir ve mağaza düzeyinde kümeleme yaparak; yaya trafiği, ortalama mağaza satışları, SKU sayısı gibi özelliklere göre hangi lokasyonların birbirine benzediğini söyleyen içgörüler üretebilirsiniz. 

Bir diğer örnek, kategori düzeyinde kümeleme olabilir. Aşağıdaki diyagramda sekiz mağaza var. Farklı renkler farklı kümeleri temsil ediyor. Bu örnekte dört küme bulunuyor. 

Dikkat ederseniz, 1. Mağaza’daki deodorant kategorisi kırmızı küme ile, 2. Mağaza’daki deodorant kategorisi ise mavi küme ile temsil edilmiştir. Bu, deodorant kategorisi için 1. ve 2. Mağaza’nın tamamen farklı hedef pazarlara sahip olduğunu gösterir.

Görsel kaynağı: dotactiv.com

Klinik Bakım / Hastalık Yönetiminde Kümeleme

Sağlık ve klinik bilimler, özellikle güçlü kümeleme uygulamaları sunar. Örnek olarak Komaru & Yoshida ve ark. 2020 tarafından yayımlanan çalışmada, 101 hastanın demografik ve laboratuvar verileri toplanmış ve 3 kümeye ayrılmıştır. 

Her küme farklı durumlarla temsil edilmiştir. Örneğin, küme 1’de Düşük WBC & CRP olan hastalar vardır. Küme 2’de Yüksek BMP & Serum, Küme 3’te ise Düşük Serum vardır. Her bir küme, hemodiyaliz sonrası 1 yıllık mortaliteye göre farklı bir sağkalım eğilimi temsil etmektedir.

Görsel kaynağı: elsevierhealth.com

Görüntü Bölümleme

Görüntü bölümleme, bir görüntünün farklı gruplara sınıflandırılmasıdır. Kümeleme kullanılarak görüntü bölümleme alanında çok sayıda araştırma yapılmıştır. Bu tür kümeleme, bir görüntüdeki nesneleri izole edip her birini tek tek analiz ederek ne olduklarını kontrol etmek istediğinizde faydalıdır. 

Aşağıdaki örnekte, sol taraf orijinal görüntüyü, sağ taraf ise kümeleme algoritmasının sonucunu temsil eder. Piksellere göre belirlenen 4 kümenin, yani görüntüdeki 4 farklı nesnenin (kaplan, çim, su ve kum) açıkça görüldüğünü fark edebilirsiniz.

Kümeleme Algoritmalarının Karşılaştırılması

Python’daki popüler makine öğrenimi kütüphanesi scikit-learn içinde 10 denetimsiz kümeleme algoritması uygulanmıştır. Her algoritmanın veri kümesinde kümeleri belirleme ve atama biçiminde temel farklılıklar vardır. 

Bu algoritmaların alttaki matematiksel yapısındaki farklılıklar, onları dört başlıkta karşılaştırıp ayırt etmemize indirgenir:

• Model için gereken parametreler 
• Ölçeklenebilirlik 
• Kullanım durumları, 
• Geometri, yani mesafe hesaplamasında kullanılan metrik. 

Aşağıdaki diyagramda her sütun, K-Means, Affinity Propagation, MeanShift vb. farklı bir kümeleme algoritmasının çıktısını temsil eder. Aynı veri kümesi üzerinde eğitilmiş toplam 10 algoritma vardır.

Bazı algoritmalar aynı çıktıyı üretmiştir. Birleştirici Kümeleme, DBSCAN, OPTICS ve Spektral Kümelemenin aynı kümeleri verdiğine dikkat edin. 

Bununla birlikte, K-Means çıktısını MeanShift çıktısıyla karşılaştırırsanız, iki algoritmanın farklı sonuçlar ürettiğini görürsünüz. K-Means durumunda yalnızca iki grup (mavi ve turuncu kümeler) varken, MeanShift durumunda üç grup vardır: mavi, yeşil ve turuncu. 

Görsel Kaynağı: scikit-learn

Ne yazık ki (ya da ne mutlu ki) Kümelemede doğru ya da yanlış bir cevap yoktur. “Burada X Algoritması en iyi performansı gösteriyor.” gibi bir ifade kurmak bu kadar basit olsaydı. 

Bu mümkün değildir ve bu nedenle kümelemenin çok zorlayıcı bir görev olmasının sebebi budur. 

Nihayetinde hangi algoritmanın daha iyi çalıştığı, kolayca ölçülebilir bir metrikten ziyade yoruma ve eldeki kullanım durumu için çıktının ne kadar faydalı olduğuna bağlıdır.

Doğru Kümeleme Algoritması Nasıl Seçilir

Her algoritma farklı veri koşullarına uygundur. Bunu bir başlangıç noktası olarak kullanın; ardından karar vermeden önce gerçek veriniz üzerinde en az iki algoritmayı test edin.

Pratik bir başlangıç: Hız için önce K-Means’i deneyin; veriniz düzensiz şekillere veya aykırı değerlere sahipse DBSCAN’e geçin; k seçmeden önce küme yapısını bir dendrogram üzerinden görsel olarak keşfetmek istediğinizde Hiyerarşik kümelemeyi kullanın.

Son düşünceler

Kümeleme, iki nedenle sınıflandırma ve regresyon gibi denetimli tekniklere kıyasla uygulaması daha zordur: Etiketli hedeflere karşı performansı ölçemezsiniz ve küme sayısı gibi parametreler algoritmik seçimden ziyade alan yargısı gerektirir. 

Kümeleme; veri bilimciler, ML mühendisleri ve analistler için değerli bir beceridir; bu rollerin tümü kümelemenin çözebileceği sorunlarla karşılaşır. 

Kümeleme ve denetimsiz makine öğrenimi hakkında daha fazla bilgi edinmek ve Python ile R dillerinde uygulamasını öğrenmek isterseniz, aşağıdaki kurslar ilerleme kaydetmenize yardımcı olabilir: 

• Python’da Küme Analizi
• R’da Küme Analizi
• Python’da Denetimsiz Öğrenme
• R’da Denetimsiz Öğrenme