t-SNE’ye Giriş

t-SNE ve PCA

Hem t-SNE hem de PCA, farklı mekanizmalara sahip boyut indirgeme teknikleridir ve farklı veri türlerinde en iyi şekilde çalışırlar.

PCA (Temel Bileşenler Analizi), doğrusal yapıya sahip verilerde en iyi sonuç veren doğrusal bir tekniktir. Veriyi daha düşük boyutlara yansıtarak altta yatan temel bileşenleri belirlemeye çalışır; varyansı en aza indirir ve büyük ikili uzaklıkları korur. Algoritmaların iç işleyişini R örnekleriyle anlamak için Principal Component Analysis (PCA) eğitimimizi okuyun. 

Buna karşılık, t-SNE doğrusal olmayan bir tekniktir ve düşük boyutlu bir uzayda veri noktaları arasındaki ikili benzerlikleri korumaya odaklanır. t-SNE küçük ikili uzaklıkları korumakla ilgilenirken, PCA varyansı maksimize etmek için büyük ikili uzaklıkları korumaya odaklanır.

Özetle, PCA verideki varyansı korur. Buna karşın t-SNE, veri noktaları arasındaki ilişkileri düşük boyutlu bir uzayda korur; bu da onu karmaşık, yüksek boyutlu verileri görselleştirmek için oldukça iyi bir algoritma yapar.

Aşağıdaki tablo, t-SNE ve PCA’yı yan yana karşılaştırmanıza yardımcı olabilir: 

t-SNE Nasıl Çalışır

t-SNE algoritması, yüksek ve düşük boyutlu uzayda örnek çiftleri arasındaki benzerlik ölçüsünü bulur. Ardından iki benzerlik ölçüsünü optimize etmeye çalışır. Tüm bunları üç adımda yapar. 

1. t-SNE, hem yüksek hem de düşük boyutlarda bir noktanın başka bir noktanın komşusu olarak seçilmesini modellemeyi amaçlar. Yüksek boyutlu uzayda tüm veri noktaları arasındaki ikili benzerliği bir Gauss çekirdeği kullanarak hesaplayarak başlar. Birbirinden uzak noktaların seçilme olasılığı, birbirine yakın noktalardan daha düşüktür. 
2. Ardından algoritma, ikili benzerlikleri koruyarak daha yüksek boyutlu veri noktalarını daha düşük boyutlu uzaya eşlemeye çalışır. 
3. Bu, orijinal yüksek boyutlu ve düşük boyutlu olasılık dağılımları arasındaki sapmanın en aza indirilmesiyle başarılır. Algoritma sapmayı en aza indirmek için gradyan inişi kullanır. Düşük boyutlu gömme kararlı bir duruma optimize edilir.

Optimizasyon süreci, düşük boyutlu uzayda benzer veri noktalarının küme ve alt kümeler oluşturmasına olanak tanır; bunlar, yüksek boyutlu verideki yapı ve ilişkileri anlamak için görselleştirilir. 

Python ile t-SNE Örneği

Python örneğinde, sınıflandırma verisi oluşturacak, PCA ve t-SNE uygulayacak ve sonuçları görselleştireceğiz. Boyut indirgeme için scikit-learn kullanacağız ve görselleştirme için de Plotly Express kullanacağız.

Sınıflandırma veri kümesi oluşturma

scikit-learn’ün make_classification() fonksiyonunu kullanarak 6 özellik, 1500 örnek ve 3 sınıfa sahip sentetik veri oluşturacağız. 

Ardından, verinin ilk üç özelliğini Plotly Express scatter_3d() fonksiyonunu kullanarak 3B olarak çizeceğiz. 

import plotly.express as px
from sklearn.datasets import make_classification

X, y = make_classification(
    n_features=6,
    n_classes=3,
    n_samples=1500,
    n_informative=2,
    random_state=5,
    n_clusters_per_class=1,
)


fig = px.scatter_3d(x=X[:, 0], y=X[:, 1], z=X[:, 2], color=y, opacity=0.8)
fig.show()

Verinin 3B çizimini elde ettik; ayrıca Plotly Express’in scatter() fonksiyonunu kullanarak veriyi 2B grafikte de görselleştirebilirsiniz.

PCA ile uyarlama ve dönüştürme

Şimdi, veri kümesi üzerinde PCA algoritmasını uygulayarak iki PCA bileşeni elde edeceğiz. fit_transform() veri setini aynı anda öğrenir ve dönüştürür.  

from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

Python’da t-SNE görselleştirmesi

Artık iki PCA bileşenini bir saçılma grafiğinde göstererek sonuçları görselleştirebiliriz. 

• x: Birinci bileşen
• y: İkinci bileşen
• color: hedef değişken.

update_layout() fonksiyonunu da başlık eklemek ve x ile y eksenlerini yeniden adlandırmak için kullandık.

fig = px.scatter(x=X_pca[:, 0], y=X_pca[:, 1], color=y)
fig.update_layout(
    title="PCA visualization of Custom Classification dataset",
    xaxis_title="First Principal Component",
    yaxis_title="Second Principal Component",
)
fig.show()

t-SNE’yi uyarlama ve dönüştürme

Şimdi t-SNE algoritmasını veri kümesine uygulayıp sonuçları karşılaştıracağız. 

Veriyi uyarlayıp dönüştürdükten sonra, yüksek ve düşük boyutlu olasılık dağılımları arasındaki Kullback-Leibler (KL) sapmasını göstereceğiz. Düşük KL sapması genellikle daha iyi sonuçların işaretidir.

from sklearn.manifold import TSNE

tsne = TSNE(n_components=2, random_state=42)
X_tsne = tsne.fit_transform(X)
tsne.kl_divergence_

1.1169137954711914

Python’da t-SNE görselleştirmesi

PCA’ya benzer şekilde, iki t-SNE bileşenini bir saçılma grafiğinde görselleştireceğiz. 

fig = px.scatter(x=X_tsne[:, 0], y=X_tsne[:, 1], color=y)
fig.update_layout(
    title="t-SNE visualization of Custom Classification dataset",
    xaxis_title="First t-SNE",
    yaxis_title="Second t-SNE",
)
fig.show()

Sonuç PCA’dan oldukça daha iyi. Üç büyük kümeyi açıkça görebiliyoruz. 

Müşteri Terk Veri Kümesi Üzerinde t-SNE

Bu bölümde, İranlı bir telekom şirketinin müşteri terk veri kümesini kullanacağız. Veri kümesi, çağrı başarısızlıkları ve abonelik süresi gibi müşteri etkinlikleri ile bir terk etiketi hakkında bilgiler içerir.

Terk oranı, belirli bir zaman diliminde belirli bir hizmeti kullanmayı bırakan müşterilerin yüzdesi anlamına gelir.

Not: Her iki örneğin de kod kaynağı ve veri kümesi bu DataLab çalışma kitabında mevcuttur; kodla oynamak ve çalıştırmak isterseniz bir kopya oluşturmanız yeterlidir!

Müşteri terk veri kümesini içe aktarma

Veri kümesini pandas ile yükleyip ilk üç satırı görüntüleyeceğiz.

import pandas as pd

df = pd.read_csv("data/customer_churn.csv")
df.head(3)

PCA ile boyut indirgeme

Ardından şunları yapacağız:

• Churn sütununu kullanarak özellikleri (X) ve hedefi (y) oluşturmak.
• Özellikleri standart bir ölçekleyici ile normalize etmek.
• Veri kümesini eğitim ve test kümelerine ayırmak.
• Eğitim veri kümesine PCA uygulamak.
• Test veri kümesini kullanarak skoru almak. Skor, tüm örneklerin ortalama log-olasılığını temsil eder.

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

X = df.drop('Churn', axis=1)
y = df['Churn']

scaler = StandardScaler()
X_norm = scaler.fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(
    X_norm, y, random_state=13, test_size=0.25, shuffle=True
)

pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train)

pca.score(X_test)

-17.04482851288105

PCA sonuçlarını görselleştirme

Şimdi PCA sonucunu Plotly Express saçılma grafiğiyle görselleştireceğiz. 

fig = px.scatter(x=X_train_pca[:, 0], y=X_train_pca[:, 1], color=y_train)
fig.update_layout(
    title="PCA visualization of Customer Churn dataset",
    xaxis_title="First Principal Component",
    yaxis_title="Second Principal Component",
)
fig.show()

PCA kümeler oluşturmada başarılı olmadı. Düşük boyuttaki veriler rastgele görünüyor. Bu aynı zamanda veri kümesindeki özelliklerin yüksek derecede çarpık olabileceği veya güçlü bir korelasyon yapısına sahip olmadığı anlamına da gelebilir. 

Çarpıklık (perplexity) ve sapmayı karşılaştırma

Çarpıklık, t-SNE algoritması için önemli bir hiperparametredir. Boyut indirgeme sürecinde her bir noktanın dikkate aldığı etkin komşu sayısını kontrol eder. 

5’ten 55’e, 5’er artışla çeşitli çarpıklık değerleri üzerinde KL sapması metriğini almak için bir döngü çalıştıracağız. Ardından sonucu Plotly Express çizgi grafiğiyle göstereceğiz.

import numpy as np

perplexity = np.arange(5, 55, 5)
divergence = []

for i in perplexity:
    model = TSNE(n_components=2, init="pca", perplexity=i)
    reduced = model.fit_transform(X_train)
    divergence.append(model.kl_divergence_)
fig = px.line(x=perplexity, y=divergence, markers=True)
fig.update_layout(xaxis_title="Perplexity Values", yaxis_title="Divergence")
fig.update_traces(line_color="red", line_width=1)
fig.show()

40 çarpıklık değerinden sonra KL sapması sabit hale geldi. Bu nedenle t-SNE algoritmasında 40 çarpıklık kullanacağız.  

t-SNE ile boyut indirgeme

Şimdi t-SNE’yi uyarlayıp veriyi en düşük KL sapmasını elde etmek için 40 çarpıklıkla düşük boyutlara dönüştüreceğiz. 

from sklearn.manifold import TSNE

tsne = TSNE(n_components=2,perplexity=40, random_state=42)
X_train_tsne = tsne.fit_transform(X_train)

tsne.kl_divergence_

0.258713960647583

t-SNE’yi görselleştirme

Şimdi bileşenleri ve hedef sınıfları göstermek için Plotly saçılma grafiğini kullanacağız. 

fig = px.scatter(x=X_train_tsne[:, 0], y=X_train_tsne[:, 1], color=y_train)
fig.update_layout(
    title="t-SNE visualization of Customer Churn dataset",
    xaxis_title="First t-SNE",
    yaxis_title="Second t-SNE",
)
fig.show()

Gördüğümüz gibi, birden çok küme ve alt küme var. Bu bilgiyi örüntüyü anlamak ve mevcut müşterileri elde tutma stratejisi geliştirmek için kullanabiliriz. 

t-SNE’nin Sınırlamaları ve Zorlukları

t-SNE, yüksek boyutlu veriler için güçlü bir görselleştirme aracı olsa da bazı sınırlamalarla birlikte gelir:

1. Hesaplama maliyeti: t-SNE hesaplama açısından pahalıdır, özellikle de büyük veri kümelerinde. İkili benzerlik hesaplamaları veri kümesinin boyutuyla birlikte kötü ölçeklenir; bu da milyonlarca noktaya sahip veri kümeleri için daha az uygun olmasına neden olur.
2. Hiperparametrelere duyarlılık: t-SNE’nin performansı çarpıklık ve öğrenme hızı gibi hiperparametrelere oldukça bağlıdır. En uygun değerleri bulmak çoğu zaman deneme-yanılma gerektirir ve zaman alıcı olabilir.
3. Yorumlanabilirlik eksikliği: t-SNE’de elde edilen gömmeler genellikle belirleyici değildir (rastgele başlatma ve gradyan inişi nedeniyle) ve orijinal yüksek boyutlu veriyle doğrudan yorumlanabilir bir ilişkiye sahip değildir.
4. Örnek dışı veriler için uygun değil: t-SNE, gömmeleri baştan yeniden hesaplamadan yeni, görülmemiş verilere genelleyemez; bu da dinamik veri kümeleri için verimsizdir.

t-SNE ve UMAP: Bir karşılaştırma

Son yıllarda, UMAP (Uniform Manifold Approximation and Projection), t-SNE’ye popüler bir alternatif olarak öne çıktı. Her ikisi de görselleştirme için tasarlanmış doğrusal olmayan boyut indirgeme teknikleri olsa da UMAP, t-SNE’nin bazı sınırlamalarını giderir:

• UMAP, t-SNE’den daha hızlı ve daha bellek verimlidir; bu da onu büyük veri kümeleri için uygun kılar.
• UMAP, veride hem yerel hem de küresel yapıları daha iyi korur; t-SNE ise öncelikle yerel ikili benzerlikleri korumaya odaklanır.
• UMAP’ın t-SNE’ye kıyasla ayarlanacak daha az hiperparametresi vardır ve sonuçları genel olarak çalıştırmalar arasında daha tutarlıdır.
• t-SNE’nin aksine, UMAP yeni veri noktaları için dönüşümleri destekler; bu da onu dinamik veri kümeleri için daha uygun kılar.

Hesaplama karmaşıklığı: t-SNE vs. UMAP vs. PCA

Aşağıdaki tablo, t-SNE’nin UMAP ve PCA ile karşılaştırıldığında hesaplama karmaşıklığını özetler:

• N: Veri noktası sayısı
• d: Verideki özellik sayısı

Özetle, t-SNE yerel ilişkiler hakkında ayrıntılı içgörüler sağlarken, UMAP modern veri kümeleri için çoğu zaman daha verimli ve ölçeklenebilir bir seçenektir. PCA ise doğrusal veriler için hızlı ve yorumlanabilir bir seçenek olarak kalır. Veri kümesine ve hedeflere bağlı olarak doğru tekniği seçmek, yorumlanabilirlik, hesaplama maliyeti ve verinin doğası arasında bir denge kurmayı gerektirir.

t-SNE’nin Uygulamaları

Karmaşık çok boyutlu verileri görselleştirmenin yanı sıra, t-SNE’nin diğer kullanım alanları şunlardır:

1. Kümeleme ve sınıflandırma: benzer veri noktalarını düşük boyutlu uzayda bir araya kümelendirmek için. Ayrıca sınıflandırma ve veride örüntü bulma amacıyla da kullanılabilir. 
2. Anomali tespiti: verideki aykırı değerleri ve anomalileri belirlemek için. 
3. Doğal dil işleme: büyük bir metin külliyatından üretilen kelime gömmelerini görselleştirerek kelimeler arasındaki benzerlik ve ilişkileri belirlemeyi kolaylaştırmak için.
4. Bilgisayar güvenliği: ağ trafiği örüntülerini görselleştirmek ve anormallikleri tespit etmek için.
5. Kanser araştırmaları: tümör örneklerinin moleküler profillerini görselleştirmek ve kanser alt tiplerini belirlemek için. 
6. Jeolojik alan yorumlama: sismik öznitelikleri görselleştirmek ve jeolojik anomalileri belirlemek için. 
7. Biyomedikal işaret işleme: elektroensefalogramı (EEG) görselleştirmek ve beyin etkinliği örüntülerini tespit etmek için. 

Sonuç

t-SNE, karmaşık veri kümelerinde gizli örüntüleri ve yapıları ortaya çıkarmak için güçlü bir görselleştirme aracıdır. Anomalileri ve örüntüleri belirlemek için görsellerde, seste, biyolojik verilerde ve tekil verilerde kullanılabilir. 

Bu blog yazısında, yüksek boyutlu doğrusal olmayan verileri düşük boyutlu bir uzayda görselleştirebilen popüler bir boyut indirgeme tekniği olan t-SNE’yi öğrendik. t-SNE’nin ana fikrini, nasıl çalıştığını ve uygulamalarını açıkladık. Ayrıca, t-SNE’nin sentetik ve gerçek veri kümelerine uygulanmasına ve sonuçların nasıl yorumlanacağına dair bazı örnekler gösterdik. 

t-SNE, Gözetimsiz Öğrenmenin bir parçasıdır; bir sonraki doğal adım ise hiyerarşik kümelemeyi, PCA’yı, ilişkisizleştirmeyi ve yorumlanabilir özellikler keşfetmeyi anlamaktır. Tüm bu konuları Unsupervised Learning in Python kursumuzu alarak öğrenin.