Python ile Makine Öğreniminde Kategorik Verileri İşleme Eğitimi

Kategorik Veri Kümesi

Bilgi, iki farklı veri biçimiyle temsil edilir: kategorik veri ve sayısal veri. Kategorize edilebilen veya gruplandırılabilen verilere kategorik veri denir. Erkekler ve kadınlar cinsiyet kategorisine girer, kırmızı, yeşil ve mavi renkler kategorisine girer ve ülkeler kategorisi ABD, Kanada, Meksika vb. içerebilir.

Sayısal veriler bir sayı olarak ifade edilebilen verilerdir. Boy, kilo ve sıcaklık sayısal veriye örnektir. 

Basitçe söylemek gerekirse, kategorik veri kategorilere ayrılabilen bilgiyken sayısal veri bir sayı olarak ifade edilebilen bilgidir. Çoğu makine öğrenimi algoritması sayısal verilerle çalışacak şekilde tasarlandığından, bu alanda kategorik veriler sayısal verilerden farklı şekilde ele alınır. Kategorik veriler bir makine öğrenimi modeline girdi olarak kullanılmadan önce sayısal verilere dönüştürülmelidir. Kategorik verilerin sayısal temsile dönüştürülmesi sürecine kodlama (encoding) denir.

Nitel ve Nicel Veriler - Görsel Kaynağı

Kategorik verinin iki türü vardır: nominal ve ordinal.

Nominal veri

Nominal veri, gruplara ayrılabilen ancak bu grupların içsel bir hiyerarşisi veya sıralaması olmayan kategorik veridir. Nominal veriye örnek olarak marka adları (Coca-Cola, Pepsi, Sprite), pizza malzeme çeşitleri (sucuk, mantar, soğan) ve saç rengi (sarışın, kahverengi, siyah vb.) verilebilir. Daha fazla bilgi için nominal değişkenler rehberimize göz atın. 

Ordinal veri

Öte yandan ordinal veri, kategorize edilebilen ve belirgin bir sıralaması veya derecelendirmesi olan bilgileri tanımlar. Eğitim seviyeleri (lise, lisans, yüksek lisans), iş tatmini seviyeleri (son derece memnun, memnun, nötr, memnun değil, hiç memnun değil) ve yıldız puanları (1 yıldız, 2 yıldız, 3 yıldız, 4 yıldız, 5 yıldız) ordinal veriye örnektir.

Her kategoriye, sırasını veya derecesini yansıtan sayısal bir değer atayarak ordinal veriler sayısal verilere dönüştürülebilir ve makine öğreniminde kullanılabilir. Bu, girdi verisinin ölçeğine duyarlı algoritmalar için faydalı olabilir.

Uygulamada nominal ve ordinal veriler arasındaki ayrım her zaman net olmayabilir ve belirli kullanım durumuna göre değişebilir. Örneğin, bazı kişiler "yıldız puanlamayı" ordinal veri olarak görürken başkaları nominal veri olarak görebilir. En önemli şey, verinizin doğasının farkında olmak ve verinizdeki ilişkileri en iyi şekilde yansıtan kodlama stratejisini seçmektir.

pandas’ta veri türlerini anlama

Yaygın olarak kullanılan açık kaynaklı Python kütüphanesi pandas, veri analizi ve manipülasyonu için kullanılır. Etiketli satır ve sütunlara sahip tablosal verilerle çalışabilen veri çerçeveleri (DataFrame) ve seriler (Series) gibi yapılarla çalışmak için güçlü yeteneklere sahiptir. 

pandas ayrıca farklı dosya türlerini (csv, parquet, veritabanı vb.) okumak ve yazmak için çeşitli işlevler sağlar. Bir dosyayı pandas ile okuduğunuzda, her sütuna çıkarıma göre bir veri türü atanır. İşte pandas’ın atayabileceği tüm veri türleri:

1. Sayısal: Tamsayılar ve kayan noktalı sayılar dahildir. Sayısal veriler genellikle nicel analiz ve matematiksel işlemler için kullanılır.
2. Dize (String): İsimler, adresler ve açıklamalar gibi metinsel verileri temsil etmek için kullanılır.
3. Boolean: Yalnızca iki olası değeri olabilir: True veya False. Mantıksal işlemler ve filtreleme için sıkça kullanılır.
4. Datetime: Tarih ve saatleri temsil etmek için kullanılır. pandas’ın datetime verilerini işlemek için güçlü araçları vardır.
5. Kategorik: Sınırlı sayıda değer alan verileri temsil eder. Kategorik veriler sıklıkla gruplama ve toplulaştırma için kullanılır.
6. Obje (Object): Diğer kategorilere uymayan veriler için genel bir türdür. Listeler, sözlükler ve diğer nesneler gibi çeşitli veri türlerini içerebilir.

Görsel Kaynağı

Diğer veri türlerine uymayan veriler, yani dizeler, karışık türler veya diğer nesneler, pandas’ta category ve object veri türleriyle temsil edilir. Ancak performans ve işleyişlerini etkileyen birkaç önemli fark vardır.

Kategorik Veri Türü

Kategorik veri türü, yalnızca birkaç olası değeri olan bilgiler (kategori veya etiketler) için oluşturulmuştur. Kategorik veriler dahili olarak sayı dizisi şeklinde temsil edilir; bu da bazı işlemleri hızlandırabilir ve karşılık gelen object veri türüne kıyasla belleği koruyabilir. Ayrıca kategorik veriler mantıksal olarak sıralanabilir ve etkili gruplama ve toplulaştırma işlemlerini kolaylaştırır.

Object Veri Türü

Öte yandan object veri türü, diğer veri türlerine uymayan bilgiler için genel bir kapsayıcıdır. Listeler, sözlükler ve diğer nesneler gibi pek çok farklı veri türünü içerebilir. Object verisi çok esnek olsa da, aynı boyuttaki kategorik veriye kıyasla daha yavaş olabilir ve daha fazla bellek tüketebilir; ayrıca category verisiyle mümkün olan bazı özel işlemlere tabi tutulamaz.

Genel olarak, verinizin olası değer sayısı azsa ve çok sayıda gruplama veya toplulaştırma yapmayı planlıyorsanız kategorik veri türünü kullanmayı düşünebilirsiniz. Diğer durumlarda object veri türü genellikle güvenli bir seçenektir. Ancak ideal veri türü, nihayetinde benzersiz kullanım durumunuza ve verinizin özelliklerine bağlıdır.

GitHub’dan bir csv dosyası okuyarak bir örnek görelim.

# read csv using pandas
data = pd.read_csv(‘https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv’)

# check the head of dataframe
data.head()

Çıktı:

Bu sütunlardan hangilerinin kategorik hangilerinin sayısal olduğunu belirleyebiliyor musunuz? Bu örnekte `Carat Weight` ve `Price` dışındaki tüm sütunlar kategoriktir. Varsayılan veri türlerini kontrol ederek haklı olup olmadığımıza bakalım.

# check the data types
data.dtypes

Çıktı:

`Price` sütununun `int64`, `Carat Weight` sütununun `float64` türünde, geri kalan sütunların ise object olarak atandığına dikkat edin; tam da beklediğimiz gibi.

Python’da Kategorik Özellikleri Analiz Etme

Python’daki popüler veri analizi kütüphanesi pandas, veri kümenizdeki kategorik veri türlerini hızlıca analiz etmenizi sağlayan birkaç işlev sunar. Bunları tek tek inceleyelim:

Value Counts

`value_counts()`, pandas kütüphanesinde kategorik bir veri sütunundaki her benzersiz değerin frekansını döndüren bir işlemdir. Bu işlev, en yaygın kategoriler ve frekansları gibi kategorik bir değişkenin dağılımını hızlıca anlamak istediğinizde kullanışlıdır.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# check value counts of Cut column
data['Cut'].value_counts()

Çıktı:

Dağılımı görselleştirmek isterseniz, etkileşimli bir çubuk grafik çizmek için `plotly` kütüphanesini kullanabilirsiniz.

import plotly.express as px
cut_counts = data['Cut'].value_counts()
fig = px.bar(x=cut_counts.index, y=cut_counts.values)
fig.show()

Çıktı:

Group by

`groupby()`, pandas’ta verileri bir veya daha fazla sütuna göre gruplandırmanıza ve toplam, ortalama, sayı gibi toplulaştırma işlevlerini uygulamanıza olanak tanıyan bir işlemdir. Bu işlev, her kategori için sayısal bir değişkenin ortalamasını hesaplamak gibi kategorik veriler üzerinde daha karmaşık analizler yapmak istediğinizde kullanışlıdır. Bir örnek görelim:

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# average carat weight and price by Cut
data.groupby(by = 'Cut').mean()

Çıktı:

Yalnızca sayısal sütunlardan oluşan bir veri çerçevesi döndürür. `groupby` metodundaki `by` parametresi, gruplama işlemini hangi sütunda yapmak istediğinizi tanımlar ve parantez dışındaki `mean()` ise toplulaştırma yöntemidir.

Çıktı, kesimi fair olan bir elmasın ortalama fiyatının 5.886 ve ortalama ağırlığının 1,05 olduğunu; Very Good kesime sahip bir elmas için ortalama fiyatın ise 11.485 olduğunu gösterir. 

Çapraz tablo

`crosstab()`, iki veya daha fazla kategorik değişkenin frekans dağılımını gösteren bir çapraz tablo oluşturan pandas işlevdir. Bu işlev, bir değişkenin frekansının başka bir değişkenle nasıl ilişkili olduğunu görmek gibi iki veya daha fazla kategorik değişken arasındaki ilişkiyi incelemek istediğinizde kullanışlıdır.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# cross tab of Cut and Color
pd.crosstab(index=data['Cut'], columns=data['Color'])

Çıktı:

pandas’taki crosstab fonksiyonunun çıktısı, iki veya daha fazla kategorik değişkenin frekans dağılımını gösteren bir tablodur. Tablonun her satırı değişkenlerden birindeki benzersiz bir kategoriyi, her sütun ise diğer değişkendeki benzersiz bir kategoriyi temsil eder. Tablodaki hücreler, iki değişkendeki kategori kombinasyonlarının frekans sayımlarıdır.

Pivot Tablo

`pivot_table()`, çapraz tablolara benzer ancak daha esnek pivot tablolar oluşturan bir pandas işlevdir. Birden fazla kategorik değişkeni ve bunların bir veya daha fazla sayısal değişkenle ilişkisini analiz etmek istediğinizde kullanışlıdır. Pivot tablolar, verileri birden fazla şekilde toplulaştırmanıza ve sonuçları kompakt bir biçimde görüntülemenize olanak tanır.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# create pivot table
pd.pivot_table(data, values='Price', index='Cut', columns='Color', aggfunc=np.mean)

Çıktı:

Bu tablo, her renk için her elmas kesiminin ortalama fiyatını gösterir. Satırlar farklı elmas kesimlerini, sütunlar farklı elmas renklerini ve tablodaki değerler elmasın ortalama fiyatını temsil eder. 

pivot_table işlevi, sayısal verileri bir tablo formatında birden fazla değişken boyunca özetlemek ve karşılaştırmak istediğinizde faydalıdır. İşlev, verileri çeşitli fonksiyonlarla (ör. ortalama, toplam, sayı vb.) toplulaştırmanıza ve okunması ve analiz edilmesi kolay bir biçimde düzenlemenize olanak tanır.

Python’da Kategorik Özellikleri Kodlama

Kategorik veriler genellikle makine öğrenimi algoritmaları tarafından doğrudan işlenemez; çünkü çoğu algoritma esas olarak yalnızca sayısal verilerle çalışacak şekilde tasarlanmıştır. Bu nedenle, kategorik özellikler makine öğrenimi algoritmalarına girdi olarak kullanılmadan önce sayısal değerlere kodlanmalıdır.

Kategorik özellikleri kodlamak için one-hot encoding, ordinal encoding ve hedef kodlama (target encoding) dahil olmak üzere çeşitli teknikler vardır. Kodlama tekniğinin seçimi, verinin özel özelliklerine ve kullanılan makine öğrenimi algoritmasının gereksinimlerine bağlıdır.

One-hot encoding

One-hot encoding, kategorik veriyi ikili değerler kümesi olarak temsil etme işlemidir; her kategori benzersiz bir ikili değere eşlenir. Bu temsilde yalnızca bir bit 1’e ayarlanır, geri kalanlar 0’dır; bu nedenle adı "one hot"tır. Bu yöntem, kategorik verileri algoritmaların işleyebileceği bir formata dönüştürmek için makine öğreniminde yaygın olarak kullanılır.

Görsel Kaynağı

pandas kategorikten sayısala

Bunu pandas’ta gerçekleştirmenin bir yolu `pd.get_dummies()` metodunu kullanmaktır. Bu, bir DataFrame’deki kategorik değişkenlere one-hot encoding uygulamak için kullanılabilen bir pandas fonksiyonudur. Bir DataFrame alır ve her kategori için ikili sütunlar içeren yeni bir DataFrame döndürür. Nasıl kullanılacağına bir örnek:

"fruit" adlı kategorik veriler içeren bir sütuna sahip bir veri çerçevemiz olduğunu varsayalım:

import pandas as pd

# generate df with 1 col and 4 rows
data = {
    "fruit": ["apple", "banana", "orange", "apple"]
}

# show head
df = pd.DataFrame(data)
df.head()

Çıktı:

# apply get_dummies function
df_encoded = pd.get_dummies(df["fruit"])
df_encoded .head()

Çıktı:

`pandas.get_dummies` kullanımı kolay olsa da, makine öğrenimi görevlerinde daha yaygın yaklaşım sklearn kütüphanesindeki `OneHotEncoder`’ı kullanmaktır. Temel fark, `pandas.get_dummies`’in kodlamaları öğrenememesi; yalnızca girdi olarak verdiğiniz veri kümesinde one-hot encoding yapabilmesidir. Öte yandan `sklearn.OneHotEncoder`, kaydedilebilen ve gelecekte gelen diğer veri kümelerini dönüştürmek için kullanılabilen bir sınıftır.

import pandas as pd

# generate df with 1 col and 4 rows
data = {
    "fruit": ["apple", "banana", "orange", "apple"]
}

# one-hot-encode using sklearn
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder()
encoded_results = encoder.fit_transform(df).toarray()

Çıktı:

Etiket kodlama (Label encoding)

Label encoding, kategorik değişkenleri, her kategoriye benzersiz bir tamsayı atayarak sayısal değerlere kodlama tekniğidir. Örneğin, üç kategoriye sahip "color" adlı bir kategorik değişkenimiz olduğunu varsayalım: "red", "green" ve "blue". Bu kategorileri label encoding ile şu şekilde kodlayabiliriz (red: 0, green: 1, blue: 2).

Label encoding, sayısal girdiler gerektiren bazı makine öğrenimi algoritmaları için yararlı olabilir; çünkü kategorik verilerin algoritmaların anlayabileceği şekilde temsil edilmesini sağlar. Ancak, label encoding’in kategoriler arasında keyfi bir sıralama getirdiğini ve bunun aralarında anlamlı bir ilişkiyi yansıtmayabileceğini akılda tutmak önemlidir. Bazı durumlarda, özellikle bu sıralama türsel bir ilişki varmış gibi yorumlanırsa, analizde sorunlara yol açabilir.

Label Encoding Uygulanmış Veri. Görsel Kaynağı

One-hot ve Label Encoding Karşılaştırması

One-hot encoding ve label encoding, kategorik değişkenleri sayısal değerlere kodlamaya yönelik iki tekniktir; ancak farklı özelliklere sahiptirler ve farklı kullanım durumlarına uygundurlar.

One-hot encoding, her kategoriyi ikili bir sütun olarak temsil eder; 1 kategorinin varlığını, 0 ise yokluğunu gösterir. Örneğin, üç kategoriye sahip "color" adlı bir kategorik değişkenimiz olduğunu varsayalım: "red", "green" ve "blue". One-hot encoding bu değişkeni üç ikili sütun olarak temsil ederdi:

Kategorilerin kendi aralarında içsel bir sıralaması veya ilişkisi olmadığında one-hot encoding uygundur. Bunun nedeni, one-hot encoding’in her kategoriyi diğer kategorilerle ilişkisi olmayan ayrı bir varlık olarak ele almasıdır. Kategori sayısının nispeten az olduğu durumlarda da kullanışlıdır; çünkü çok büyük kategori sayılarında sütun sayısı kontrolsüz şekilde artabilir.

Diğer yandan label encoding, her kategoriyi benzersiz bir tamsayıyla temsil eder. Örneğin, üç kategorili "color" değişkeni şu şekilde label-encode edilebilir:

Label encoding, kategorilerin doğal bir sıralaması veya ilişkisi olduğu durumlarda uygundur; örneğin "küçük", "orta", "büyük" gibi ordinal değişkenlerde. Bu durumlarda kategorilere atanan tamsayı değerleri, kategorilerin sıralamasını yansıtmalıdır. Kategori sayısının çok büyük olduğu durumlarda da veri boyutunu azaltması açısından faydalı olabilir.

Genel olarak, one-hot encoding makine öğrenimi uygulamalarında daha yaygındır; çünkü daha esnektir ve label encoding ile ortaya çıkabilecek belirsizlik ve keyfi sıralama sorunlarından kaçınır. Bununla birlikte, kategorilerin doğal bir sıralaması olduğu veya çok büyük sayıda kategoriyle uğraşıldığı belirli bağlamlarda label encoding yararlı olabilir.

Yüksek Kartinaliteli Kategorik Verilerle Başa Çıkma

Yüksek kartinalite, bir kategorik özellikteki benzersiz kategori sayısının fazla olmasını ifade eder. Yüksek kartinaliteyle başa çıkmak, makine öğrenimi modelleri için kategorik verileri kodlarken yaygın bir zorluktur. Yüksek kartinalite seyrek veri temsiline yol açabilir ve bazı makine öğrenimi modellerinin performansını olumsuz etkileyebilir. Kategorik özelliklerde yüksek kartinaliteyle başa çıkmak için kullanılabilecek bazı teknikler şunlardır:

Nadir Kategorileri Birleştirme

Bu yaklaşım, seyrek görülen kategorileri tek bir kategoride birleştirmeyi içerir. Böylece benzersiz kategori sayısı ve veri temsilindeki seyrek yapı azalır.

Hedef Kodlama (Target Encoding)

Hedef kodlama, kategorik değerleri ilgili kategorinin hedef değişken ortalamasıyla değiştirir. Kategorik verinin daha sürekli bir temsilini sağlar ve kategorik özellik ile hedef değişken arasındaki ilişkiyi yakalamaya yardımcı olabilir.

Görsel Kaynağı

Kanıt Ağırlığı (WOE) Kodlama

Weight of Evidence kodlama, hedef kodlamaya benzer ancak her kategori için hedef değişkenin dağılımını dikkate alır. Bir kategorinin WOE değeri, o kategori için hedefin ortalamasının tüm popülasyon ortalamasına oranının logaritması olarak hesaplanır.

Kategorik Veriler için Özellik Mühendisliği

Özellik mühendisliği, verileri makine öğrenimi modellerine hazırlamanın önemli bir adımıdır. Mevcut özelliklerden yeni özellikler oluşturarak modellerin performansını iyileştirmeyi içerir. Kategorik veriler üzerinde özellik mühendisliği yapmanın birkaç yolu şunlardır:

Etkileşim değişkenleri oluşturma

Etkileşim değişkenleri, iki veya daha fazla mevcut özelliği birleştirerek oluşturulan yeni özelliklerdir. Örneğin, iki kategorik özelliğimiz varsa, 'Gender' ve 'Marital Status', bu iki özellik arasındaki etkileşimi yakalamak için 'Gender-Marital Status' adlı yeni bir özellik oluşturabiliriz. Bu, özellikler ile hedef değişken arasındaki doğrusal olmayan ilişkileri yakalamaya yardımcı olabilir.

Sayısal değişkenleri bölütleme (binning)

Bölütleme, sürekli sayısal değişkenlerin ayrık kutulara (bin) ayrılması işlemidir. Bu, özellikle kategorik verileri kodlamak için faydalı olabilecek şekilde özellikteki benzersiz değer sayısını azaltmaya yardımcı olabilir. Bölütleme ayrıca özellikler ile hedef değişken arasındaki doğrusal olmayan ilişkileri yakalamaya yardımcı olabilir.

Döngüsel değişkenleri kodlama

Döngüsel değişkenler, belirli bir dönem boyunca tekrarlanan değişkenlerdir. Örneğin günün saati, her 24 saatte bir tekrarlandığı için döngüsel bir değişkendir. Döngüsel değişkenleri kodlamak, verideki periyodik örüntüleri yakalamaya yardımcı olabilir. Döngüsel değişkenleri kodlamanın yaygın bir yaklaşımı, değişkenin sinüsünü temsil eden bir özellik ve kosinüsünü temsil eden bir başka özellik olmak üzere iki yeni özellik oluşturmaktır.

Sonuç

Kategorik verileri ele almak, birçok makine öğrenimi projesinin önemli bir yönüdür. Bu eğitimde, Python’da kategorik değişkenleri analiz etme ve kodlamaya yönelik çeşitli teknikleri, sık kullanılan iki yöntem olan one-hot encoding ve label encoding dâhil, inceledik.

Önce kategorik veri kavramını ve makine öğrenimi modellerinde neden doğru şekilde ele alınmasının önemli olduğunu anlattık. Ardından hem pandas hem de scikit-learn kullanarak one-hot encoding’in nasıl yapılacağına dair adım adım bir rehber ve süreci gösteren kod örnekleri sunduk.

Bu eğitim ayrıca yüksek kartinaliteli kategorik verilerle başa çıkma, özellik mühendisliği, WOE kodlama ve daha fazlası gibi bazı ileri konuları da ele almaktadır. Konuya daha derinlemesine dalmak isterseniz Working with Categorical Data in Python kursumuza göz atın. 

R dilini tercih ediyorsanız, Categorical Data in the Tidyverse veya Inference for Categorical Data in R kurslarımız ilginizi çekebilir. Her ikisi de R kullanıcıları için harika seçeneklerdir.