Python'da Kök Bulma (Stemming) ve Lemmalaştırma

Başka bir deyişle, bir belgeyi lemmalaştırmak, bir sözlük kullanmayı ve kelimelerin biçimbilimsel analizini yaparak yalnızca çekim sonlarını kaldırıp bir kelimenin temel ya da sözlük biçimi olan “lemma”yı döndürmeyi içerdiğinden işleri doğru yapmak anlamına gelir. Örneğin, bir lemmalaştırma algoritmasının “runs”, “running” ve “ran” sözcüklerini “run” lemmaya eşlemesini bekleyebilirsiniz.  

Lemmalaştırmanın avantajları

• Doğruluk: Lemmalaştırma, stemming algoritmalarında gördüğünüz gibi kelimeleri yalnızca kesip atmaz. Lemma üretirken bağlamı dikkate almak için kelimelerin POS’una göre analiz yapılır. Ayrıca lemmalaştırma sonucunda gerçek sözlük kelimeleri elde edilir.

Lemmalaştırmanın dezavantajları 

• Zaman alıcı: Stemming’e kıyasla lemmalaştırma daha yavaş ve zaman alan bir süreçtir. Bunun nedeni, lemmalaştırmanın biçimbilimsel analiz yapmayı ve kelimelerin anlamını bir sözlükten çıkarmayı içermesidir. 

NLTK ile Python'da Stemming ve Lemmalaştırma Örnekleri

Artık kök bulma ve lemmalaştırmaya genel bir bakışınız var. Bu bölümde, Python ve NLTK adlı bir kütüphaneyi kullanarak her iki tekniğin de örneklerini uygulamalı olarak göstereceğiz. 

Python NLTK paketi

Natural Language Tool Kit (NLTK), doğal dili işleyebilen programlar geliştirmek için kullanılan bir Python kütüphanesidir. Kütüphane, tokenleştirme, stemming, sınıflandırma, ayrıştırma, etiketleme, anlamsal akıl yürütme, duygu analizi ve daha fazlası gibi farklı işlemler gerçekleştirebilir.

En son sürüm NLTK 3.9.x’tir ve Python 3.10 veya üzerini (3.14’e kadar) gerektirir; ancak DataLab çalışma kitabında önceden yüklü geldiği için endişelenmenize gerek yok — nltk’yi içe aktarın ve hazırsınız.

Python stemming örneği

En popüler kök bulma algoritmalarından biri “Porter stemmer” olarak adlandırılır. Porter stemmer ilk olarak Martin Porter tarafından 1980 tarihli "An algorithm for suffix stripping" başlıklı makalede önerildi. Bu makale, İngilizcede kök bulma için en yaygın algoritmalardan biri haline gelmiştir.

Nasıl çalıştığına bakalım:

import nltk
from nltk.stem import PorterStemmer
nltk.download("punkt_tab")  # Use punkt_tab in NLTK 3.9+; punkt is deprecated
​
# Initialize Python porter stemmer
ps = PorterStemmer()
​
# Example inflections to reduce
example_words = ["program","programming","programer","programs","programmed"]
​
# Perform stemming
print("{0:20}{1:20}".format("--Word--","--Stem--"))
for word in example_words:
   print ("{0:20}{1:20}".format(word, ps.stem(word)))

"""
--Word--            --Stem--            
program             program             
programming         program             
programer           program             
programs            program             
programmed          program

"""Altyapı:

Bu oldukça basit bir örnek; “Stemming” bölümünde belirtildiği gibi porter stemmer’dan bu sonuçları bekliyorduk. 

Daha zor bir örnek deneyelim:

import string
from nltk.tokenize import word_tokenize

example_sentence = "Python programmers often tend like programming in python because it's like english. We call people who program in python pythonistas."

# Remove punctuation
example_sentence_no_punct = example_sentence.translate(str.maketrans("", "", string.punctuation))

# Create tokens
word_tokens = word_tokenize(example_sentence_no_punct)

# Perform stemming
print("{0:20}{1:20}".format("--Word--","--Stem--"))
for word in word_tokens:
    print ("{0:20}{1:20}".format(word, ps.stem(word)))

"""
--Word--            --Stem--            
Python              python              
programmers         programm            
often               often               
tend                tend                
like                like                
programming         program             
in                  in                  
python              python              
because             becaus              
its                 it                  
like                like                
english             english             
We                  we                  
call                call                
people              peopl               
who                 who                 
program             program             
in                  in                  
python              python              
pythonistas         pythonista
"""Altyapı:

Burada çıktıdaki bazı kelimelerin İngilizce sözlükte yer almadığını görebilirsiniz (ör. “becaus”, “peopl” ve “programm.”). Dikkat edilmesi gereken bir diğer nokta da bağlamın dikkate alınmamasıdır. Örneğin “programmers” çoğul bir isimdir ancak “program”a indirgenmiştir; bu ise isim ya da fiil olabilir — başka bir deyişle, kök kelimeler belirsizdir. 

Python lemmalaştırma örneği

Bağlama duyarlı lemmalaştırıcıların arkasındaki motivasyon, görülmemiş ve belirsiz kelimelerdeki performansı iyileştirmektir. Lemmalaştırma örneğimizde, WordNet lemmatizer adlı popüler bir lemmalaştırıcıyı kullanacağız. 

WordNet, kelimeler arasında yapılandırılmış anlamsal ilişkiler kurmayı amaçlayan, İngilizce için büyük, ücretsiz ve herkese açık bir sözlüksel veritabanıdır.

İşe koyulalım:

from nltk.stem import WordNetLemmatizer
nltk.download("wordnet")
nltk.download("omw-1.4")
​
# Initialize wordnet lemmatizer
wnl = WordNetLemmatizer()
​
# Example inflections to reduce
example_words = ["program","programming","programer","programs","programmed"]
​
# Perform lemmatization
print("{0:20}{1:20}".format("--Word--","--Lemma--"))

for word in example_words:
   # pos="v" tells the lemmatizer to treat words as verbs
   # Other options: "n" (noun), "a" (adjective), "r" (adverb)
   print("{0:20}{1:20}".format(word, wnl.lemmatize(word, pos="v")))

"""
--Word--            --Lemma--           
program             program             
programming         program             
programer           programer           
programs            program             
programmed          program
"""   Altyapı:

WordNet’te bulunamazsa lemmalaştırıcıya verilen giriş kelimeleri değişmeden kalır. Bu, bağlamın sağlanması gerektiği anlamına gelir; bu da wordnet_lemmatizer.lemmatize içinde sözcük türü parametresi olan pos’a bir değer vererek yapılır.

“programmer” kelimesinin lemmalaştırıcı tarafından “program”a indirgenmediğine dikkat edin: bunun nedeni, lemmalaştırıcıya yalnızca fiilleri işleme talimatı vermiş olmamızdır. 

Lemmalaştırıcımıza nasıl başa çıktığını görmek için biraz daha karmaşık bir şey verelim…

example_sentence = "Python programmers often tend like programming in python because it's like english. We call people who program in python pythonistas."
​
# Remove punctuation
example_sentence_no_punct = example_sentence.translate(str.maketrans("", "", string.punctuation))
​
word_tokens = word_tokenize(example_sentence_no_punct)
​
# Perform lemmatization
print("{0:20}{1:20}".format("--Word--","--Lemma--"))
for word in word_tokens:
   print ("{0:20}{1:20}".format(word, wnl.lemmatize(word, pos="v")))
"""
--Word--            --Lemma--           
Python              Python              
programmers         programmers         
often               often               
tend                tend                
like                like                
programming         program             
in                  in                  
python              python              
because             because             
its                 its                 
like                like                
english             english             
We                  We                  
call                call                
people              people              
who                 who                 
program             program             
in                  in                  
python              python              
pythonistas         pythonistas 
"""Altyapı:

Lemmalaştırma algoritması tarafından döndürülen tüm kelimeler İngilizce sözlükte yer alır — “pythonistas” hariç; bu, daha çok Python programcılarına atıfta bulunan gayriresmî bir terimdir. 

Stemming vs. Lemmatization

Her iki tekniğin nasıl uygulanacağını gördünüz, peki bunlar nasıl karşılaştırılır? 

Stemming ve lemmalaştırma, çekimli kelimeleri ortak bir temel köke indirgemeyi amaçlayan metin işleme teknikleridir. Genel amaçtaki bu benzerliğe rağmen iki teknik aynı değildir. 

Stemming ile lemmalaştırma arasındaki temel farklar, her tekniğin çekimli kelimeleri ortak bir temel köke indirgeme hedefine nasıl ulaştığında yatar. 

Stemming algoritmaları, çekimli kelimelerde tipik olarak bulunan yaygın önek ve sonek listelerine dayanarak kelimenin sonunu veya başını keserek çeşitli çekimlerin ortak köklerini bulmaya çalışır. Kelimeleri ayrım gözetmeksizin kesip biçme niteliği bazen anlamlı kökler bulmaya yol açsa da, bazen de bulmaz. 

Öte yandan, lemmalaştırma algoritmaları çekimli kelimelerden ortak temel kökleri bulmaya biçimbilimsel bir analiz yaparak çalışır. Çekimleri doğru biçimde indirgemek için, algoritmanın arama yaparak çekimli bir kelimeyi lemmaya bağlayabilmesi adına ayrıntılı bir sözlüğün tutulması gerekir.

Stemming algoritmalarının benimsediği kaba sezgisel yaklaşım genellikle hızlı ve verimlidir, ancak her zaman doğru değildir. Buna karşılık lemmalaştırma algoritmaları hız ve verimlilikten ödün vererek doğruluğu artırır ve böylece anlamlı temel kökler elde edilir. 

Örneğin, bir stemming algoritması “saw” kelimesini “s.”ye indirebilir. Bir lemmalaştırma algoritması ise “saw”ın kullanıldığı bağlama göre isim (kesmeye yarayan el testeresi) mi yoksa fiil (to see) mi olduğunu dikkate alarak lemma döndürmeye karar verir — eğer isimse “saw”, fiilse “see” döner.

Bu noktalar artık size oldukça net gelmiş olabilir, o hâlde işte milyon dolarlık soru — “metin ön işleme için stemming mi, lemmalaştırma mı kullanmalıyım?” 

Çoğu yazılım işi gibi; duruma bağlıdır. 

Hız ve verimlilik sizin için önemli mi? Öyleyse stemming’i seçin. 

Uygulamanız için bağlam önemli mi? “Evet” dediyseniz lemmalaştırma kullanın. 

Hangi tekniği kullanacağınız tamamen üzerinde çalıştığınız uygulamaya ve proje hedeflerinize bağlıdır. Her iki teknikle de deneyler yapıp sonuçları karşılaştırarak, proje hedeflerinizle en çok örtüşen yaklaşımın hangisi olduğunu görebilirsiniz. 

Bu eğitimde pek değinmediğimiz bir nokta, lemmalaştırma algoritmalarının nasıl oluşturulduğudur; bunun nedeni, farklı dillerle uyumlu (SpaCy, NLTK vb. gibi) çeşitli kütüphanelerin bulunmasıdır. Ancak, kullanılabilir olmayan bir dil (ör. Akan) için kendi lemmalaştırıcınızı oluşturmanız gerekseydi, bir lemmalaştırıcı inşa etmek için hedef dili iyi derecede bilmeniz ve anlamanız gerekirdi. Böyle senaryolarda stemming algoritmalarını oluşturmak çok daha kolaydır.

Sonuç

Özetle, stemming ve lemmalaştırma, NLP’de metin işleme için kullanılan tekniklerdir. Her ikisi de çekimleri ortak temel kök kelimelere indirmeyi amaçlar, ancak bunu yaparken farklı yaklaşımlar benimser. 

Lemmalaştırma, stemming’e kıyasla çok daha doğrudur. Her zaman gerçek sözlük kelimeleri döndürür ve bağlamı dikkate alır. Çoğu modern NLP hattında, doğruluğun önemli olduğu durumlarda lemmalaştırma tercih edilir. Ancak, ölçekli çalışıyor veya hızlı bir prototip geliştiriyorsanız, stemming yeterince iyi olabilir ve oldukça daha hızlıdır.