Stemming dan Lemmatization di Python

Dengan kata lain, melakukan lemmatization pada sebuah dokumen berarti melakukannya dengan benar karena melibatkan penggunaan kosakata dan melakukan analisis morfologi kata untuk hanya menghapus akhiran infleksional dan mengembalikan bentuk dasar atau bentuk kamus dari sebuah kata, yang dikenal sebagai “lemma.” Misalnya, Anda dapat berharap algoritme lemmatization memetakan “runs,” “running,” dan “ran” ke lemma “run.”  

Kelebihan lemmatization

• Akurasi: Lemmatization tidak sekadar memangkas kata seperti pada algoritme stemming. Analisis kata dilakukan berdasarkan POS kata untuk mempertimbangkan konteks saat menghasilkan lemma. Selain itu, lemmatization menghasilkan kata-kata yang benar-benar ada di kamus.

Kekurangan lemmatization 

• Menyita waktu: Dibandingkan dengan stemming, lemmatization adalah proses yang lambat dan memakan waktu. Ini karena lemmatization melibatkan analisis morfologis dan menurunkan makna kata dari kamus. 

Contoh Stemming dan Lemmatization di Python dengan NLTK

Sekarang Anda telah mendapat gambaran tentang stemming dan lemmatization. Pada bagian ini, kita akan praktik langsung dan mendemonstrasikan contoh kedua teknik tersebut menggunakan Python dan pustaka bernama NLTK. 

Paket NLTK di Python

Natural Language Tool Kit (NLTK) adalah pustaka Python yang digunakan untuk membangun program yang mampu memproses bahasa alami. Pustaka ini dapat melakukan berbagai operasi seperti tokenisasi, stemming, klasifikasi, parsing, penandaan, penalaran semantik, analisis sentimen, dan lainnya.

Versi terbaru adalah NLTK 3.9.x, dan membutuhkan Python 3.10 atau lebih tinggi (hingga 3.14), tetapi Anda tidak perlu khawatir karena sudah terpasang di buku kerja DataLab — cukup impor nltk dan Anda siap menggunakannya.

Contoh stemming di Python

Salah satu algoritme stemming yang paling populer disebut “Porter stemmer.” Porter stemmer pertama kali diusulkan oleh Martin Porter dalam makalah tahun 1980 berjudul "An algorithm for suffix stripping." Makalah ini menjadi salah satu algoritme paling umum untuk stemming dalam bahasa Inggris.

Mari kita lihat cara kerjanya:

import nltk
from nltk.stem import PorterStemmer
nltk.download("punkt_tab")  # Use punkt_tab in NLTK 3.9+; punkt is deprecated
​
# Initialize Python porter stemmer
ps = PorterStemmer()
​
# Example inflections to reduce
example_words = ["program","programming","programer","programs","programmed"]
​
# Perform stemming
print("{0:20}{1:20}".format("--Word--","--Stem--"))
for word in example_words:
   print ("{0:20}{1:20}".format(word, ps.stem(word)))

"""
--Word--            --Stem--            
program             program             
programming         program             
programer           program             
programs            program             
programmed          program

"""

Ini adalah contoh yang cukup sederhana; kita sudah memperkirakan hasil ini dari porter stemmer seperti disebutkan pada bagian “Stemming” di atas. 

Mari coba contoh yang lebih rumit:

import string
from nltk.tokenize import word_tokenize

example_sentence = "Python programmers often tend like programming in python because it's like english. We call people who program in python pythonistas."

# Remove punctuation
example_sentence_no_punct = example_sentence.translate(str.maketrans("", "", string.punctuation))

# Create tokens
word_tokens = word_tokenize(example_sentence_no_punct)

# Perform stemming
print("{0:20}{1:20}".format("--Word--","--Stem--"))
for word in word_tokens:
    print ("{0:20}{1:20}".format(word, ps.stem(word)))

"""
--Word--            --Stem--            
Python              python              
programmers         programm            
often               often               
tend                tend                
like                like                
programming         program             
in                  in                  
python              python              
because             becaus              
its                 it                  
like                like                
english             english             
We                  we                  
call                call                
people              peopl               
who                 who                 
program             program             
in                  in                  
python              python              
pythonistas         pythonista
"""

Di sini Anda dapat melihat beberapa kata keluaran tidak terdapat dalam kamus bahasa Inggris (mis., “becaus,” “people,” dan “programm.”). Hal lain yang perlu diperhatikan adalah konteks tidak dipertimbangkan. Misalnya, “programmers” adalah nomina jamak tetapi direduksi menjadi “program,” yang bisa berupa nomina atau verba — dengan kata lain, kata akar menjadi ambigu. 

Contoh lemmatization di Python

Motivasi di balik lemmatizer yang peka terhadap konteks adalah untuk meningkatkan kinerja pada kata-kata yang belum pernah dilihat dan ambigu. Dalam contoh lemmatization kita, kita akan menggunakan lemmatizer populer bernama WordNet lemmatizer. 

WordNet adalah basis data leksikal bahasa Inggris yang besar, gratis, dan tersedia untuk umum yang bertujuan membangun hubungan semantik terstruktur antar kata.

Mari lihat penerapannya:

from nltk.stem import WordNetLemmatizer
nltk.download("wordnet")
nltk.download("omw-1.4")
​
# Initialize wordnet lemmatizer
wnl = WordNetLemmatizer()
​
# Example inflections to reduce
example_words = ["program","programming","programer","programs","programmed"]
​
# Perform lemmatization
print("{0:20}{1:20}".format("--Word--","--Lemma--"))

for word in example_words:
   # pos="v" tells the lemmatizer to treat words as verbs
   # Other options: "n" (noun), "a" (adjective), "r" (adverb)
   print("{0:20}{1:20}".format(word, wnl.lemmatize(word, pos="v")))

"""
--Word--            --Lemma--           
program             program             
programming         program             
programer           programer           
programs            program             
programmed          program
"""   

Kata masukan yang diberikan ke lemmatizer kita akan tetap tidak berubah jika tidak dapat ditemukan di WordNet. Ini berarti konteks harus diberikan, yaitu dengan memberi nilai untuk parameter part-of-speech, pos, pada wordnet_lemmatizer.lemmatize.

Perhatikan kata “programmer” tidak dipangkas menjadi “program” oleh lemmatizer kita: ini karena kita memberi tahu lemmatizer untuk hanya melakukan stemming pada verba. 

Mari kita berikan sesuatu yang lebih rumit kepada lemmatizer kita untuk melihat bagaimana hasilnya…

example_sentence = "Python programmers often tend like programming in python because it's like english. We call people who program in python pythonistas."
​
# Remove punctuation
example_sentence_no_punct = example_sentence.translate(str.maketrans("", "", string.punctuation))
​
word_tokens = word_tokenize(example_sentence_no_punct)
​
# Perform lemmatization
print("{0:20}{1:20}".format("--Word--","--Lemma--"))
for word in word_tokens:
   print ("{0:20}{1:20}".format(word, wnl.lemmatize(word, pos="v")))
"""
--Word--            --Lemma--           
Python              Python              
programmers         programmers         
often               often               
tend                tend                
like                like                
programming         program             
in                  in                  
python              python              
because             because             
its                 its                 
like                like                
english             english             
We                  We                  
call                call                
people              people              
who                 who                 
program             program             
in                  in                  
python              python              
pythonistas         pythonistas 
"""

Semua kata yang dikembalikan oleh algoritme lemmatization ada dalam kamus bahasa Inggris — kecuali “pythonistas,” yang lebih merupakan istilah informal untuk menyebut pemrogram Python. 

Stemming vs. Lemmatization

Anda telah melihat cara mengimplementasikan kedua teknik tersebut, tetapi bagaimana perbandingannya? 

Stemming dan lemmatization keduanya merupakan teknik pemrosesan teks yang bertujuan mereduksi kata terinfleksi ke akar dasar yang sama. Meskipun tujuan umumnya berkorelasi, kedua teknik ini tidak sama. 

Perbedaan utama antara stemming dan lemmatization terletak pada bagaimana masing-masing teknik mencapai tujuan mereduksi kata terinfleksi ke akar dasar yang sama. 

Algoritme stemming berupaya menemukan akar dasar umum dari berbagai infleksi dengan memangkas akhiran atau awalan kata. Pemangkasan didasarkan pada daftar prefiks dan sufiks umum yang biasanya ditemukan pada kata terinfleksi. Sifat pemangkasan yang tidak diskriminatif ini terkadang menghasilkan batang kata yang bermakna, namun di lain waktu tidak. 

Di sisi lain, algoritme lemmatization berupaya menemukan akar dasar umum dari kata terinfleksi dengan melakukan analisis morfologis. Untuk secara akurat mereduksi infleksi, kamus terperinci harus disimpan sehingga algoritme dapat melakukan pencarian untuk mengaitkan kata terinfleksi kembali ke lemanya.

Pendekatan heuristik yang kasar yang digunakan oleh algoritme stemming biasanya membuatnya cepat dan efisien tetapi tidak selalu akurat. Sebaliknya, algoritme lemmatization mengorbankan kecepatan dan efisiensi demi akurasi, sehingga menghasilkan akar dasar yang bermakna. 

Misalnya, sebuah algoritme stemming mungkin mereduksi “saw” menjadi “s.” Algoritme lemmatization akan mempertimbangkan apakah “saw” adalah nomina (alat potong) atau verba (bentuk lampau dari see) berdasarkan konteks penggunaannya sebelum memutuskan mengembalikan lemma — jika itu nomina maka akan mengembalikan “saw,” dan jika itu verba maka akan mengembalikan “see.”

Poin-poin ini mungkin sudah cukup jelas bagi Anda sekarang, jadi berikut pertanyaan jutaan dolar — “haruskah saya menggunakan stemming atau lemmatization untuk prapemrosesan teks?” 

Seperti kebanyakan hal terkait perangkat lunak; jawabannya tergantung. 

Apakah Anda peduli pada kecepatan dan efisiensi? Jika ya, pilih stemming. 

Apakah konteks penting untuk aplikasi Anda? Jika Anda menjawab “ya,” maka gunakan lemmatization. 

Teknik mana yang Anda gunakan sepenuhnya bergantung pada aplikasi yang sedang Anda kerjakan dan tujuan proyek Anda. Anda mungkin ingin menjalankan eksperimen dengan kedua teknik dan membandingkan hasilnya untuk melihat pendekatan mana yang paling selaras dengan tujuan proyek Anda. 

Sesuatu yang belum banyak kita bahas dalam tutorial ini adalah bagaimana algoritme lemmatization dibuat; ini karena ada beberapa pustaka (seperti SpaCy, NLTK, dll.) yang kompatibel dengan berbagai bahasa. Namun, jika Anda harus membuat lemmatizer sendiri untuk bahasa yang belum didukung (mis., Akan), Anda memerlukan pengetahuan dan pemahaman yang baik tentang bahasa target untuk membangun lemmatizer. Algoritme stemming jauh lebih mudah dibuat untuk skenario seperti itu.

Kesimpulan

Singkatnya, stemming dan lemmatization adalah teknik yang digunakan untuk pemrosesan teks dalam NLP. Keduanya bertujuan mereduksi infleksi ke kata akar dasar yang sama, tetapi masing-masing mengambil pendekatan yang berbeda untuk melakukannya. 

Lemmatization jauh lebih akurat daripada stemming. Teknik ini selalu mengembalikan kata yang ada di kamus dan mempertimbangkan konteks. Untuk sebagian besar pipeline NLP modern, lemmatization lebih disukai saat akurasi penting. Namun, jika Anda bekerja dalam skala besar atau membangun prototipe cepat, stemming mungkin sudah cukup dan jauh lebih cepat.