Textacy: Python'da Metin Verisi Temizleme ve Normalleştirmeye Giriş

Bu eğitim yazısı, topluluk üyemizin değerli bir katkısıdır ve DataCamp tarafından açıklık ve doğruluk açısından düzenlenmiştir.

Kendi uzmanlığınızı paylaşmak ister misiniz? Sizden haber almak isteriz! Makalelerinizi veya fikirlerinizi Topluluk Katkı Formu aracılığıyla bize iletebilirsiniz.

Bir veri uygulayıcısı olarak, herhangi bir makine öğrenimi projesinde sağlam bir veri temizleme ve hazırlama hattı kurmanın öneminin farkındasınızdır. Ancak metinsel verilerle çalışırken, metnin sunduğu özgün zorluklar nedeniyle böyle bir hattın önemi daha da artar. Gürültülü veriler, yazım hataları, kısaltmalar, argo ve dilbilgisi hataları gibi sorunlar, makine öğrenimi modellerinin performansını olumsuz etkileyebilir.

Makine öğrenimi modellerinde kullanılan metinsel verilerin doğru, tutarlı ve hatasız olmasını sağlamak için iyi tasarlanmış bir veri temizleme ve hazırlama hattı kritik öneme sahiptir. Bu genellikle metin normalleştirme, tokenizasyon, durak kelime (stopword) kaldırma, gövdeleme (stemming), kök bulma (lemmatization) ve veri maskeleme gibi bir dizi görevi içerir.

Her ne kadar NLTK, gensim ve spaCy gibi popüler kütüphaneler metin işleme ve temizleme için geniş araç setleri sunsa da, metinsel veriler hâlâ makine öğrenimi modellerinin performansını ciddi biçimde etkileyebilecek özgün zorluklar barındırır. Bu zorluklar, karakter normalleştirmeden veri maskelemeye kadar uzanır. Yukarıdaki kütüphanelerle çözülebilse de, çoğu zaman hatırı sayılır zaman ve emek gerektirir.

İşte Textacy burada öne çıkıyor. Textacy, metinsel verilerle çalışırken ortaya çıkan bir dizi yaygın sorunu basit ve kolay bir yolla ele alan bir Python kütüphanesidir. Diğer kütüphaneler benzer işlevler sunsa da, Textacy'nin karakter normalleştirme ve veri maskeleme gibi belirli sorunları çözmeye odaklanması, bu bağlamda onu farklı kılar.

Textacy Karakter Normalleştirme

Karakter normalleştirme, metin verisini standart bir biçime dönüştürme işlemidir ve özellikle çok dilli metinlerle çalışırken önemlidir.

Text = ‘ the cafe “Saint-Raphaël” is loca-/nted on Cote d’Azur.’

Aksanlı karakterler, metin normalleştirmede sık karşılaşılan ve makine öğrenimi modellerinin doğruluğunu önemli ölçüde etkileyebilen bir sorundur.

Sorun, insanların aksanlı karakterleri tutarlı biçimde kullanmamasından kaynaklanır ve bu da veride tutarsızlıklara yol açar.

Örneğin, "Saint-Raphaël" ve "Saint-Raphael" belirli bir varlığa aynı şekilde atıfta bulunabilir; ancak normalleştirme yapılmadığında aynı olarak tanınmayacaktır. Ayrıca metinlerde sıkça satır sonu tireleriyle bölünmüş kelimeler bulunur ve yukarıdaki metinde olduğu gibi apostrof işaretleri tokenizasyon için sorun yaratabilir. Tüm bu nedenlerle, metni normalleştirip aksanları ve süslü karakterleri ASCII karşılıklarıyla değiştirmek mantıklıdır.

Bu amaçla Textacy kullanacağız; çünkü bu sorunu kolay ve verimli biçimde çözmek için güzel bir hazır işlev koleksiyonuna sahiptir. Aşağıdaki tablo, diğer kütüphanelerden bağımsız olarak çalışabilen bazı Textacy ön işleme işlevlerini göstermektedir.

text = "The café "Saint-Raphaël" is loca-\nted on Cote dʼAzur."


import textacy
import textacy.preprocessing as tprep


def normalize(text):
   text = tprep.normalize_hyphenated_words(text)
   text = tprep.normalize_quotation_marks(text)
   text = tprep.normalize_unicode(text)
   text = tprep.remove_accents(text)
   return text

Yukarıdaki, önceden tanımlı Textacy ön işleme işlevlerine dayanan normalize işlevini kullanmak, normalleştirme sorununu minimum çabayla ele almamıza yardımcı olacaktır.

print(normalize(text)

Çıktı:

The cafe Saint-Raphael is located in Cote d' Azure

Textacy Veri Maskeleme

Metinsel veriler genellikle sıradan kelimelerin yanı sıra URL'ler, e-posta adresleri veya telefon numaraları gibi çeşitli tanımlayıcılar da içerir. Bazen özellikle bu öğelerle ilgileniriz. Ancak birçok durumda, bu bilgileri kaldırmak veya maskelemek daha iyi olabilir; ya alakasız oldukları için ya da gizlilik endişeleri nedeniyle.

Textacy, yukarıdaki tabloda gösterildiği gibi veri maskeleme için kullanışlı replace işlevlerine sahiptir. Bu replace işlevleri önceden tanımlıdır; böylece özel düzenli ifade işlevleri yazmadan hassas veya alakasız bilgileri maskelemeyi kolaylaştırır.

text = "Check out https://spacy.io/usage/spacy-101"print(replace_urls(text))

Çıktı:

Check out __URL__

Özet

Bu yazıda, metinsel veriler için veri ön işleme sürecini nasıl basitleştirmek amacıyla textacy'nin kullanılabileceğini gösterdik. Textacy, yerleşik işlev yelpazesiyle karakter normalleştirme ve veri maskeleme gibi yaygın ön işleme zorluklarını ele almayı kolaylaştırır.

Ön işleme sürecini sadeleştirerek Textacy, doğal dil işlemenin daha karmaşık ve zorlu yönlerine odaklanmanın yolunu açar. Duygu analizi, konu modelleme ya da başka herhangi bir NLP görevi üzerinde çalışıyor olun, Textacy verinizi analize hızlı ve verimli biçimde hazır hale getirmenize yardımcı olabilir.

Bir sonraki ön işleme zorluğuyla karşılaştığınızda, iş akışınızı basitleştirmek ve değerli zaman ile emekten tasarruf etmek için Textacy kullanmayı düşünebilirsiniz.

Textacy ile ilgili bu rehberi faydalı bulduysanız ve metin verisi ön işleme ile doğal dil işleme konusunda bilginizi derinleştirmek istiyorsanız, DataCamp'in Python ile Doğal Dil İşleme Temelleri kursuna kaydolmayı düşünebilirsiniz.