Kurs
scikit-learn ile Supervised Learning
4 sa
309.1K
- Veri Keşfi
- Eğitim Verisini Çıkarmak
- Vektörleştirici Sınıflandırıcılar Oluşturma
- Arakesit: Count ve TF-IDF Özellikleri
- Sonuç
“Sahte haberleri” tespit etmek hiç kolay değildir. Önce, sahte haberin ne olduğunu tanımlamanız gerekir – ki bu artık politik bir ifadeye dönüştü. Bir tanım bulur ya da üzerinde uzlaşırsanız, gerçek ve sahte haberleri toplamanız ve doğru etiketlemeniz gerekir (tercihen net ayrımlar göstermek için benzer konular hakkında). Topladıktan sonra, sahte ile gerçeği ayırmak için faydalı özellikler bulmanız gerekir.
Bu problem alanına daha derin bir bakış için, Miguel Martinez-Alvarez’in “Makine Öğrenimi ve Yapay Zekâ Sahte Haber Sorununu Çözmeye Nasıl Yardımcı Olabilir” başlıklı yazısına göz atmanızı öneririm.
Miguel’in ufuk açıcı yazısını okuduğum sıralarda, Bayesçi modellerle başarılı bir sahte haber dedektörü inşa etmek hakkında bir open data science yazısına rastladım. Yazar hatta etiketlenmiş sahte ve gerçek haber örneklerinden oluşan veri kümesi için bir depo bile oluşturmuştu. Sonuçları kolayca çoğaltıp çoğaltamayacağımı ve ardından modelin ne öğrendiğini anlayıp anlayamayacağımı merak ettim.
Bu eğitimde, birlikte bazı ilk keşif adımlarımı izleyecek ve başarılı bir sahte haber dedektörü inşa edip edemeyeceğinizi göreceksiniz!
İpucu: Doğal Dil İşleme (NLP) temelleri hakkında daha fazla bilgi edinmek isterseniz, Python ile Doğal Dil İşleme Temelleri kursunu göz önünde bulundurun.
Veri Keşfi
Başlamak için, her zaman veriye hızlıca göz atmalı ve içeriğine dair bir fikir edinmelisiniz. Bunu yapmak için bir Pandas DataFrame kullanın; şekline, ilk satırlara bakın ve gerekli dönüşümleri uygulayın.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZCIsInNhbXBsZSI6IiMgSW1wb3J0IGBmYWtlX29yX3JlYWxfbmV3cy5jc3ZgIFxuZGYgPSBfXy5fX19fX19fXyhcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuICAgIFxuIyBJbnNwZWN0IHNoYXBlIG9mIGBkZmAgXG5kZi5fX19fX1xuXG4jIFByaW50IGZpcnN0IGxpbmVzIG9mIGBkZmBcbmRmLl9fX19fXyIsInNvbHV0aW9uIjoiIyBJbXBvcnQgYGZha2Vfb3JfcmVhbF9uZXdzLmNzdmAgXG5kZiA9IHBkLnJlYWRfY3N2KFwiaHR0cHM6Ly9zMy5hbWF6b25hd3MuY29tL2Fzc2V0cy5kYXRhY2FtcC5jb20vYmxvZ19hc3NldHMvZmFrZV9vcl9yZWFsX25ld3MuY3N2XCIpXG4gICAgXG4jIEluc3BlY3Qgc2hhcGUgb2YgYGRmYCBcbmRmLnNoYXBlXG5cbiMgUHJpbnQgZmlyc3QgbGluZXMgb2YgYGRmYCBcbmRmLmhlYWQoKSIsInNjdCI6InRlc3Rfb2JqZWN0KFwiZGZcIiwgdW5kZWZpbmVkX21zZz1cIkRpZCB5b3UgaW1wb3J0IHRoZSBkYXRhIGNvcnJlY3RseT9cIixpbmNvcnJlY3RfbXNnPVwiTWFrZSBzdXJlIHRvIHVzZSB0aGUgUGFuZGFzIGByZWFkX2NzdigpYCBmdW5jdGlvbiB0byByZWFkIGluIHRoZSBkYXRhIVwiKVxudGVzdF9vYmplY3RfYWNjZXNzZWQoXCJkZi5zaGFwZVwiLCBub3RfYWNjZXNzZWRfbXNnPVwiRGlkIHlvdSB1c2UgYHNoYXBlYCB0byByZXRyaWV2ZSB0aGUgc2hhcGUgb2YgdGhlIGBkZmA/XCIpXG50ZXN0X2Z1bmN0aW9uKFwiZGYuaGVhZFwiKVxuc3VjY2Vzc19tc2coXCJOaWNlIG9uZSFcIikifQ==
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKSIsInNhbXBsZSI6IiMgU2V0IGluZGV4XG5kZiA9IGRmLnNldF9pbmRleChcIlVubmFtZWQ6IDBcIikgXG5cbiMgUHJpbnQgZmlyc3QgbGluZXMgb2YgYGRmYCBcbmRmLl9fX19fXyIsInNvbHV0aW9uIjoiIyBTZXQgaW5kZXggXG5kZiA9IGRmLnNldF9pbmRleChcIlVubmFtZWQ6IDBcIilcblxuIyBQcmludCBmaXJzdCBsaW5lcyBvZiBgZGZgIFxuZGYuaGVhZCgpIiwic2N0IjoidGVzdF9vYmplY3QoXCJkZlwiKVxudGVzdF9mdW5jdGlvbihcImRmLmhlYWRcIilcbnN1Y2Nlc3NfbXNnKFwiQXdlc29tZSBqb2IhXCIpIn0=
Eğitim Verisini Çıkarmak
Artık DataFrame ihtiyacınıza daha uygun göründüğüne göre, etiketleri ayırmak ve eğitim ile test veri kümelerini oluşturmak istiyorsunuz.
Bu not defterinde, daha uzun makale metnini kullanmaya odaklanmayı seçtim. Özellik çıkarmak için kelime torbası (bag-of-words) ve Terim Frekansı–Ters Belge Frekansı (TF-IDF) kullanacağımı bildiğimden, bu iyi bir tercih gibi göründü. Daha uzun metinler kullanmak, gerçek ve sahte haber verilerim için ayırt edici kelimeler ve özellikler elde etmeye umarım olanak tanır.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdFxuaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoXCJVbm5hbWVkOiAwXCIpICIsInNhbXBsZSI6IiNTZXQgYHlgIFxueSA9IGRmLl9fX19fIFxuIFxuIyBEcm9wIHRoZSBgbGFiZWxgIGNvbHVtbiBcbmRmLl9fX18oXCJsYWJlbFwiLCBheGlzPTEpIFxuIFxuIyBNYWtlIHRyYWluaW5nIGFuZCB0ZXN0IHNldHMgXG5YX3RyYWluLCBYX3Rlc3QsIHlfdHJhaW4sIHlfdGVzdCA9IF9fX19fX19fX19fX19fX18oZGZbJ3RleHQnXSwgeSwgdGVzdF9zaXplPTAuMzMsIHJhbmRvbV9zdGF0ZT01MykiLCJzb2x1dGlvbiI6IiMgU2V0IGB5YCBcbnkgPSBkZi5sYWJlbCBcblxuIyBEcm9wIHRoZSBgbGFiZWxgIGNvbHVtblxuZGYuZHJvcChcImxhYmVsXCIsIGF4aXM9MSlcblxuIyBNYWtlIHRyYWluaW5nIGFuZCB0ZXN0IHNldHMgXG5YX3RyYWluLCBYX3Rlc3QsIHlfdHJhaW4sIHlfdGVzdCA9IHRyYWluX3Rlc3Rfc3BsaXQoZGZbJ3RleHQnXSwgeSwgdGVzdF9zaXplPTAuMzMsIHJhbmRvbV9zdGF0ZT01MykiLCJzY3QiOiJ0ZXN0X29iamVjdChcInlcIilcbnRlc3Rfb2JqZWN0KFwiZGZcIilcbnRlc3Rfb2JqZWN0KFwiWF90ZXN0XCIsIGRvX2V2YWw9RmFsc2UsIHVuZGVmaW5lZF9tc2c9XCJEaWQgeW91IGRlZmluZSBgWF90ZXN0YD9cIilcbnRlc3Rfb2JqZWN0KFwiWF90cmFpblwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYFhfdHJhaW5gP1wiKVxudGVzdF9vYmplY3QoXCJ5X3RyYWluXCIsIGRvX2V2YWw9RmFsc2UsIHVuZGVmaW5lZF9tc2c9XCJEaWQgeW91IGRlZmluZSBgeV90cmFpbmA/XCIpXG50ZXN0X29iamVjdChcInlfdGVzdFwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYHlfdGVzdGA/XCIpXG5zdWNjZXNzX21zZyhcIkF3ZXNvbWUgam9iIVwiKSJ9
Vektörleştirici Sınıflandırıcılar Oluşturma
Artık eğitim ve test verilerinize sahip olduğunuza göre, sınıflandırıcılarınızı oluşturabilirsiniz. Makalelerdeki kelime ve belirteçlerin (token) haberin sahte ya da gerçek olmasında anlamlı bir etkisi olup olmadığını görmek için, önce CountVectorizer ve TfidfVectorizer kullanarak başlayın.
Örnekte, TF-IDF vektörleştirici tfidf_vectorizer için max_df argümanı kullanılarak üst eşik .7 olarak ayarlanmıştır. Bu, makalelerin %70’inden fazlasında geçen kelimeleri kaldırır. Ayrıca, yerleşik stop_words parametresi, vektör oluşturmadan önce veriden İngilizce durdurma kelimelerini kaldıracaktır.
Daha birçok parametre mevcuttur ve bunların tümünü scikit-learn dokümantasyonunda TfidfVectorizer ve CountVectorizer için okuyabilirsiniz.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdCBcbmZyb20gc2tsZWFybi5mZWF0dXJlX2V4dHJhY3Rpb24udGV4dCBpbXBvcnQgQ291bnRWZWN0b3JpemVyIFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoJ1VubmFtZWQ6IDAnKVxueSA9IGRmLmxhYmVsXG5kZiA9IGRmLmRyb3AoJ2xhYmVsJywgYXhpcz0xKVxuWF90cmFpbiwgWF90ZXN0LCB5X3RyYWluLCB5X3Rlc3QgPSB0cmFpbl90ZXN0X3NwbGl0KGRmWyd0ZXh0J10sIHksIHRlc3Rfc2l6ZT0wLjMzLCByYW5kb21fc3RhdGU9NTMpIiwic2FtcGxlIjoiIyBJbml0aWFsaXplIHRoZSBgY291bnRfdmVjdG9yaXplcmAgXG5jb3VudF92ZWN0b3JpemVyID0gX19fX19fX19fX19fX19fKHN0b3Bfd29yZHM9J2VuZ2xpc2gnKSBcblxuIyBGaXQgYW5kIHRyYW5zZm9ybSB0aGUgdHJhaW5pbmcgZGF0YSBcbmNvdW50X3RyYWluID0gY291bnRfdmVjdG9yaXplci5fX19fX19fX19fX19fKFhfdHJhaW4pIFxuXG4jIFRyYW5zZm9ybSB0aGUgdGVzdCBzZXRcbmNvdW50X3Rlc3QgPSBjb3VudF92ZWN0b3JpemVyLl9fX19fX19fXyhYX3Rlc3QpIiwic29sdXRpb24iOiIjIEluaXRpYWxpemUgdGhlIGBjb3VudF92ZWN0b3JpemVyYCBcbmNvdW50X3ZlY3Rvcml6ZXIgPSBDb3VudFZlY3Rvcml6ZXIoc3RvcF93b3Jkcz0nZW5nbGlzaCcpXG5cbiMgRml0IGFuZCB0cmFuc2Zvcm0gdGhlIHRyYWluaW5nIGRhdGEgXG5jb3VudF90cmFpbiA9IGNvdW50X3ZlY3Rvcml6ZXIuZml0X3RyYW5zZm9ybShYX3RyYWluKSBcblxuIyBUcmFuc2Zvcm0gdGhlIHRlc3Qgc2V0IFxuY291bnRfdGVzdCA9IGNvdW50X3ZlY3Rvcml6ZXIudHJhbnNmb3JtKFhfdGVzdCkiLCJzY3QiOiJ0ZXN0X29iamVjdChcImNvdW50X3ZlY3Rvcml6ZXJcIiwgZG9fZXZhbD1GYWxzZSlcbnRlc3Rfb2JqZWN0KFwiY291bnRfdHJhaW5cIiwgZG9fZXZhbD1GYWxzZSlcbnRlc3Rfb2JqZWN0KFwiY291bnRfdGVzdFwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYGNvdW50X3Rlc3RgP1wiKVxuc3VjY2Vzc19tc2coXCJHcmVhdCBqb2IhXCIpIn0=
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdCBcbmZyb20gc2tsZWFybi5mZWF0dXJlX2V4dHJhY3Rpb24udGV4dCBpbXBvcnQgVGZpZGZWZWN0b3JpemVyIFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoJ1VubmFtZWQ6IDAnKVxueSA9IGRmLmxhYmVsXG5kZiA9IGRmLmRyb3AoJ2xhYmVsJywgYXhpcz0xKVxuWF90cmFpbiwgWF90ZXN0LCB5X3RyYWluLCB5X3Rlc3QgPSB0cmFpbl90ZXN0X3NwbGl0KGRmWyd0ZXh0J10sIHksIHRlc3Rfc2l6ZT0wLjMzLCByYW5kb21fc3RhdGU9NTMpIiwic2FtcGxlIjoiIyBJbml0aWFsaXplIHRoZSBgdGZpZGZfdmVjdG9yaXplcmBcbnRmaWRmX3ZlY3Rvcml6ZXIgPSBfX19fX19fX19fX19fX18oc3RvcF93b3Jkcz0nZW5nbGlzaCcsIG1heF9kZj0wLjcpIFxuXG4jIEZpdCBhbmQgdHJhbnNmb3JtIHRoZSB0cmFpbmluZyBkYXRhIFxudGZpZGZfdHJhaW4gPSB0ZmlkZl92ZWN0b3JpemVyLl9fX19fX19fX19fX18oWF90cmFpbikgXG5cbiMgVHJhbnNmb3JtIHRoZSB0ZXN0IHNldCBcbnRmaWRmX3Rlc3QgPSB0ZmlkZl92ZWN0b3JpemVyLl9fX19fX19fXyhYX3Rlc3QpIiwic29sdXRpb24iOiIjIEluaXRpYWxpemUgdGhlIGB0ZmlkZl92ZWN0b3JpemVyYCBcbnRmaWRmX3ZlY3Rvcml6ZXIgPSBUZmlkZlZlY3Rvcml6ZXIoc3RvcF93b3Jkcz0nZW5nbGlzaCcsIG1heF9kZj0wLjcpIFxuXG4jIEZpdCBhbmQgdHJhbnNmb3JtIHRoZSB0cmFpbmluZyBkYXRhIFxudGZpZGZfdHJhaW4gPSB0ZmlkZl92ZWN0b3JpemVyLmZpdF90cmFuc2Zvcm0oWF90cmFpbikgXG5cbiMgVHJhbnNmb3JtIHRoZSB0ZXN0IHNldCBcbnRmaWRmX3Rlc3QgPSB0ZmlkZl92ZWN0b3JpemVyLnRyYW5zZm9ybShYX3Rlc3QpIiwic2N0IjoidGVzdF9vYmplY3QoXCJ0ZmlkZl92ZWN0b3JpemVyXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInRmaWRmX3RyYWluXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInRmaWRmX3Rlc3RcIiwgZG9fZXZhbD1GYWxzZSwgdW5kZWZpbmVkX21zZz1cIkRpZCB5b3UgZGVmaW5lIGBjb3VudF90ZXN0YD9cIilcbnN1Y2Nlc3NfbXNnKFwiV2VsbCBkb25lIVwiKSJ9
Artık vektörlere sahip olduğunuza göre, count_vectorizer ve tfidf_vectorizer içinde saklanan vektör özelliklerine göz atabilirsiniz.
Dikkat çeken sorunlar var mı? (Evet!)
Kullandığınız veri kümesinde açıkça yorumlar, ölçümler ya da başka anlamsız kelimelerin yanı sıra çok dilli makaleler de bulunuyor. Normalde, bu aşamada daha fazla zaman harcayıp ön işleme yaparak gürültüyü temizlemek istersiniz; fakat bu eğitim sadece küçük bir kavram kanıtını gösterdiği için, modelin bu gürültüyü aşarak bu sorunlara rağmen doğru sınıflandırma yapıp yapamayacağını göreceksiniz.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdFxuZnJvbSBza2xlYXJuLmZlYXR1cmVfZXh0cmFjdGlvbi50ZXh0IGltcG9ydCBUZmlkZlZlY3Rvcml6ZXIsIENvdW50VmVjdG9yaXplciBcbmRmID0gcGQucmVhZF9jc3YoXCJodHRwczovL3MzLmFtYXpvbmF3cy5jb20vYXNzZXRzLmRhdGFjYW1wLmNvbS9ibG9nX2Fzc2V0cy9mYWtlX29yX3JlYWxfbmV3cy5jc3ZcIilcbmRmID0gZGYuc2V0X2luZGV4KCdVbm5hbWVkOiAwJylcbnkgPSBkZi5sYWJlbFxuZGYgPSBkZi5kcm9wKCdsYWJlbCcsIGF4aXM9MSlcblhfdHJhaW4sIFhfdGVzdCwgeV90cmFpbiwgeV90ZXN0ID0gdHJhaW5fdGVzdF9zcGxpdChkZlsndGV4dCddLCB5LCB0ZXN0X3NpemU9MC4zMywgcmFuZG9tX3N0YXRlPTUzKVxudGZpZGZfdmVjdG9yaXplciA9IFRmaWRmVmVjdG9yaXplcihzdG9wX3dvcmRzPSdlbmdsaXNoJywgbWF4X2RmPTAuNylcbnRmaWRmX3RyYWluID0gdGZpZGZfdmVjdG9yaXplci5maXRfdHJhbnNmb3JtKFhfdHJhaW4pXG50ZmlkZl90ZXN0ID0gdGZpZGZfdmVjdG9yaXplci50cmFuc2Zvcm0oWF90ZXN0KVxuY291bnRfdmVjdG9yaXplciA9IENvdW50VmVjdG9yaXplcihzdG9wX3dvcmRzPSdlbmdsaXNoJylcbmNvdW50X3RyYWluID0gY291bnRfdmVjdG9yaXplci5maXRfdHJhbnNmb3JtKFhfdHJhaW4pIFxuY291bnRfdGVzdCA9IGNvdW50X3ZlY3Rvcml6ZXIudHJhbnNmb3JtKFhfdGVzdCkiLCJzYW1wbGUiOiIjIEdldCB0aGUgZmVhdHVyZSBuYW1lcyBvZiBgdGZpZGZfdmVjdG9yaXplcmAgXG5wcmludCh0ZmlkZl92ZWN0b3JpemVyLl9fX19fX19fX19fKClbLTEwOl0pXG5cbiMgR2V0IHRoZSBmZWF0dXJlIG5hbWVzIG9mIGBjb3VudF92ZWN0b3JpemVyYCBcbnByaW50KGNvdW50X3ZlY3Rvcml6ZXIuX19fX19fX19fX18oKVs6MTBdKSIsInNvbHV0aW9uIjoiIyBHZXQgdGhlIGZlYXR1cmUgbmFtZXMgb2YgYHRmaWRmX3ZlY3Rvcml6ZXJgIFxucHJpbnQodGZpZGZfdmVjdG9yaXplci5nZXRfZmVhdHVyZV9uYW1lcygpWy0xMDpdKVxuXG4jIEdldCB0aGUgZmVhdHVyZSBuYW1lcyBvZiBgY291bnRfdmVjdG9yaXplcmAgXG5wcmludChjb3VudF92ZWN0b3JpemVyLmdldF9mZWF0dXJlX25hbWVzKClbOjEwXSkiLCJzY3QiOiJ0ZXN0X2Z1bmN0aW9uKFwicHJpbnRcIiwgMSlcbnRlc3RfZnVuY3Rpb24oXCJwcmludFwiLCAyKVxuc3VjY2Vzc19tc2coXCJXZWxsIGRvbmUhXCIpIn0=
Arakesit: Count ve TF-IDF Özellikleri
Count ve TF-IDF vektörleştiricilerimin farklı belirteçler çıkarıp çıkarmadığını merak ettim. Özelliklere bakıp karşılaştırmak için, vektör bilgisini yeniden bir DataFrame’e aktarabilir ve kolay Python karşılaştırmaları yapabilirsiniz.
Aşağıdaki hücreleri çalıştırdığınızda görebileceğiniz gibi, her iki vektörleştirici de aynı belirteçleri çıkardı, ancak ağırlıkları doğal olarak farklı. Muhtemelen, TF-IDF vektörleştiricinin max_df ve min_df değerlerini değiştirmek, sonucu etkileyebilir ve her birinde farklı özelliklere yol açabilir.
In [15]:
count_df = pd.DataFrame(count_train.A, columns=count_vectorizer.get_feature_names())In [16]:
tfidf_df = pd.DataFrame(tfidf_train.A, columns=tfidf_vectorizer.get_feature_names())In [17]:
difference = set(count_df.columns) - set(tfidf_df.columns)differenceOut[17]:
In [18]:
print(count_df.equals(tfidf_df))In [19]:
count_df.head()Out[19]:
In [20]:
tfidf_df.head()Out[20]:
Modelleri Karşılaştırma
Şimdi modellerinizi eğitip test etme zamanı.
Burada, bir NLP klasiği olan MultinomialNB ile başlayacaksınız. Bunu TF-IDF’e karşı kelime torbasını karşılaştırmak için kullanabilirsiniz. Sezgim, kelime torbasının (diğer adıyla CountVectorizer) bu modelle daha iyi performans göstereceği yönündeydi. (Çok terimli dağılım ve neden tamsayılarla en iyi çalıştığı hakkında daha fazla okumak için, UPenn istatistik dersinden oldukça öz bir açıklamaya göz atın).
Kişisel olarak Karmaşıklık (Confusion) Matrislerini karşılaştırmayı ve okumayı daha kolay buluyorum, bu yüzden scikit-learn dokümantasyonunu kullanarak kolay okunur karmaşıklık matrisleri oluşturdum (teşekkürler açık kaynak!). Bir karmaşıklık matrisi, ana diyagonal üzerinde (sol üstten sağ alta) doğru etiketleri gösterir. Diğer hücreler yanlış etiketleri gösterir; bunlar genellikle yanlış pozitif veya yanlış negatif olarak anılır. Probleminize bağlı olarak bunlardan biri daha önemli olabilir. Örneğin sahte haber probleminde, gerçek haber makalelerini sahte olarak etiketlemememiz daha mı önemli? Eğer öyleyse, doğruluk puanımızı bu kaygıyı daha iyi yansıtacak şekilde nihayetinde ağırlıklandırmak isteyebiliriz.
Karmaşıklık Matrislerinin yanı sıra, scikit-learn modellerinizi görselleştirmek ve karşılaştırmak için birçok yol sunar. Popüler yöntemlerden biri ROC Eğrisi kullanmaktır. Modelinizi değerlendirmek için scikit-learn metrics modülünde daha birçok yöntem mevcuttur.
In [21]:
def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues): """ See full source and example: http://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation='nearest', cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print('Confusion matrix, without normalization') thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])): plt.text(j, i, cm[i, j], horizontalalignment="center", color="white" if cm[i, j] > thresh else "black") plt.tight_layout() plt.ylabel('True label') plt.xlabel('Predicted label')In [22]:
clf = MultinomialNB()In [23]:
clf.fit(tfidf_train, y_train)pred = clf.predict(tfidf_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.857Confusion matrix, without normalization
In [24]:
clf = MultinomialNB() In [25]:
clf.fit(count_train, y_train)pred = clf.predict(count_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.893Confusion matrix, without normalization
Ve gerçekten de, hiçbir parametre ayarı yapmadan, count vektörleştirilmiş eğitim kümeniz count_train TF-IDF vektörlerinizi gözle görülür şekilde geride bırakıyor!
Doğrusal Modelleri Test Etme
TF-IDF vektörleştiricilerle doğrusal modellerin iyi çalıştığına dair harika yazılar var (bkz. sınıflandırma için word2vec, scikit-learn metin analizinde SVM referansı ve daha fazlası).
Öyleyse bir SVM mi kullanmalısınız?
Ben yakın zamanda Victor Lavrenko’nun metin sınıflandırma dersini izledim ve metin sınıflandırması için Pascal-Aggressive (Passive Aggressive) sınıflandırıcıları doğrusal SVM’lerle karşılaştırıyor. Bu yaklaşımı (kayda değer hız avantajları ve kalıcı öğrenme dezavantajları var) sahte haber veri kümesiyle test edeceğiz.
In [26]:
linear_clf = PassiveAggressiveClassifier(n_iter=50)In [27]:
linear_clf.fit(tfidf_train, y_train)pred = linear_clf.predict(tfidf_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.936Confusion matrix, without normalization
Vay canına!
Etkilendim. Karmaşıklık matrisi farklı görünüyor ve model sahte haberleri biraz daha iyi sınıflandırıyor. MultinomialNB için alpha değerini ayarlamanın benzer sonuçlar üretip üretmediğini test edebiliriz. Daha kapsamlı bir arama için ızgara aramasıyla (grid search) parametre ayarı da yapabilirsiniz.
In [28]:
clf = MultinomialNB(alpha=0.1)In [29]:
last_score = 0for alpha in np.arange(0,1,.1): nb_classifier = MultinomialNB(alpha=alpha) nb_classifier.fit(tfidf_train, y_train) pred = nb_classifier.predict(tfidf_test) score = metrics.accuracy_score(y_test, pred) if score > last_score: clf = nb_classifier print("Alpha: {:.2f} Score: {:.5f}".format(alpha, score))Pek değil... Bu noktada, tüm sınıflandırıcılar arasında parametre ayarı yapmak ya da bazı diğer scikit-learn Bayesçi sınıflandırıcılarına bakmak ilginç olabilir. Ayrıca, Pasif Agresif sınıflandırıcıyı geride bırakıp bırakmadığını görmek için bir Destek Vektör Makinesi (SVM) ile de test edebilirsiniz.
Fakat ben, Pasif Agresif modelin aslında ne öğrendiğini biraz daha merak ediyorum. O halde irdelemeye geçelim.
Modelleri İrdeleme
Demek sahte haber sorunu çözüldü, öyle mi? Veri kümemde %93 doğruluk elde ettik; o zaman dükkanı kapatıp eve gidelim.
Elbette, pek değil. Özelliklerde ne kadar gürültü gördüğümüz düşünüldüğünde bu sonuçlara en iyi ihtimalle temkinli yaklaşıyorum. Etiketleri en çok etkileyen vektörleri bulmak için son derece faydalı bir işleve sahip harika bir StackOverflow yazısı var. Yalnızca ikili sınıflandırmada (iki sınıflı sınıflandırıcılar) çalışıyor, fakat bu sizin için iyi haber; zira elinizde yalnızca FAKE veya REAL etiketleri var.
En iyi performans gösteren sınıflandırıcınızı TF-IDF vektör veri kümenizle (tfidf_vectorizer) ve Pasif Agresif sınıflandırıcıyla (linear_clf) kullanarak, sahte ve gerçek haberler için ilk 30 vektörü inceleyin:
In [30]:
Bunu, katsayılarınızı özelliklerinizle eşleyip listenizin en üst ve en altına bakarak yalnızca birkaç satır Python ile oldukça bariz bir şekilde de yapabilirsiniz.
In [31]:
feature_names = tfidf_vectorizer.get_feature_names()In [32]:
### Most realsorted(zip(clf.coef_[0], feature_names), reverse=True)[:20]Out[32]:
In [33]:
### Most fakesorted(zip(clf.coef_[0], feature_names))[:20]Out[33]:
Görüldüğü üzere, en üstteki sahte özelliklerde (örneğin corporate ve establishment gibi kelimeler) siyasi niyet ve kaynağı işaret edebilecek bazı kelimeler var.
Ayrıca, gerçek haber verileri “to say” fiilinin çekimlerini daha sık kullanıyor; muhtemelen gazetelerde ve çoğu habercilik yayınında kaynaklar doğrudan alıntılandığı için (“Almanya Şansölyesi Angela Merkel söyledi...”).
Geçerli sınıflandırıcınızdan tam listeyi çıkarmak ve her belirtece bakmak (ya da sınıflandırıcıdan sınıflandırıcıya belirteçleri kolayca karşılaştırmak) için, bunu kolayca şu şekilde dışa aktarabilirsiniz.
In [34]:
tokens_with_weights = sorted(list(zip(feature_names, clf.coef_[0])))Arakesit: HashingVectorizer
Metin sınıflandırmasında bazen kullanılan bir diğer vektörleştirici de HashingVectorizer’dır. HashingVectorizerlar daha az bellek kullanır ve daha hızlıdır (seyrektirler ve belirteçler yerine hash kullanırlar) ancak irdelemesi daha zordur. İlgileniyorsanız, HashingVectorizer kullanmanın artı ve eksileri hakkında scikit-learn dokümantasyonunda biraz daha okuyabilirsiniz.
Deneyebilir ve sonuçlarını diğer vektörleştiricilerle karşılaştırabilirsiniz. MultinomialNB kullanıldığında TF-IDF vektörleştiriciden daha iyi sonuçlarla oldukça iyi performans gösterir (bu, CountVectorizerların daha iyi performans göstermesiyle aynı nedenlerden dolayı bir ölçüde beklenir), ancak Pasif Agresif doğrusal algoritmayla TF-IDF vektörleştirici kadar iyi değildir.
In [35]:
hash_vectorizer = HashingVectorizer(stop_words='english', non_negative=True)hash_train = hash_vectorizer.fit_transform(X_train)hash_test = hash_vectorizer.transform(X_test)In [36]:
clf = MultinomialNB(alpha=.01)In [37]:
clf.fit(hash_train, y_train)pred = clf.predict(hash_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.902Confusion matrix, without normalization
In [38]:
clf = PassiveAggressiveClassifier(n_iter=50)In [39]:
clf.fit(hash_train, y_train)pred = clf.predict(hash_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.921Confusion matrix, without normalization
Sonuç
Peki sahte haber sınıflandırıcı deneyiniz başarılı oldu mu? Kesinlikle hayır.
Fakat yeni bir veri kümesiyle oynama fırsatı buldunuz, bazı NLP sınıflandırma modellerini denediniz ve ne kadar başarılı olduklarını irdelediniz mi? Evet.
Başından beri beklendiği üzere, sahte haberleri basit kelime torbası veya TF-IDF vektörleriyle tanımlamak aşırı basitleştirilmiş bir yaklaşımdır. Özellikle gürültülü belirteçlerle dolu çok dilli bir veri kümesiyle. Modelinizin gerçekte ne öğrendiğine bakmamış olsaydınız, modelin anlamlı bir şey öğrendiğini düşünebilirdiniz. Bu yüzden unutmayın: modellerinizi her zaman (elinizden geldiğince) irdeleyin.
Veride benim gözümden kaçan başka eğilimler bulursanız merak ederim. Önemli özellikler açısından farklı sınıflandırıcıların nasıl karşılaştırıldığını anlatan bir yazıyla blogumda devam edeceğim. Araştırmaya biraz zaman ayırıp ilginç bir şey bulursanız, bulgularınızı ve notlarınızı yorumlarda paylaşmaktan çekinmeyin ya da her zaman Twitter’dan ulaşabilirsiniz (ben @kjam).
Benimle birlikte yeni bir NLP veri kümesini keşfederken eğlendiğinizi umarım!
DataCamp’in Python ile Makine Öğrenimi: Scikit-Learn Eğitimine göz atın.
