Kursus
Supervised Learning dengan scikit-learn
4 jam
306K
- Eksplorasi Data
- Mengekstraksi Data Pelatihan
- Membangun Klasifikasi dengan Vektorisasi
- Intermezzo: Fitur Count vs TF-IDF
- Kesimpulan
Mendeteksi apa yang disebut “berita palsu” bukanlah tugas mudah. Pertama, mendefinisikan apa itu berita palsu—mengingat istilah ini kini juga menjadi pernyataan politik. Jika Anda dapat menemukan atau menyepakati definisinya, maka Anda harus mengumpulkan dan memberi label dengan benar untuk berita nyata dan palsu (sebaiknya pada topik serupa agar perbedaannya terlihat jelas). Setelah dikumpulkan, Anda harus menemukan fitur yang berguna untuk membedakan berita palsu dari yang asli.
Untuk tinjauan yang lebih mendalam tentang ruang masalah ini, saya merekomendasikan tulisan Miguel Martinez-Alvarez “How can Machine Learning and AI Help Solve the Fake News Problem”.
Kira-kira pada waktu yang sama saya membaca tulisan Miguel yang penuh wawasan, saya menemukan artikel open data science tentang membangun detektor berita palsu yang sukses dengan model Bayesian. Penulisnya bahkan membuat repositori dengan dataset contoh berita palsu dan nyata yang sudah ditandai. Saya penasaran apakah saya bisa dengan mudah mereproduksi hasilnya, dan apakah saya kemudian bisa mengetahui apa yang dipelajari model tersebut.
Di tutorial ini, Anda akan menelusuri sebagian eksplorasi awal saya dan melihat apakah Anda bisa membangun detektor berita palsu yang berhasil!
Tip: jika Anda ingin mempelajari lebih lanjut dasar-dasar Natural Language Processing (NLP), pertimbangkan untuk mengambil kursus Natural Language Processing Fundamentals in Python.
Eksplorasi Data
Untuk memulai, Anda sebaiknya selalu melihat sekilas data dan memahami isinya. Untuk itu, gunakan Pandas DataFrame dan periksa shape, head, serta terapkan transformasi yang diperlukan.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZCIsInNhbXBsZSI6IiMgSW1wb3J0IGBmYWtlX29yX3JlYWxfbmV3cy5jc3ZgIFxuZGYgPSBfXy5fX19fX19fXyhcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuICAgIFxuIyBJbnNwZWN0IHNoYXBlIG9mIGBkZmAgXG5kZi5fX19fX1xuXG4jIFByaW50IGZpcnN0IGxpbmVzIG9mIGBkZmBcbmRmLl9fX19fXyIsInNvbHV0aW9uIjoiIyBJbXBvcnQgYGZha2Vfb3JfcmVhbF9uZXdzLmNzdmAgXG5kZiA9IHBkLnJlYWRfY3N2KFwiaHR0cHM6Ly9zMy5hbWF6b25hd3MuY29tL2Fzc2V0cy5kYXRhY2FtcC5jb20vYmxvZ19hc3NldHMvZmFrZV9vcl9yZWFsX25ld3MuY3N2XCIpXG4gICAgXG4jIEluc3BlY3Qgc2hhcGUgb2YgYGRmYCBcbmRmLnNoYXBlXG5cbiMgUHJpbnQgZmlyc3QgbGluZXMgb2YgYGRmYCBcbmRmLmhlYWQoKSIsInNjdCI6InRlc3Rfb2JqZWN0KFwiZGZcIiwgdW5kZWZpbmVkX21zZz1cIkRpZCB5b3UgaW1wb3J0IHRoZSBkYXRhIGNvcnJlY3RseT9cIixpbmNvcnJlY3RfbXNnPVwiTWFrZSBzdXJlIHRvIHVzZSB0aGUgUGFuZGFzIGByZWFkX2NzdigpYCBmdW5jdGlvbiB0byByZWFkIGluIHRoZSBkYXRhIVwiKVxudGVzdF9vYmplY3RfYWNjZXNzZWQoXCJkZi5zaGFwZVwiLCBub3RfYWNjZXNzZWRfbXNnPVwiRGlkIHlvdSB1c2UgYHNoYXBlYCB0byByZXRyaWV2ZSB0aGUgc2hhcGUgb2YgdGhlIGBkZmA/XCIpXG50ZXN0X2Z1bmN0aW9uKFwiZGYuaGVhZFwiKVxuc3VjY2Vzc19tc2coXCJOaWNlIG9uZSFcIikifQ==
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKSIsInNhbXBsZSI6IiMgU2V0IGluZGV4XG5kZiA9IGRmLnNldF9pbmRleChcIlVubmFtZWQ6IDBcIikgXG5cbiMgUHJpbnQgZmlyc3QgbGluZXMgb2YgYGRmYCBcbmRmLl9fX19fXyIsInNvbHV0aW9uIjoiIyBTZXQgaW5kZXggXG5kZiA9IGRmLnNldF9pbmRleChcIlVubmFtZWQ6IDBcIilcblxuIyBQcmludCBmaXJzdCBsaW5lcyBvZiBgZGZgIFxuZGYuaGVhZCgpIiwic2N0IjoidGVzdF9vYmplY3QoXCJkZlwiKVxudGVzdF9mdW5jdGlvbihcImRmLmhlYWRcIilcbnN1Y2Nlc3NfbXNnKFwiQXdlc29tZSBqb2IhXCIpIn0=
Mengekstraksi Data Pelatihan
Sekarang setelah DataFrame terlihat lebih sesuai kebutuhan, Anda ingin memisahkan label dan menyiapkan dataset pelatihan serta pengujian.
Untuk notebook ini, saya memutuskan berfokus pada penggunaan teks artikel yang lebih panjang. Karena saya tahu akan menggunakan bag-of-words dan Term Frequency–Inverse Document Frequency (TF-IDF) untuk mengekstrak fitur, ini tampak seperti pilihan yang baik. Menggunakan teks yang lebih panjang semoga memungkinkan adanya kata dan fitur yang berbeda untuk data berita nyata dan palsu saya.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdFxuaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoXCJVbm5hbWVkOiAwXCIpICIsInNhbXBsZSI6IiNTZXQgYHlgIFxueSA9IGRmLl9fX19fIFxuIFxuIyBEcm9wIHRoZSBgbGFiZWxgIGNvbHVtbiBcbmRmLl9fX18oXCJsYWJlbFwiLCBheGlzPTEpIFxuIFxuIyBNYWtlIHRyYWluaW5nIGFuZCB0ZXN0IHNldHMgXG5YX3RyYWluLCBYX3Rlc3QsIHlfdHJhaW4sIHlfdGVzdCA9IF9fX19fX19fX19fX19fX18oZGZbJ3RleHQnXSwgeSwgdGVzdF9zaXplPTAuMzMsIHJhbmRvbV9zdGF0ZT01MykiLCJzb2x1dGlvbiI6IiMgU2V0IGB5YCBcbnkgPSBkZi5sYWJlbCBcblxuIyBEcm9wIHRoZSBgbGFiZWxgIGNvbHVtblxuZGYuZHJvcChcImxhYmVsXCIsIGF4aXM9MSlcblxuIyBNYWtlIHRyYWluaW5nIGFuZCB0ZXN0IHNldHMgXG5YX3RyYWluLCBYX3Rlc3QsIHlfdHJhaW4sIHlfdGVzdCA9IHRyYWluX3Rlc3Rfc3BsaXQoZGZbJ3RleHQnXSwgeSwgdGVzdF9zaXplPTAuMzMsIHJhbmRvbV9zdGF0ZT01MykiLCJzY3QiOiJ0ZXN0X29iamVjdChcInlcIilcbnRlc3Rfb2JqZWN0KFwiZGZcIilcbnRlc3Rfb2JqZWN0KFwiWF90ZXN0XCIsIGRvX2V2YWw9RmFsc2UsIHVuZGVmaW5lZF9tc2c9XCJEaWQgeW91IGRlZmluZSBgWF90ZXN0YD9cIilcbnRlc3Rfb2JqZWN0KFwiWF90cmFpblwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYFhfdHJhaW5gP1wiKVxudGVzdF9vYmplY3QoXCJ5X3RyYWluXCIsIGRvX2V2YWw9RmFsc2UsIHVuZGVmaW5lZF9tc2c9XCJEaWQgeW91IGRlZmluZSBgeV90cmFpbmA/XCIpXG50ZXN0X29iamVjdChcInlfdGVzdFwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYHlfdGVzdGA/XCIpXG5zdWNjZXNzX21zZyhcIkF3ZXNvbWUgam9iIVwiKSJ9
Membangun Klasifikasi dengan Vektorisasi
Sekarang setelah Anda memiliki data pelatihan dan pengujian, Anda dapat membangun pengklasifikasi. Untuk mengetahui apakah kata dan token dalam artikel berdampak signifikan pada status berita palsu atau asli, Anda mulai dengan menggunakan CountVectorizer dan TfidfVectorizer.
Anda akan melihat contoh memiliki ambang maksimum diatur pada .7 untuk vektorisasi TF-IDF tfidf_vectorizer menggunakan argumen max_df. Ini menghapus kata yang muncul di lebih dari 70% artikel. Selain itu, parameter stop_words bawaan akan menghapus stop words bahasa Inggris dari data sebelum membuat vektor.
Masih banyak parameter lain yang tersedia dan Anda dapat membacanya di dokumentasi scikit-learn untuk TfidfVectorizer dan CountVectorizer.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdCBcbmZyb20gc2tsZWFybi5mZWF0dXJlX2V4dHJhY3Rpb24udGV4dCBpbXBvcnQgQ291bnRWZWN0b3JpemVyIFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoJ1VubmFtZWQ6IDAnKVxueSA9IGRmLmxhYmVsXG5kZiA9IGRmLmRyb3AoJ2xhYmVsJywgYXhpcz0xKVxuWF90cmFpbiwgWF90ZXN0LCB5X3RyYWluLCB5X3Rlc3QgPSB0cmFpbl90ZXN0X3NwbGl0KGRmWyd0ZXh0J10sIHksIHRlc3Rfc2l6ZT0wLjMzLCByYW5kb21fc3RhdGU9NTMpIiwic2FtcGxlIjoiIyBJbml0aWFsaXplIHRoZSBgY291bnRfdmVjdG9yaXplcmAgXG5jb3VudF92ZWN0b3JpemVyID0gX19fX19fX19fX19fX19fKHN0b3Bfd29yZHM9J2VuZ2xpc2gnKSBcblxuIyBGaXQgYW5kIHRyYW5zZm9ybSB0aGUgdHJhaW5pbmcgZGF0YSBcbmNvdW50X3RyYWluID0gY291bnRfdmVjdG9yaXplci5fX19fX19fX19fX19fKFhfdHJhaW4pIFxuXG4jIFRyYW5zZm9ybSB0aGUgdGVzdCBzZXRcbmNvdW50X3Rlc3QgPSBjb3VudF92ZWN0b3JpemVyLl9fX19fX19fXyhYX3Rlc3QpIiwic29sdXRpb24iOiIjIEluaXRpYWxpemUgdGhlIGBjb3VudF92ZWN0b3JpemVyYCBcbmNvdW50X3ZlY3Rvcml6ZXIgPSBDb3VudFZlY3Rvcml6ZXIoc3RvcF93b3Jkcz0nZW5nbGlzaCcpXG5cbiMgRml0IGFuZCB0cmFuc2Zvcm0gdGhlIHRyYWluaW5nIGRhdGEgXG5jb3VudF90cmFpbiA9IGNvdW50X3ZlY3Rvcml6ZXIuZml0X3RyYW5zZm9ybShYX3RyYWluKSBcblxuIyBUcmFuc2Zvcm0gdGhlIHRlc3Qgc2V0IFxuY291bnRfdGVzdCA9IGNvdW50X3ZlY3Rvcml6ZXIudHJhbnNmb3JtKFhfdGVzdCkiLCJzY3QiOiJ0ZXN0X29iamVjdChcImNvdW50X3ZlY3Rvcml6ZXJcIiwgZG9fZXZhbD1GYWxzZSlcbnRlc3Rfb2JqZWN0KFwiY291bnRfdHJhaW5cIiwgZG9fZXZhbD1GYWxzZSlcbnRlc3Rfb2JqZWN0KFwiY291bnRfdGVzdFwiLCBkb19ldmFsPUZhbHNlLCB1bmRlZmluZWRfbXNnPVwiRGlkIHlvdSBkZWZpbmUgYGNvdW50X3Rlc3RgP1wiKVxuc3VjY2Vzc19tc2coXCJHcmVhdCBqb2IhXCIpIn0=
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdCBcbmZyb20gc2tsZWFybi5mZWF0dXJlX2V4dHJhY3Rpb24udGV4dCBpbXBvcnQgVGZpZGZWZWN0b3JpemVyIFxuZGYgPSBwZC5yZWFkX2NzdihcImh0dHBzOi8vczMuYW1hem9uYXdzLmNvbS9hc3NldHMuZGF0YWNhbXAuY29tL2Jsb2dfYXNzZXRzL2Zha2Vfb3JfcmVhbF9uZXdzLmNzdlwiKVxuZGYgPSBkZi5zZXRfaW5kZXgoJ1VubmFtZWQ6IDAnKVxueSA9IGRmLmxhYmVsXG5kZiA9IGRmLmRyb3AoJ2xhYmVsJywgYXhpcz0xKVxuWF90cmFpbiwgWF90ZXN0LCB5X3RyYWluLCB5X3Rlc3QgPSB0cmFpbl90ZXN0X3NwbGl0KGRmWyd0ZXh0J10sIHksIHRlc3Rfc2l6ZT0wLjMzLCByYW5kb21fc3RhdGU9NTMpIiwic2FtcGxlIjoiIyBJbml0aWFsaXplIHRoZSBgdGZpZGZfdmVjdG9yaXplcmBcbnRmaWRmX3ZlY3Rvcml6ZXIgPSBfX19fX19fX19fX19fX18oc3RvcF93b3Jkcz0nZW5nbGlzaCcsIG1heF9kZj0wLjcpIFxuXG4jIEZpdCBhbmQgdHJhbnNmb3JtIHRoZSB0cmFpbmluZyBkYXRhIFxudGZpZGZfdHJhaW4gPSB0ZmlkZl92ZWN0b3JpemVyLl9fX19fX19fX19fX18oWF90cmFpbikgXG5cbiMgVHJhbnNmb3JtIHRoZSB0ZXN0IHNldCBcbnRmaWRmX3Rlc3QgPSB0ZmlkZl92ZWN0b3JpemVyLl9fX19fX19fXyhYX3Rlc3QpIiwic29sdXRpb24iOiIjIEluaXRpYWxpemUgdGhlIGB0ZmlkZl92ZWN0b3JpemVyYCBcbnRmaWRmX3ZlY3Rvcml6ZXIgPSBUZmlkZlZlY3Rvcml6ZXIoc3RvcF93b3Jkcz0nZW5nbGlzaCcsIG1heF9kZj0wLjcpIFxuXG4jIEZpdCBhbmQgdHJhbnNmb3JtIHRoZSB0cmFpbmluZyBkYXRhIFxudGZpZGZfdHJhaW4gPSB0ZmlkZl92ZWN0b3JpemVyLmZpdF90cmFuc2Zvcm0oWF90cmFpbikgXG5cbiMgVHJhbnNmb3JtIHRoZSB0ZXN0IHNldCBcbnRmaWRmX3Rlc3QgPSB0ZmlkZl92ZWN0b3JpemVyLnRyYW5zZm9ybShYX3Rlc3QpIiwic2N0IjoidGVzdF9vYmplY3QoXCJ0ZmlkZl92ZWN0b3JpemVyXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInRmaWRmX3RyYWluXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInRmaWRmX3Rlc3RcIiwgZG9fZXZhbD1GYWxzZSwgdW5kZWZpbmVkX21zZz1cIkRpZCB5b3UgZGVmaW5lIGBjb3VudF90ZXN0YD9cIilcbnN1Y2Nlc3NfbXNnKFwiV2VsbCBkb25lIVwiKSJ9
Sekarang setelah Anda memiliki vektor, Anda dapat melihat fitur vektor yang tersimpan di count_vectorizer dan tfidf_vectorizer.
Apakah ada masalah yang terlihat? (Ya!)
Jelas ada komentar, satuan ukur, atau kata-kata tak bermakna lainnya serta artikel multibahasa dalam dataset yang Anda gunakan. Biasanya, Anda ingin meluangkan lebih banyak waktu untuk prapemrosesan dan menghapus noise, tetapi karena tutorial ini hanya menampilkan bukti konsep kecil, Anda akan melihat apakah model dapat mengatasi noise dan tetap mengklasifikasikan dengan benar meski ada masalah ini.
eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZnJvbSBza2xlYXJuLm1vZGVsX3NlbGVjdGlvbiBpbXBvcnQgdHJhaW5fdGVzdF9zcGxpdFxuZnJvbSBza2xlYXJuLmZlYXR1cmVfZXh0cmFjdGlvbi50ZXh0IGltcG9ydCBUZmlkZlZlY3Rvcml6ZXIsIENvdW50VmVjdG9yaXplciBcbmRmID0gcGQucmVhZF9jc3YoXCJodHRwczovL3MzLmFtYXpvbmF3cy5jb20vYXNzZXRzLmRhdGFjYW1wLmNvbS9ibG9nX2Fzc2V0cy9mYWtlX29yX3JlYWxfbmV3cy5jc3ZcIilcbmRmID0gZGYuc2V0X2luZGV4KCdVbm5hbWVkOiAwJylcbnkgPSBkZi5sYWJlbFxuZGYgPSBkZi5kcm9wKCdsYWJlbCcsIGF4aXM9MSlcblhfdHJhaW4sIFhfdGVzdCwgeV90cmFpbiwgeV90ZXN0ID0gdHJhaW5fdGVzdF9zcGxpdChkZlsndGV4dCddLCB5LCB0ZXN0X3NpemU9MC4zMywgcmFuZG9tX3N0YXRlPTUzKVxudGZpZGZfdmVjdG9yaXplciA9IFRmaWRmVmVjdG9yaXplcihzdG9wX3dvcmRzPSdlbmdsaXNoJywgbWF4X2RmPTAuNylcbnRmaWRmX3RyYWluID0gdGZpZGZfdmVjdG9yaXplci5maXRfdHJhbnNmb3JtKFhfdHJhaW4pXG50ZmlkZl90ZXN0ID0gdGZpZGZfdmVjdG9yaXplci50cmFuc2Zvcm0oWF90ZXN0KVxuY291bnRfdmVjdG9yaXplciA9IENvdW50VmVjdG9yaXplcihzdG9wX3dvcmRzPSdlbmdsaXNoJylcbmNvdW50X3RyaW4gPSBjb3VudF92ZWN0b3JpemVyLmZpdF90cmFuc2Zvcm0oWF90cmFpbikgXG5jb3VudF90ZXN0ID0gY291bnRfdmVjdG9yaXplci50cmFuc2Zvcm0oWF90ZXN0KSIsInNhbXBsZSI6IyBHZXQgdGhlIGZlYXR1cmUgbmFtZXMgb2YgYHRmaWRmX3ZlY3Rvcml6ZXJgIFxucHJpbnQodGZpZGZfdmVjdG9yaXplci5fX19fX19fX19fX18oKVstMTA6XSlcblxuIyBHZXQgdGhlIGZlYXR1cmUgbmFtZXMgb2YgYGNvdW50X3ZlY3Rvcml6ZXJgIFxucHJpbnQoY291bnRfdmVjdG9yaXplci5fX19fX19fX19fX18oKVswOjEwXSk","solution":"IyBHZXQgdGhlIGZlYXR1cmUgbmFtZXMgb2YgYHRmaWRmX3ZlY3Rvcml6ZXJgIFxucHJpbnQodGZpZGZfdmVjdG9yaXplci5nZXRfZmVhdHVyZV9uYW1lcygpWy0xMDpdKVxuXG4jIEdldCB0aGUgZmVhdHVyZSBuYW1lcyBvZiBgY291bnRfdmVjdG9yaXplcmAgXG5wcmludChjb3VudF92ZWN0b3JpemVyLmdldF9mZWF0dXJlX25hbWVzKClbOjEwXSkiLCJzY3QiOiJ0ZXN0X2Z1bmN0aW9uKFwicHJpbnRcIiwgMSlcbnRlc3RfZnVuY3Rpb24oXCJwcmludFwiLCAyKVxuc3VjY2Vzc19tc2coXCJXZWxsIGRvbmUhXCIpIn0=
Intermezzo: Fitur Count vs TF-IDF
Saya penasaran apakah vektorisasi count dan TF-IDF saya mengekstrak token yang berbeda. Untuk melihat dan membandingkan fitur, Anda dapat mengekstrak kembali informasi vektor ke dalam DataFrame agar mudah dibandingkan dengan Python.
Seperti yang terlihat saat menjalankan sel di bawah, kedua vektorisasi mengekstrak token yang sama, tetapi jelas memiliki bobot berbeda. Kemungkinan, mengubah max_df dan min_df pada vektorisasi TF-IDF dapat mengubah hasil dan menghasilkan fitur yang berbeda pada masing-masing.
In [15]:
count_df = pd.DataFrame(count_train.A, columns=count_vectorizer.get_feature_names())In [16]:
tfidf_df = pd.DataFrame(tfidf_train.A, columns=tfidf_vectorizer.get_feature_names())In [17]:
difference = set(count_df.columns) - set(tfidf_df.columns)differenceOut[17]:
In [18]:
print(count_df.equals(tfidf_df))In [19]:
count_df.head()Out[19]:
In [20]:
tfidf_df.head()Out[20]:
Membandingkan Model
Sekarang saatnya melatih dan menguji model Anda.
Di sini, Anda akan mulai dengan favorit NLP, MultinomialNB. Anda dapat menggunakannya untuk membandingkan TF-IDF versus bag-of-words. Intuisi saya adalah bag-of-words (alias CountVectorizer) akan berkinerja lebih baik dengan model ini. (Untuk bacaan lebih lanjut tentang distribusi multinomial dan mengapa ia bekerja paling baik dengan bilangan bulat, lihat referensi SVM dalam analisis teks scikit-learn dan penjelasan ringkas dari kursus statistik UPenn ini).
Saya pribadi merasa Confusion Matrix lebih mudah dibandingkan dan dibaca, jadi saya menggunakan dokumentasi scikit-learn untuk membangun confusion matrix yang mudah dibaca (terima kasih open source!). Confusion matrix menampilkan label yang benar pada diagonal utama (kiri atas ke kanan bawah). Sel lain menampilkan label yang salah, sering disebut false positive atau false negative. Bergantung pada masalah Anda, salah satunya mungkin lebih penting. Misalnya, untuk masalah berita palsu, apakah lebih penting agar kita tidak melabeli artikel berita nyata sebagai berita palsu? Jika demikian, mungkin pada akhirnya kita ingin memberi bobot pada skor akurasi agar lebih mencerminkan kekhawatiran ini.
Selain Confusion Matrix, scikit-learn memiliki banyak cara untuk memvisualisasikan dan membandingkan model Anda. Salah satu cara populer adalah menggunakan Kurva ROC. Ada banyak cara lain untuk mengevaluasi model yang tersedia di modul metrics scikit-learn.
In [21]:
def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues): """ See full source and example: http://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation='nearest', cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print('Confusion matrix, without normalization') thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])): plt.text(j, i, cm[i, j], horizontalalignment="center", color="white" if cm[i, j] > thresh else "black") plt.tight_layout() plt.ylabel('True label') plt.xlabel('Predicted label')In [22]:
clf = MultinomialNB()In [23]:
clf.fit(tfidf_train, y_train)pred = clf.predict(tfidf_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.857Confusion matrix, without normalization
In [24]:
clf = MultinomialNB() In [25]:
clf.fit(count_train, y_train)pred = clf.predict(count_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.893Confusion matrix, without normalization
Dan benar saja, tanpa penyetelan parameter sama sekali, himpunan pelatihan yang di-vektorisasi count count_train terlihat mengungguli vektor TF-IDF Anda!
Menguji Model Linear
Ada banyak tulisan bagus tentang cara kerja model linear yang baik dengan vektorisasi TF-IDF (lihat word2vec untuk klasifikasi, referensi SVM dalam analisis teks scikit-learn, dan banyak lagi).
Jadi Anda harus menggunakan SVM, bukan?
Saya baru-baru ini menonton kuliah Victor Lavrenko tentang klasifikasi teks dan ia membandingkan pengklasifikasi Passive Aggressive dengan SVM linear untuk klasifikasi teks. Kita akan menguji pendekatan ini (yang memiliki beberapa keuntungan kecepatan signifikan dan kekurangan pembelajaran permanen) dengan dataset berita palsu.
In [26]:
linear_clf = PassiveAggressiveClassifier(n_iter=50)In [27]:
linear_clf.fit(tfidf_train, y_train)pred = linear_clf.predict(tfidf_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.936Confusion matrix, without normalization
Wow!
Saya terkesan. Confusion matrix-nya terlihat berbeda dan modelnya sedikit lebih baik dalam mengklasifikasikan berita palsu kita. Kita dapat menguji apakah penyetelan nilai alpha untuk MultinomialNB menghasilkan hasil yang sebanding. Anda juga dapat menggunakan penyetelan parameter dengan grid search untuk pencarian yang lebih menyeluruh.
In [28]:
clf = MultinomialNB(alpha=0.1)In [29]:
last_score = 0for alpha in np.arange(0,1,.1): nb_classifier = MultinomialNB(alpha=alpha) nb_classifier.fit(tfidf_train, y_train) pred = nb_classifier.predict(tfidf_test) score = metrics.accuracy_score(y_test, pred) if score > last_score: clf = nb_classifier print("Alpha: {:.2f} Score: {:.5f}".format(alpha, score))Belum juga... Pada titik ini, mungkin menarik untuk melakukan penyetelan parameter di semua pengklasifikasi, atau melihat beberapa pengklasifikasi Bayesian scikit-learn lainnya. Anda juga bisa menguji Support Vector Machine (SVM) untuk melihat apakah kinerjanya melampaui pengklasifikasi Passive Aggressive.
Tapi saya lebih penasaran tentang apa yang sebenarnya telah dipelajari model Passive Aggressive. Jadi mari beralih ke introspeksi.
Introspeksi model
Jadi berita palsu sudah terpecahkan, bukan? Kita mencapai akurasi 93% pada dataset saya jadi mari kita tutup buku dan pulang.
Tentu saja belum. Saya sangat berhati-hati terhadap hasil ini mengingat banyaknya noise yang kita lihat pada fitur. Ada tulisan bagus di StackOverflow dengan fungsi yang sangat berguna ini untuk menemukan vektor yang paling memengaruhi label. Ini hanya berfungsi untuk klasifikasi biner (pengklasifikasi dengan 2 kelas), tetapi itu kabar baik bagi Anda, karena Anda hanya memiliki label FAKE atau REAL.
Menggunakan pengklasifikasi dengan performa terbaik Anda pada dataset vektor TF-IDF (tfidf_vectorizer) dan pengklasifikasi Passive Aggressive (linear_clf), inspeksi 30 vektor teratas untuk berita palsu dan nyata:
In [30]:
Anda juga dapat melakukan ini dengan cara yang cukup jelas hanya dengan beberapa baris Python, dengan memasangkan koefisien ke fitur dan melihat bagian atas serta bawah daftar Anda.
In [31]:
feature_names = tfidf_vectorizer.get_feature_names()In [32]:
### Most realsorted(zip(clf.coef_[0], feature_names), reverse=True)[:20]Out[32]:
In [33]:
### Most fakesorted(zip(clf.coef_[0], feature_names))[:20]Out[33]:
Jadi, jelas ada kata tertentu yang mungkin menunjukkan kecenderungan politik dan sumber pada fitur palsu teratas (seperti kata corporate dan establishment).
Selain itu, data berita nyata lebih sering menggunakan bentuk verba “to say”, kemungkinan karena di koran dan sebagian besar publikasi jurnalistik, sumber dikutip langsung (“Kanselir Jerman Angela Merkel mengatakan...” ).
Untuk mengekstrak daftar lengkap dari pengklasifikasi Anda saat ini dan melihat setiap token (atau dengan mudah membandingkan token dari satu pengklasifikasi ke lainnya), Anda dapat dengan mudah mengekspornya seperti ini.
In [34]:
tokens_with_weights = sorted(list(zip(feature_names, clf.coef_[0])))Intermezzo: HashingVectorizer
Vektorisasi lain yang kadang digunakan untuk klasifikasi teks adalah HashingVectorizer. HashingVectorizer membutuhkan lebih sedikit memori dan lebih cepat (karena bersifat sparse dan menggunakan hash alih-alih token) tetapi lebih sulit diintrospeksi. Anda dapat membaca lebih lanjut tentang pro dan kontra menggunakan HashingVectorizer di dokumentasi scikit-learn jika berminat.
Anda dapat mencobanya dan membandingkan hasilnya dengan vektorisasi lainnya. Kinerjanya cukup baik, dengan hasil lebih baik daripada vektorisasi TF-IDF yang menggunakan MultinomialNB (ini agak diharapkan karena alasan yang sama mengapa CountVectorizer berkinerja lebih baik), tetapi tidak sebaik vektorisasi TF-IDF dengan algoritma linear Passive Aggressive.
In [35]:
hash_vectorizer = HashingVectorizer(stop_words='english', non_negative=True)hash_train = hash_vectorizer.fit_transform(X_train)hash_test = hash_vectorizer.transform(X_test)In [36]:
clf = MultinomialNB(alpha=.01)In [37]:
clf.fit(hash_train, y_train)pred = clf.predict(hash_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.902Confusion matrix, without normalization
In [38]:
clf = PassiveAggressiveClassifier(n_iter=50)In [39]:
clf.fit(hash_train, y_train)pred = clf.predict(hash_test)score = metrics.accuracy_score(y_test, pred)print("accuracy: %0.3f" % score)cm = metrics.confusion_matrix(y_test, pred, labels=['FAKE', 'REAL'])plot_confusion_matrix(cm, classes=['FAKE', 'REAL'])accuracy: 0.921Confusion matrix, without normalization
Kesimpulan
Apakah eksperimen pengklasifikasi berita palsu Anda berhasil? Tentu tidak.
Tetapi apakah Anda sempat bermain-main dengan dataset baru, menguji beberapa model klasifikasi NLP dan mengintrospeksi seberapa berhasil mereka? Ya.
Sesuai perkiraan sejak awal, mendefinisikan berita palsu dengan bag-of-words sederhana atau vektor TF-IDF adalah pendekatan yang terlalu menyederhanakan. Terutama dengan dataset multibahasa yang penuh token berisik. Jika Anda tidak melihat apa yang sebenarnya dipelajari model Anda, Anda mungkin mengira model mempelajari sesuatu yang bermakna. Jadi, ingat: selalu introspeksi model Anda (semampu Anda!).
Saya penasaran apakah Anda menemukan tren lain dalam data yang mungkin saya lewatkan. Saya akan menindaklanjuti dengan sebuah tulisan tentang bagaimana berbagai pengklasifikasi dibandingkan dalam hal fitur penting di blog saya. Jika Anda meluangkan waktu untuk meneliti dan menemukan hal menarik, silakan bagikan temuan dan catatan Anda di kolom komentar atau Anda selalu bisa menghubungi di Twitter (saya @kjam).
Saya harap Anda bersenang-senang mengeksplorasi dataset NLP baru bersama saya!
Lihat Python Machine Learning: Scikit-Learn Tutorial dari DataCamp.
