Detección de noticias falsas con scikit-learn

Intermezzo: características count frente a TF-IDF

Tenía curiosidad por ver si los vectorizadores count y TF-IDF extraían tokens diferentes. Para comparar sus características, puedes devolver la información vectorial a un DataFrame y hacer comparaciones sencillas en Python.

Como verás al ejecutar las celdas de abajo, ambos vectorizadores extraen los mismos tokens, pero con pesos distintos. Es probable que cambiar los parámetros max_df y min_df del vectorizador TF-IDF altere el resultado y lleve a características diferentes en cada uno.

Comparación de modelos

Ha llegado el momento de entrenar y probar tus modelos.

Empezaremos con un clásico del NLP, MultinomialNB. Úsalo para comparar TF-IDF frente a bolsa de palabras. Mi intuición era que la bolsa de palabras (es decir, CountVectorizer) funcionaría mejor con este modelo. (Si quieres leer más sobre la distribución multinomial y por qué funciona mejor con enteros, echa un vistazo a esta explicación concisa de un curso de estadística de UPenn).

Personalmente, me resultan más claras las matrices de confusión, así que utilicé la documentación de scikit-learn para construir algunas que se lean fácil (¡gracias, open source!). Una matriz de confusión muestra las etiquetas correctas en la diagonal principal (de arriba a la izquierda a abajo a la derecha). Las demás celdas recogen las etiquetas incorrectas, a menudo llamadas falsos positivos o falsos negativos. Según tu problema, una puede ser más crítica que la otra. Por ejemplo, en el problema de las noticias falsas, ¿es más importante no etiquetar como falsas las noticias reales? Si es así, quizá queramos ponderar la métrica de exactitud para reflejar mejor esta preocupación.

Además de las matrices de confusión, scikit-learn incluye muchas formas de visualizar y comparar tus modelos. Una muy popular es usar la curva ROC. Hay muchas otras formas de evaluar tu modelo en el módulo metrics de scikit-learn.

Y, efectivamente, sin ajustar ningún parámetro, tu conjunto de entrenamiento con bolsa de palabras, count_train, supera claramente a los vectores TF-IDF.

Pruebas con modelos lineales

Hay muchos buenos artículos que explican por qué los modelos lineales funcionan bien con vectorizadores TF-IDF (mira word2vec para clasificación, la referencia de SVM en el análisis de texto de scikit-learn y muchos más).

Entonces, ¿deberías usar una SVM?

Pues bien, recientemente vi la clase de Victor Lavrenko sobre clasificación de texto, donde compara los clasificadores Passive Aggressive con SVM lineales para texto. Vamos a probar este enfoque (que tiene ventajas de velocidad y desventajas al aprender de forma permanente) con el dataset de noticias falsas.

¡Vaya!

Impresiona. La matriz de confusión es diferente y el modelo clasifica un poco mejor las noticias falsas. Podemos probar si ajustar el valor alpha de MultinomialNB ofrece resultados comparables. También puedes usar búsqueda en rejilla para ajustar parámetros de forma más exhaustiva.

No del todo... En este punto, podría ser interesante ajustar parámetros en todos los clasificadores o revisar otros clasificadores bayesianos de scikit-learn. También podrías probar con una máquina de vectores de soporte (SVM) para ver si supera al clasificador Passive Aggressive.

Pero me interesa más qué ha aprendido realmente el modelo Passive Aggressive. Pasemos a la introspección.

Introspección de modelos

Entonces, ¿el problema de las noticias falsas está resuelto? Hemos logrado un 93% de exactitud en este dataset, así que apaguemos las luces y a casa.

Obviamente, no. Con los niveles de ruido que vimos en las características, hay que ser como mínimo prudente con estos resultados. Hay una gran respuesta en StackOverflow con una función muy útil para encontrar los vectores que más influyen en las etiquetas. Solo funciona para clasificación binaria (modelos con 2 clases), pero eso nos viene bien: aquí solo tenemos etiquetas FAKE o REAL.

Usando tu mejor clasificador con el dataset de vectores TF-IDF (tfidf_vectorizer) y el clasificador Passive Aggressive (linear_clf), inspecciona los 30 vectores principales para noticias falsas y reales:

También puedes hacerlo de una forma bastante directa con unas pocas líneas de Python, emparejando los coeficientes con las características y mirando el principio y el final de la lista.

Como ves, hay ciertas palabras que podrían indicar intención política y fuente entre las características de falsas (por ejemplo, corporate y establishment).

Además, en las noticias reales se usa más a menudo el verbo “decir”, probablemente porque en periódicos y publicaciones periodísticas se citan fuentes de forma directa (“La canciller alemana Angela Merkel dijo...”)).

Para extraer la lista completa de tu clasificador actual y revisar cada token (o comparar tokens entre clasificadores), puedes exportarla fácilmente así:

Intermezzo: HashingVectorizer

Otro vectorizador que a veces se usa en clasificación de texto es HashingVectorizer. Los HashingVectorizer requieren menos memoria y son más rápidos (porque son dispersos y usan hashes en lugar de tokens), pero son más difíciles de introspectar. Puedes leer más sobre sus pros y contras en la documentación de scikit-learn: HashingVectorizer.

Puedes probarlo y comparar sus resultados con los otros vectorizadores. Suele rendir bastante bien, con mejores resultados que el TF-IDF usando MultinomialNB (algo esperable por las mismas razones por las que CountVectorizer funciona mejor), pero por debajo del TF-IDF con el algoritmo lineal Passive Aggressive.

Conclusión

¿Ha sido un éxito tu experimento de clasificador de noticias falsas? Rotundamente no.

¿Pero has podido trastear con un dataset nuevo, probar algunos modelos de clasificación de NLP e inspeccionar qué tal funcionaban? Sí.

Como cabía esperar, definir noticias falsas con una simple bolsa de palabras o vectores TF-IDF es un enfoque simplista, sobre todo con un dataset multilingüe lleno de ruido. Si no hubieses revisado qué había aprendido realmente tu modelo, podrías haber pensado que había captado algo significativo. Así que recuerda: inspecciona siempre tus modelos (¡en la medida de lo posible!).

Me gustaría saber si encuentras otras tendencias en los datos que se me hayan pasado. Publicaré una entrada sobre cómo comparan distintos clasificadores en cuanto a características importantes en mi blog. Si investigas y ves algo interesante, comparte tus hallazgos y notas en los comentarios o escríbeme en Twitter (soy @kjam).

¡Espero que te hayas divertido explorando conmigo un nuevo dataset de NLP!

Echa un vistazo al tutorial de DataCamp Python Machine Learning: Scikit-Learn Tutorial.