Tutorial de análisis exploratorio de datos con Python

Aprende los fundamentos del análisis exploratorio de datos (EDA) en Python con pandas, Matplotlib y NumPy: muestreo, ingeniería de características, correlación, etc.

Actualizado 17 sept 2026 · 15 min leer

Explorar con IA

ChatGPT Claude Perplexity

Como ya sabrás, la biblioteca de manipulación de datos de Python, pandas, se utiliza para trabajar y transformar datos. Para quien empieza, esto puede sugerir que solo sirve para el preprocesado, pero nada más lejos: pandas también es genial para explorar tus datos y para guardarlos una vez termines el preprocesamiento.

Además, si has seguido los tutoriales de Python de DataCamp o ya conoces lo básico de SciPy, NumPy, Matplotlib y pandas, puede venirte bien repasar parte de lo que ya has aprendido.

En el tutorial de hoy verás varias formas de explorar tus datos de forma eficiente con todos los paquetes anteriores para que puedas empezar a modelar:

Primero aprenderás a importar datos, el primer paso imprescindible antes de empezar el análisis.
Si no tienes claro qué es el análisis exploratorio de datos (EDA) y en qué se diferencia exactamente de la minería de datos, esta sección te lo explica antes de empezar el tutorial.
Después obtendrás una descripción básica de tus datos. Te centrarás en estadísticas descriptivas, en revisar las primeras y últimas filas del DataFrame, en extraer muestras, etc. Verás que es una gran forma de tomar contacto y empezar a entender mejor el dataset.
Cuando ya tengas algo de información, también conviene profundizar haciendo consultas o indexando los datos. Podrás usarlo para poner a prueba hipótesis sencillas que tengas.
Tras inspeccionar los datos, probablemente detectes que hay características interesantes para tu análisis: verás cuáles pueden ayudarte con ingeniería y selección de características.
Luego comprobarás que la exploración inicial es útil, pero también necesitas identificar los retos que plantea tu dataset, como valores ausentes o atípicos, y cómo tratarlos, y
Por último, aprenderás a descubrir patrones en tus datos, ya sea visualizando con Matplotlib y Bokeh, o calculando la correlación entre atributos con funciones específicas.

¿Te interesa hacer un curso de pandas? Echa un vistazo a nuestro curso Data Manipulation with pandas.

Importación de datos

Para empezar a explorar, lo primero es cargar los datos. Seguramente esto ya lo sepas, pero gracias a pandas es muy sencillo: importas el paquete como pd, siguiendo la convención, y usas la función read_csv(), a la que le pasas la URL donde están los datos y el argumento header. Este último te ayuda a asegurarte de que la lectura es correcta: así la primera fila no se interpreta como nombres de columnas del DataFrame.

Además, hay otros argumentos que puedes especificar para garantizar una lectura correcta: por ejemplo, el separador con sep o delimiter, los nombres de columna con names o la columna que se usará como índice de filas del DataFrame resultante con index_col.

Y estos no son ni mucho menos todos los argumentos de read_csv(). Consulta la documentación para verlos en detalle.

eyJsYW5ndWFnZSI6InB5dGhvbiIsInNhbXBsZSI6IiMgSW1wb3J0IHRoZSBgcGFuZGFzYCBsaWJyYXJ5IGFzIGBwZGBcbmltcG9ydCBwYW5kYXMgYXMgcGRcblxuIyBMb2FkIGluIHRoZSBkYXRhIHdpdGggYHJlYWRfY3N2KClgXG5kaWdpdHMgPSBwZC5yZWFkX2NzdihcImh0dHA6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL29wdGRpZ2l0cy9vcHRkaWdpdHMudHJhXCIsXG4gICAgICAgICAgICAgICAgICAgICBoZWFkZXI9Tm9uZSlcblxuIyBQcmludCBvdXQgYGRpZ2l0c2BcbnByaW50KGRpZ2l0cykifQ==

En este caso usamos read_csv() porque los datos están separados por comas. Si tus archivos usan otro separador, puedes considerar otras funciones para la carga, como read_table(), read_excel(), read_fwf() o read_clipboard, para archivos delimitados en general, ficheros de Excel, datos de ancho fijo y datos copiados al portapapeles, respectivamente.

También puedes usar read_sql() para leer una consulta SQL o una tabla de base de datos en un DataFrame. Para más funciones de entrada/salida, consulta esta sección de la documentación de pandas.

¿Qué es el análisis exploratorio de datos (EDA)?

El análisis exploratorio de datos (EDA) sirve, por un lado, para responder preguntas, contrastar hipótesis de negocio y generar nuevas hipótesis para análisis posteriores. Por otro, también puedes usarlo para preparar los datos para el modelado. En ambos casos, la clave es conocer bien tus datos para obtener respuestas o desarrollar intuición a la hora de interpretar resultados de futuros modelos.

Hay muchas formas de lograrlo: obtener una descripción básica, visualizar, identificar patrones, detectar retos de uso de los datos, etc.

Uno de los conceptos que verás a menudo al leer sobre EDA es el data profiling. El data profiling se centra en resumir tu dataset mediante estadísticas descriptivas. Buscas usar distintas medidas para entender mejor el conjunto de datos. Su objetivo es tener una comprensión sólida para, después, empezar a consultar y visualizar los datos de distintas maneras. Eso sí, no significa que no debas iterar: precisamente porque resume el dataset, se usa con frecuencia para evaluar la calidad de los datos. Según el resultado, puedes decidir corregir, descartar o tratarlos de otra forma.

Aprenderás más sobre data profiling en una próxima publicación.

EDA y minería de datos (DM)

El EDA se diferencia de la minería de datos, aunque estén muy relacionados, ya que muchas técnicas de EDA se han adoptado en minería de datos. Sus objetivos también son similares: EDA te ayuda a explorar los datos para que destaquen características y relaciones entre variables. En EDA sueles explorar y comparar muchas variables con diversas técnicas para buscar y encontrar patrones sistemáticos. La minería de datos, en cambio, se centra en extraer patrones del dataset. Esos patrones aportan información sobre relaciones entre variables que pueden mejorar la toma de decisiones. En ambos casos, no tienes expectativas a priori o no son completas sobre las relaciones entre variables.

En general, la minería de datos es más aplicada, mientras que EDA se preocupa por la naturaleza básica de los fenómenos subyacentes. Dicho de otro modo, la minería de datos presta relativamente menos atención a identificar relaciones específicas entre variables implicadas. Por eso acepta un enfoque de “caja negra” y usa no solo técnicas de EDA sino también otras como redes neuronales para generar predicciones válidas sin identificar la naturaleza exacta de las relaciones en que se basan.

Descripción básica de los datos

Como has visto, el EDA va de conocer tus datos. Uno de los pasos más elementales es obtener una descripción básica. Este término es amplio: puede ser una forma rápida de extraer información sencilla y comprensible para tomar el pulso al dataset.

En esta sección no distinguiremos entre interpretaciones: verás varias formas rápidas de obtener información fácil de entender sobre tu DataFrame.

Describir los datos

Por ejemplo, puedes usar describe() para obtener varias estadísticas resumen que excluyen NaN. Considera este ejemplo con el famoso dataset Iris. Los datos ya están cargados en el bloque de DataCamp Light:

Verás que devuelve recuento, media, desviación estándar, valores mínimo y máximo y cuantiles. Hay muchas bibliotecas en Python que proporcionan estas estadísticas (incluida la propia pandas). Esta función es solo una de las formas de obtener esa información.

También conviene dedicar tiempo a profundizar en las estadísticas descriptivas si aún no lo has hecho. Puedes usarlas para empezar a evaluar la calidad de tus datos. Después decidirás si corregir, descartar o tratar los datos de otra manera. Este suele ser el paso de data profiling. Su objetivo en el EDA es entender mejor los elementos y anomalías y ver cómo encajan con la documentación por un lado y con las necesidades del negocio por otro.

Nota: volverás a la etapa de data profiling a medida que avances en tu análisis exploratorio, ya que la calidad de los datos puede verse afectada por los pasos que vayas realizando.

Primeras y últimas filas del DataFrame

Ahora que ya tienes una idea general, también conviene mirar los datos de cerca. Con las funciones head() y tail() de pandas puedes ver fácilmente las primeras y últimas líneas del DataFrame, respectivamente.

Inspecciona las primeras y últimas cinco filas del dataset de dígitos escritos a mano con head() y tail() en el bloque de abajo. Ya están cargados para ti:

Verás que el resultado de head() y tail() dice poco si no estás familiarizado con este tipo de datos.

Puede que solo veas filas y columnas con valores numéricos. Lee la descripción del dataset si aún no lo has hecho: te dará información relevante sobre cómo se recogieron los datos y el número de atributos y filas, útil para comprobar si los importaste correctamente.

Vuelve a tu hallazgo inicial: los valores numéricos en las filas. A primera vista puede que no veas ningún problema, ya que los enteros parecen correctos y no levantan sospechas.

Pero, si esto lo hubieras hecho con otro dataset con fechas y horas, por ejemplo, un vistazo rápido podría haberte hecho preguntar: «¿Se ha leído como DateTime?», «¿Cómo lo compruebo?» y «¿Cómo cambio el tipo de datos?».

Estas son preguntas más profundas que abordarás típicamente en el paso de data profiling, que trataremos en otra publicación.

Muestrear los datos

Si tu dataset es grande, puedes tomar una muestra como forma rápida de hacerte una idea del conjunto. La forma más simple es usar sample() de pandas, así:

Otra forma, quizá más compleja, es crear un índice aleatorio y extraer filas aleatorias del DataFrame. El código siguiente usa el módulo random con sample, junto con range() y len(). Fíjate en que también se usa ix para seleccionar las filas exactas que quieres incluir en la muestra.

Si no tienes claro por qué se usa ix en este contexto, el tutorial más específico de DataCamp puede ayudarte. Cubre estos temas generales en detalle. ¡Échale un vistazo en el enlace anterior!

De momento, ¡practiquemos Python! Empieza con el ejercicio siguiente:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IG51bXB5IGFzIG5wXG5pbXBvcnQgcGFuZGFzIGFzIHBkXG5kaWdpdHMgPSBwZC5yZWFkX2NzdihcImh0dHA6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL29wdGRpZ2l0cy9vcHRkaWdpdHMudHJhXCIsXG4gICAgICAgICAgICAgICAgICAgICBoZWFkZXI9Tm9uZSkiLCJzYW1wbGUiOiIjIGltcG9ydCBgc2FtcGxlYCBmcm9tIGByYW5kb21gXG5mcm9tIHJhbmRvbSBpbXBvcnQgX19fX19fXG5cbiMgQ3JlYXRlIGEgcmFuZG9tIGluZGV4XG5yYW5kb21JbmRleCA9IG5wLmFycmF5KHNhbXBsZShyYW5nZShsZW4oX19fX19fKSksIDUpKVxuXG4jIEdldCA1IHJhbmRvbSByb3dzXG5kaWdpdHNTYW1wbGUgPSBkaWdpdHMuaXhbX19fX19fX19fX19dXG5cbiMgUHJpbnQgdGhlIHNhbXBsZVxucHJpbnQoX19fX19fX19fX19fKSIsInNvbHV0aW9uIjoiIyBpbXBvcnQgYHNhbXBsZWAgZnJvbSBgcmFuZG9tYFxuZnJvbSByYW5kb20gaW1wb3J0IHNhbXBsZVxuXG4jIENyZWF0ZSBhIHJhbmRvbSBpbmRleFxucmFuZG9tSW5kZXggPSBucC5hcnJheShzYW1wbGUocmFuZ2UobGVuKGRpZ2l0cykpLCA1KSlcblxuIyBHZXQgNSByYW5kb20gcm93c1xuZGlnaXRzU2FtcGxlID0gZGlnaXRzLml4W3JhbmRvbUluZGV4XVxuXG4jIFByaW50IHRoZSBzYW1wbGVcbnByaW50KGRpZ2l0c1NhbXBsZSkiLCJzY3QiOiJ0ZXN0X2ltcG9ydChcInJhbmRvbS5zYW1wbGVcIilcbnRlc3Rfb2JqZWN0KFwicmFuZG9tSW5kZXhcIilcbnRlc3Rfb2JqZWN0KFwiZGlnaXRzU2FtcGxlXCIpXG50ZXN0X2Z1bmN0aW9uKFwicHJpbnRcIikifQ==

Una mirada más profunda: consultas

Ahora que ya has echado un vistazo rápido y sabes de qué va tu dataset, toca profundizar: es momento de inspeccionarlo haciendo consultas.

Con query() es muy fácil: te permite probar hipótesis sencillas como «¿La longitud del pétalo suele ser mayor que la del sépalo?» o «¿Alguna vez son iguales?».

Verás que esta hipótesis no se cumple: obtienes un DataFrame vacío.

Nota: esta misma consulta también puede escribirse como iris[iris.Petal_length > iris.Sepal_length].

Los retos de tus datos

Ahora que ya tienes información básica, conviene profundizar un poco en los retos que puede plantear tu dataset. Si ya pasaste por el data profiling, conocerás los valores ausentes, tendrás pistas sobre posibles outliers, etc.

Esta sección describe formas sencillas de detectar estos aspectos y cómo tratarlos si encuentras irregularidades. Una vez más, volverás o ya habrás ido más a fondo en la fase de data profiling, y es normal regresar a ella después de abordar algunos de los retos.

Valores ausentes

Algo que también debes comprobar es si el dataset tiene valores ausentes.

Es importante porque, cuando faltan datos, el conjunto pierde capacidad explicativa y tu análisis puede quedar sesgado o ser más débil. En la práctica, si faltan valores en ciertas características, aumenta la probabilidad de que clasificaciones o predicciones se desvíen.

La causa puede ser una extracción o importación defectuosa, o el propio proceso de recogida. Los sistemas que te proporcionan datos pueden fallar o la encuesta que enviaste puede tener respuestas en blanco. También es clave considerar si hay un patrón en los datos ausentes; aquí el data profiling resulta útil para evaluar la calidad. En una publicación de seguimiento verás cómo descubrir patrones de ausencias.

En resumen, las causas son variadas y dependen del contexto, pero también de ti. ¡Por eso primero inspeccionaste los datos al importarlos!

Para identificar filas con valores ausentes, usa isnull(). En el resultado verás True o False en cada celda: True indica que el valor está ausente y False que contiene un valor “normal”.

En este caso, verás que el dataset está bastante completo: no hay valores ausentes.

Nota: también podrías haberlo visto en la descripción del dataset del UCI Machine Learning Repository enlazada arriba, donde consta que no hay valores ausentes.

No siempre será así. Por eso conviene saber qué hacer cuando te encuentras valores ausentes.

Eliminar los datos ausentes: puedes borrar el registro completo o quedarte con los registros en los que las características de interés sí estén presentes. Ojo, eliminar datos también puede sesgar el análisis. Pregúntate si la probabilidad de ausencia es la misma para todos los registros. Si no varía por registro, eliminar puede ser válido.
Imputación: rellenar las celdas con valores sustitutos. Puedes usar la media, la moda o la mediana. Piensa si quieres una media/mediana global de la variable o si vas a imputar en función de otra. Por ejemplo, si tienes variables categóricas como «hombre» o «mujer», quizá te interese considerar esas categorías antes de imputar, pues las observaciones pueden diferir. En ese caso, calcula la media de «mujer» y úsala para rellenar ausencias en registros «mujer».
Estimar con modelos: regresión, ANOVA, regresión logística u otras técnicas de modelado. Es la opción más compleja.
Usar valores de registros similares: por ejemplo, KNN (K vecinos más cercanos).

Ten en cuenta ventajas e inconvenientes de cada enfoque: tiempo, coste, naturaleza de los datos, etc. antes de decidir.

Una vez decidas qué hacer, sigue leyendo para ver cómo implementarlo.

Rellenar valores ausentes

Si optas por imputar, aún puedes elegir cómo hacerlo.

Usa fillna() de pandas junto con funciones de NumPy. En el siguiente fragmento, imagina un DataFrame con resultados de una encuesta sobre salario. En un contexto donde toda la audiencia pertenece a la misma clase social y la probabilidad de responder es similar, puedes calcular la media de quienes sí respondieron y usarla para rellenar los valores faltantes.

# Import NumPyimport numpy as np# Calculate the meanmean = np.mean(df.Salary)# Replace missing values with the meandf. = df.Salary.fillna(mean)

Por supuesto, no tienes por qué pasar un valor a fillna(): también puedes propagar valores no nulos hacia delante o hacia atrás con el argumento method. Pasa ffill o bfill para indicar la dirección.

Eliminar etiquetas con valores ausentes

Para excluir columnas o filas con valores ausentes, usa dropna() de pandas:

# Drop rows with missing valuesdf.dropna(axis=0)# Drop columns with missing values df.dropna(axis=1)

Interpolación

Otra opción es interpolar: interpolate() realiza una interpolación lineal en los puntos con datos faltantes para “estimar” el valor más probable.

df.interpolate()

Puedes añadir el argumento method para usar métodos más avanzados como interpolación polinómica o cúbica, aunque para estos necesitarás SciPy.

La interpolación tiene límites, sobre todo si los NaN están muy lejos de la última observación válida. En esos casos, añade un argumento limit con un entero positivo que determine cuántos valores tras un no-NaN se rellenarán. La dirección por defecto es hacia delante, pero puedes cambiarla con limit_direction.

Valores atípicos (outliers)

Al igual que con los ausentes, tu dataset puede contener valores que se desvían mucho de la mayoría. Son los “outliers”. Para encontrarlos, revisa la distribución de variables con un box plot o usa un diagrama de dispersión para identificar puntos que no caen en la zona “esperada”.

Las causas pueden variar, desde errores de sistema hasta introducción o procesamiento manual, pero es importante considerar su efecto: alteran resultados de pruebas estadísticas como desviación estándar, media o mediana, pueden reducir la normalidad y afectar a modelos como regresión o ANOVA.

Para tratarlos, puedes eliminarlos, transformarlos o imputarlos, según el contexto. De nuevo, es clave entender los datos e identificar la causa:

Si se deben a errores de introducción o procesamiento, quizá convenga eliminarlos.
Puedes transformarlos asignando pesos a observaciones o aplicando logaritmos para reducir la variación que provocan.
Como con los ausentes, puedes imputar reemplazando valores extremos por mediana, media o moda.

Puedes reutilizar las funciones de la sección anterior para gestionar outliers.

Las características de tus datos

Nota: este paso se realiza de forma iterativa con otras tareas de ciencia de datos: construyes y validas modelos, ajustas características y vuelves a iterar, etc.

Ingeniería de características

La ingeniería de características sirve para aumentar el poder predictivo de los algoritmos creando características a partir de datos en bruto que faciliten el aprendizaje. Consiste en generar nuevas variables relevantes a partir de las existentes.

Requiere práctica: no siempre está claro qué hacer con los datos brutos para mejorar la predicción. Esta lista puede darte ideas para tu dataset:

Factorizar una característica: codifica variables categóricas a numéricas con factorize(), como en este ejemplo:

Agrupar variables continuas en tramos: usa cut() para segmentar los valores de una columna en bins.

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaW1wb3J0IG51bXB5XG51cmwgPSBcImh0dHBzOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9waW1hLWluZGlhbnMtZGlhYmV0ZXMvcGltYS1pbmRpYW5zLWRpYWJldGVzLmRhdGFcIlxubmFtZXMgPSBbJ3ByZWcnLCAncGxhcycsICdwcmVzJywgJ3NraW4nLCAndGVzdCcsICdtYXNzJywgJ3BlZGknLCAnYWdlJywgJ2NsYXNzJ11cbmRmID0gcGQucmVhZF9jc3YodXJsLCBuYW1lcz1uYW1lcylcbmFycmF5ID0gZGYudmFsdWVzXG5YID0gYXJyYXlbOiwwOjhdXG5ZID0gYXJyYXlbOiw4XSIsInNhbXBsZSI6IiMgRGVmaW5lIHlvdXIgb3duIGJpbnNcbm15YmlucyA9IHJhbmdlKDAsIGRmLmFnZS5tYXgoKSwgMTApXG5cbiMgQ3V0IHRoZSBkYXRhIHdpdGggdGhlIGhlbHAgb2YgdGhlIGJpbnNcbmRmWydhZ2VfYnVja2V0J10gPSBwZC5jdXQoZGYuYWdlLCBiaW5zPW15YmlucylcblxuIyBDb3VudCB0aGUgbnVtYmVyIG9mIHZhbHVlcyBwZXIgYnVja2V0XG5kZlsnYWdlX2J1Y2tldCddLnZhbHVlX2NvdW50cygpIn0=

Escalar características: centra los datos alrededor de 0. Puedes usar el módulo preprocessing de Scikit-Learn:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaW1wb3J0IG51bXB5XG51cmwgPSBcImh0dHBzOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9waW1hLWluZGlhbnMtZGlhYmV0ZXMvcGltYS1pbmRpYW5zLWRpYWJldGVzLmRhdGFcIlxubmFtZXMgPSBbJ3ByZWcnLCAncGxhcycsICdwcmVzJywgJ3NraW4nLCAndGVzdCcsICdtYXNzJywgJ3BlZGknLCAnYWdlJywgJ2NsYXNzJ11cbmRhdGFmcmFtZSA9IHBkLnJlYWRfY3N2KHVybCwgbmFtZXM9bmFtZXMpXG5hcnJheSA9IGRhdGFmcmFtZS52YWx1ZXNcblggPSBhcnJheVs6LDA6OF1cblkgPSBhcnJheVs6LDhdIiwic2FtcGxlIjoiZnJvbSBza2xlYXJuLnByZXByb2Nlc3NpbmcgaW1wb3J0IFN0YW5kYXJkU2NhbGVyXG5cbnNjYWxlciA9IFN0YW5kYXJkU2NhbGVyKCkuZml0KFgpXG5cbnJlc2NhbGVkWCA9IHNjYWxlci50cmFuc2Zvcm0oWCkifQ==

Consejo: explora en detalle el módulo preprocessing de Scikit-Learn; incluye funciones muy útiles para crear nuevas características.

Estas son solo algunas ideas para crear nuevas variables y hacer tus datos más predictivos. La clave es idear y combinar características y probar su eficacia con Scikit-Learn.

Selección de características

La selección de características consiste en escoger un subconjunto clave de las variables originales para reducir la dimensionalidad del problema de entrenamiento. Parece similar a otras técnicas de reducción de dimensionalidad como PCA, pero hay una diferencia: PCA combina atributos correlacionados y crea otros nuevos que se consideran superiores a los originales. La selección no combina: evalúa calidad y poder predictivo y elige el mejor conjunto.

Para encontrar variables importantes, puedes usar RandomForest: genera miles de árboles de decisión de forma aleatoria y, por turnos, deja fuera cada variable al ajustar el modelo. Así puedes calcular cuánto mejora o empeora el rendimiento cuando excluyes una variable. Puedes implementarlo con Scikit-Learn en Python:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaXJpcyA9IHBkLnJlYWRfY3N2KFwiaHR0cHM6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL2lyaXMvaXJpcy5kYXRhXCIsIFxuICAgICAgICAgICAgICAgICAgc2VwPVwiLFwiLCBcbiAgICAgICAgICAgICAgICAgIGhlYWRlcj1Ob25lLFxuICAgICAgICAgICAgICAgICAgbmFtZXM9WydTZXBhbF9sZW5ndGgnLCAnU2VwYWxfd2lkdGgnLCAnUGV0YWxfbGVuZ3RoJywgJ1BldGFsX3dpZHRoJywgJ0NsYXNzJ10pIiwic2FtcGxlIjoiIyBJbXBvcnQgYFJhbmRvbUZvcmVzdENsYXNzaWZpZXJgXG5mcm9tIHNrbGVhcm4uZW5zZW1ibGUgaW1wb3J0IFJhbmRvbUZvcmVzdENsYXNzaWZpZXJcblxuIyBJc29sYXRlIERhdGEsIGNsYXNzIGxhYmVscyBhbmQgY29sdW1uIHZhbHVlc1xuWCA9IGlyaXMuaWxvY1s6LDA6NF1cblkgPSBpcmlzLmlsb2NbOiwtMV1cbm5hbWVzID0gaXJpcy5jb2x1bW5zLnZhbHVlc1xuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucmZjID0gUmFuZG9tRm9yZXN0Q2xhc3NpZmllcigpXG5cbiMgRml0IHRoZSBtb2RlbFxucmZjLmZpdChYLCBZKVxuXG4jIFByaW50IHRoZSByZXN1bHRzXG5wcmludChcIkZlYXR1cmVzIHNvcnRlZCBieSB0aGVpciBzY29yZTpcIilcbnByaW50KHNvcnRlZCh6aXAobWFwKGxhbWJkYSB4OiByb3VuZCh4LCA0KSwgcmZjLmZlYXR1cmVfaW1wb3J0YW5jZXNfKSwgbmFtZXMpLCByZXZlcnNlPVRydWUpKSJ9

Verás que el mejor conjunto incluye la longitud y la anchura del pétalo.

Nota: también puedes visualizar los resultados de la selección con Matplotlib:

# Import `pyplot` and `numpy`import matplotlib.pyplot as pltimport numpy as np# Isolate feature importances importance = rfc.feature_importances_# Sort the feature importances sorted_importances = np.argsort(importance)# Insert paddingpadding = np.arange(len(names)-1) + 0.5# Plot the dataplt.barh(padding, importance[sorted_importances], align='center')# Customize the plotplt.yticks(padding, names[sorted_importances])plt.xlabel("Relative Importance")plt.title("Variable Importance")# Show the plotplt.show()

Patrones en tus datos

El siguiente paso en la exploración es identificar patrones, como correlaciones entre atributos o entre datos ausentes. La visualización ayuda mucho; y no tiene por qué ser estática: atrévete con visualizaciones interactivas con Bokeh o Plotly.

Identificación de correlaciones con Matplotlib

Ahora que has mirado números y analizado cuantitativamente, también es útil considerar los datos de forma visual.

Para hacerlo fácil y rápido, usa Matplotlib. El único obstáculo, irónicamente, son tus datos: como sabes, tienen 64 columnas o características. Con tantas variables, hablamos de datos de alta dimensionalidad.

Qué es exactamente la dimensionalidad lo verás en nuestro tutorial de machine learning, pero por ahora basta con entender que, si quieres visualizar en 2D o 3D, necesitas dos o tres dimensiones. Es decir, debes reducir la dimensionalidad.

Para ello usarás técnicas de reducción, como el análisis de componentes principales (PCA):

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGlnaXRzID0gcGQucmVhZF9jc3YoXCJodHRwOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9vcHRkaWdpdHMvb3B0ZGlnaXRzLnRyYVwiLFxuICAgICAgICAgICAgICAgICAgICAgaGVhZGVyPU5vbmUpIiwic2FtcGxlIjoiIyBJbXBvcnQgYFBDQWAgZnJvbSBgc2tsZWFybi5kZWNvbXBvc2l0aW9uYFxuZnJvbSBza2xlYXJuLmRlY29tcG9zaXRpb24gaW1wb3J0IF9fX1xuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucGNhID0gUENBKG5fY29tcG9uZW50cz0yKVxuXG4jIFJlZHVjZSB0aGUgZGF0YSwgb3V0cHV0IGlzIG5kYXJyYXlcbnJlZHVjZWRfZGF0YSA9IHBjYS5maXRfdHJhbnNmb3JtKF9fX19fX18pXG5cbiMgSW5zcGVjdCB0aGUgc2hhcGUgb2YgYHJlZHVjZWRfZGF0YWBcbnJlZHVjZWRfZGF0YS5fX19fX19cblxuIyBwcmludCBvdXQgdGhlIHJlZHVjZWQgZGF0YVxucHJpbnQoX19fX19fX19fX19fX19fKSIsInNvbHV0aW9uIjoiIyBJbXBvcnQgYFBDQWAgZnJvbSBgc2tsZWFybi5kZWNvbXBvc2l0aW9uYFxuZnJvbSBza2xlYXJuLmRlY29tcG9zaXRpb24gaW1wb3J0IFBDQVxuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucGNhID0gUENBKG5fY29tcG9uZW50cz0yKVxuXG4jIFJlZHVjZSB0aGUgZGF0YSwgb3V0cHV0IGlzIG5kYXJyYXlcbnJlZHVjZWRfZGF0YSA9IHBjYS5maXRfdHJhbnNmb3JtKGRpZ2l0cylcblxuIyBJbnNwZWN0IHNoYXBlIG9mIHRoZSBgcmVkdWNlZF9kYXRhYFxucmVkdWNlZF9kYXRhLnNoYXBlXG5cbiMgcHJpbnQgb3V0IHRoZSByZWR1Y2VkIGRhdGFcbnByaW50KHJlZHVjZWRfZGF0YSkiLCJzY3QiOiJ0ZXN0X2ltcG9ydChcInNrbGVhcm4uZGVjb21wb3NpdGlvbi5QQ0FcIilcbnRlc3Rfb2JqZWN0KFwicGNhXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInJlZHVjZWRfZGF0YVwiLCBkb19ldmFsPUZhbHNlKVxucHJlZGVmX21zZz1cIkRpZCB5b3UgaW5zcGVjdCB0aGUgc2hhcGUgb2YgYHJlZHVjZWRfZGF0YWA/XCJcbnRlc3Rfb2JqZWN0X2FjY2Vzc2VkKFwicmVkdWNlZF9kYXRhLnNoYXBlXCIsIG5vdF9hY2Nlc3NlZF9tc2c9cHJlZGVmX21zZylcbiMgVGVzdCBgcHJpbnRgIFxudGVzdF9mdW5jdGlvbihcbiAgICBcInByaW50XCIsXG4gICAgbm90X2NhbGxlZF9tc2c9XCJEaWQgeW91IHByaW50IG91dCB0aGUgYHJlZHVjZWRfZGF0YV9ycGNhYCBkYXRhP1wiLFxuICAgIGluY29ycmVjdF9tc2c9XCJEb24ndCBmb3JnZXQgdG8gcHJpbnQgb3V0IHRoZSBgcmVkdWNlZF9kYXRhX3JwY2FgIGRhdGEhXCIsXG4gICAgZG9fZXZhbD1GYWxzZVxuKVxuc3VjY2Vzc19tc2coXCJBbWF6aW5nIVwiKSJ9

Al inspeccionar los datos reducidos, verás que ahora solo hay dos columnas o características. El número de filas u observaciones sigue siendo 3823. Con el formato listo, ¡toca graficar!

La elección del gráfico adecuado ya es un gran paso, pero ¿cuál elegir?

Como estás explorando y quieres descubrir posibles correlaciones entre atributos, un diagrama de dispersión es una buena opción: te permite identificar relaciones entre las dos características obtenidas con la reducción de dimensionalidad.

import matplotlib.pyplot as pltplt.scatter(reduced_data[:,0], reduced_data[:,1], c=labels, cmap = 'viridis')plt.show()

Correlation Python

Identificación de correlaciones con Bokeh

También puedes usar Bokeh para construir un gráfico interactivo y descubrir correlaciones entre atributos. Bokeh es una biblioteca de visualización interactiva en Python orientada a navegadores modernos. Es ideal para datasets grandes o en streaming, pero como verás en el ejemplo, también sirve para datos “normales”.

El código es muy sencillo: importas los módulos necesarios, construyes el scatter plot, configuras la salida por defecto para guardar el resultado en un archivo cuando se llame a show() y, por último, llamas a show() para ver el gráfico.

# Import the necessary modulesfrom bokeh.charts import Scatter, output_file, show# Construct the scatter plotp = Scatter(iris, x='Petal_length', y='Petal_width', color="Class", title="Petal Length vs Petal Width",            xlabel="Sepal Length", ylabel="Sepal Width")# Output the file output_file('scatter.html')# Show the scatter plotshow(p)

El resultado es elegante:

Python data exploration

Ten en cuenta que esta es una imagen estática, pero el gráfico resultante en tu notebook o terminal será interactivo. Por supuesto, es solo un ejemplo sencillo de lo que puedes hacer con Bokeh. Visita la galería de Bokeh para inspirarte o haz el curso Interactive Data Visualization with Bokeh de DataCamp.

Identificación de correlaciones con pandas

Los gráficos anteriores son una forma visual de explorar la correlación entre atributos. Pero también puedes hacerlo de forma cuantitativa con corr() de pandas. Ten en cuenta que los valores NaN o nulos se excluyen del cálculo.

Nota: las dos últimas medidas de correlación requieren ordenar (rankear) los datos antes de calcular los coeficientes. Puedes hacerlo con rank(): en el ejercicio anterior, ya se ejecutó iris.rank() por ti.

Además, estas correlaciones parten de ciertas asunciones: la correlación de Pearson asume normalidad en las variables, relación lineal entre cada par de variables y normalidad alrededor de la recta de regresión. La de Spearman, en cambio, asume dos variables ordinales o relacionadas de alguna forma, pero no necesariamente de manera lineal.

La Tau de Kendall representa el grado de concordancia entre dos columnas de datos ordenados. La de Spearman mide el grado de asociación entre dos variables. Parecen similares, ¿verdad?

Aunque Kendall y Spearman se parezcan, difieren en el cálculo. Kendall Tau se calcula como el número de pares concordantes menos los discordantes dividido entre el total de pares. Spearman es la suma de las desviaciones al cuadrado dividida por n por n menos 1.

El coeficiente de Spearman suele ser mayor que el de Kendall, pero no siempre: será menor cuando las desviaciones entre observaciones sean muy grandes. La correlación de Spearman es muy sensible a esto, lo que puede ser útil en algunos casos.

Entonces, ¿cuál usar? Porque en realidad miden cosas distintas: Kendall Tau representa la proporción de pares concordantes frente a discordantes, mientras que Spearman no. También se puede argumentar que Kendall Tau tiene una interpretación más intuitiva y sencilla de calcular, que ofrece una mejor estimación del parámetro poblacional correspondiente y que los p-valores son más precisos en muestras pequeñas.

Consejo: añade print() para ver los resultados de correlaciones por pares entre columnas.

¡A por más!

¡Enhorabuena, has llegado al final del tutorial de pandas! Ahora dominas técnicas básicas para explorar tus datos con Python.

Si quieres profundizar, nuestra serie de cursos de pandas es perfecta: descubre Data Manipulation with pandas, Reshaping Data with pandas o Joining Data with pandas.

Si, en cambio, quieres pasar de pandas y explorar más Matplotlib, prueba el tutorial de visualización de datos en Python de DataCamp o ¡empieza a modelar! Continúa con el tutorial de machine learning para aprender a construir un modelo que reconozca automáticamente los dígitos escritos a mano.

Temas

Python

Ciencia de datos

Análisis de datos

Cursos de Python

Curso

Introducción a Python

4 h

Domina los fundamentos del análisis de datos con Python en cuatro horas y descubre sus paquetes más usados.

Ver detalles

Iniciar Curso

Curso

Python intermedio

4 h

1.4M

Mejora tus conocimientos de ciencia de datos creando visualizaciones con Matplotlib y manipulando DataFrames con pandas.

Ver detalles

Iniciar Curso

Relacionado

Tutorial

Tutorial de Pandas: DataFrames en Python

Explora el análisis de datos con Python. Los DataFrames de Pandas facilitan la manipulación de tus datos, desde la selección o sustitución de columnas e índices hasta la remodelación de tus datos.

Karlijn Willems

15 min

Tutorial

Introducción al trazado con Matplotlib en Python

Este tutorial muestra cómo utilizar Matplotlib, una potente biblioteca de visualización de datos en Python, para crear gráficos de líneas, barras y dispersión con datos bursátiles.

Kevin Babitz

25 min

Tutorial

Tutorial de visualización de datos con Python y Tableau

Aprende a utilizar Python para ampliar las funciones de visualización de datos de Tableau.

Abid Ali Awan

15 min

Tutorial

Python Seaborn Tutorial Para Principiantes: Empezar a visualizar datos

Este tutorial de Seaborn le introduce en los fundamentos de la visualización de datos estadísticos

Moez Ali

20 min

Tutorial

Histogramas en Matplotlib

Aprende sobre histogramas y cómo puedes utilizarlos para obtener información de los datos con la ayuda de matplotlib.

Aditya Sharma

8 min

Tutorial

Tutorial seleccionar columnas con Python

Utiliza Python Pandas y selecciona columnas de los DataFrames. ¡Sigue nuestro tutorial con ejemplos de código y aprende hoy mismo distintas formas de seleccionar tus datos!

DataCamp Team

7 min

Ver Más Ver Más

Tutorial de Pandas: DataFrames en Python

Introducción al trazado con Matplotlib en Python

Tutorial de visualización de datos con Python y Tableau

Python Seaborn Tutorial Para Principiantes: Empezar a visualizar datos

Histogramas en Matplotlib

Tutorial seleccionar columnas con Python

.css-1531qan{-webkit-text-decoration:none;text-decoration:none;color:inherit;}Introducción a Python

Python intermedio

Tutorial de Pandas: DataFrames en Python

Introducción al trazado con Matplotlib en Python

Tutorial de visualización de datos con Python y Tableau

Python Seaborn Tutorial Para Principiantes: Empezar a visualizar datos

Histogramas en Matplotlib

Tutorial seleccionar columnas con Python

Introducción a Python