Índices jerárquicos, groupby y pandas

Puedes ver el índice en el lado izquierdo del DataFrame y que está compuesto por enteros. Es un RangeIndex:

# Check out index
df.index

RangeIndex(start=0, stop=3, step=1)

Podemos usar este índice para extraer una o varias filas de df:

# Slice and dice data
df.loc[:1]

Sin embargo, este índice no aporta mucha información. Si vas a etiquetar las filas de tu DataFrame, lo ideal es hacerlo de forma significativa, siempre que sea posible. ¿Se puede con este conjunto de datos? Una buena forma de enfocarlo es que necesitas un identificador único y significativo para cada fila. Revisa las columnas y comprueba si alguna cumple estos criterios. Observa que la columna date contiene fechas únicas, así que tiene sentido etiquetar cada fila con la fecha. Es decir, puedes convertir la columna date en el índice del DataFrame con el método .set_index() (nota: inplace=True indica que realmente modificas el DataFrame df en el sitio):

# Set new index
df.set_index(pd.DatetimeIndex(df['date']), inplace=True)
df

Esto le da a df un DateTimeIndex:

# Check out new index
df.index

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03'], dtype='datetime64[ns]', name='date', freq=None)

Ahora puedes extraer filas usando el DateTimeIndex que acabas de crear:

# Slice and dice data w/ new index
df.loc['2017-01-02']

date           2017-01-02
language           python
ex_complete             5
Name: 2017-01-02 00:00:00, dtype: object

Ten en cuenta también que el atributo .columns devuelve un índice con los nombres de las columnas de df:

# Check out columns
df.columns

Index(['date', 'language', 'ex_complete'], dtype='object')

Esto puede resultar algo confuso porque lo que indica es que df.columns es de tipo Index. Esto no significa que las columnas sean el índice del DataFrame. El índice de df siempre lo da df.index. Revisa nuestro tutorial de DataFrames de pandas para saber más sobre índices. Ahora es momento de conocer los índices jerárquicos.

El multiíndice de un DataFrame de pandas

¿Y si tuviéramos varios lenguajes en nuestro conjunto de datos, como ocurre en DataCamp? Mira:

# Import and check out data
df = pd.read_csv('data/user_ex.csv')
df

Ahora cada fecha corresponde a varias filas, una por lenguaje. Por ejemplo, la fecha «2017-01-02» aparece en las filas 1 y 4, para los lenguajes Python y R, respectivamente. Por tanto, la fecha ya no identifica la fila de forma única. Sin embargo, «date» y «language» juntas sí identifican las filas de forma única. Por eso usamos ambas como índice:

# Set index
df.set_index(['date', 'language'], inplace=True)
df

Acabas de crear un multiíndice, o índice jerárquico (familiarízate con ambos términos porque se usan indistintamente). Puedes comprobarlo así:

# Check out multi-index
df.index

MultiIndex(levels=[['2017-01-01', '2017-01-02', '2017-01-03'], ['python', 'r']],
           labels=[[0, 1, 2, 0, 1, 2], [0, 0, 0, 1, 1, 1]],
           names=['date', 'language'])

Lo anterior indica que tu DataFrame df ahora tiene un MultiIndex con dos niveles, el primero por fecha y el segundo por lenguaje. Recuerda que arriba podías cortar el DataFrame usando el índice y el accesor .loc: df.loc['2017-01-02']. Para poder hacer slicing con un multiíndice, primero necesitas ordenar el índice:

# Sort index
df.sort_index(inplace=True)
df

Ahora puedes extraer el número de ejercicios de R completados el 2017-01-02 pasando una tupla al accesor .loc:

# Slice & dice your DataFrame
df.loc[('2017-01-02', 'r')]

ex_complete 8 Name: (2017-01-02, r), dtype: int64

Cuándo y por qué usar multiíndices

Los multiíndices son una herramienta potente para analizar y organizar datos en pandas. Permiten crear índices jerárquicos que pueden usarse para agrupar y agregar datos en múltiples dimensiones. Son especialmente útiles con conjuntos de datos complejos que tienen varios niveles de categorización, como datos financieros o series temporales.

Al crear un multiíndice, puedes agrupar por varias variables a la vez, lo que puede desvelar patrones que no se aprecian con una agrupación de un solo nivel. Por ejemplo, puedes agrupar por tiempo y ubicación a la vez y así analizar tendencias por regiones a lo largo del tiempo.

Además, los multiíndices facilitan seleccionar y filtrar datos de forma eficiente, ya que el índice ofrece una vía cómoda para acceder a subconjuntos específicos. En resumen, son clave para organizar, agrupar y analizar datasets complejos en pandas y resultan imprescindibles para cualquier analista o científico de datos que trabaje con datos jerárquicos.

Ya sabes algo sobre índices jerárquicos (o multiíndices). Veamos ahora cómo aparecen al trabajar con objetos groupby.

Índices jerárquicos, objetos groupby y dividir-aplicar-combinar

En una entrada anterior exploramos los objetos groupby y el principio analítico de dividir-aplicar-combinar usando datos de Netflix. Hagamos un repaso rápido con otro conjunto de datos: tips, que viene incluido en el paquete seaborn. «Tips» contiene variables como tip, total_bill, el día de la semana y la franja horaria. Primero carga y explora los datos:

# Import and check out data
import seaborn as sns
tips = sns.load_dataset("tips")
tips.head()

Observa que el índice de tips es un RangeIndex:

# Check out index
tips.index

RangeIndex(start=0, stop=244, step=1)

Siempre ayuda hacer algo de EDA visual antes de ponerte a calcular, y la función pairplot de seaborn te permite ver de un vistazo todas las variables numéricas:

# Import pyplot, figures inline, set style, plot pairplot
import matplotlib.pyplot as plt
%matplotlib inline
sns.set()
sns.pairplot(tips, hue='day');

Si quieres comparar la propina media entre «smokers» y «non-smokers», puedes dividir el DataFrame original por «smoker» (usando groupby), aplicar la función «mean» y combinar en un nuevo DataFrame:

# Get mean of smoker/non-smoker groups
df = tips.groupby('smoker').mean()
df

El índice resultante del DataFrame df es la columna «smoker» del DataFrame original «tips»:

# Check out new index
df.index

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')

Si quieres, puedes restablecer el índice para que «smoker» vuelva a ser una columna del DataFrame:

# Reset the index
df.reset_index()

Ahora verás cómo los índices jerárquicos surgen de dividir-aplicar-combinar y de las operaciones groupby.

Agrupaciones múltiples e índices jerárquicos

Antes agrupaste el conjunto tips según la variable «smoker». A veces necesitarás agrupar un conjunto de datos por dos variables. Por ejemplo, es natural agrupar tips en fumadores/no fumadores y cena/comida. Para hacerlo, pasa los nombres de las columnas por las que quieres agrupar como una lista:

# Group by two columns
df = tips.groupby(['smoker','time']).mean()
df

Como puedes ver, tanto «smoker» como «time» son índices de df. Tiene sentido: si al agrupar por «smoker» el índice pasa a ser esa columna original, al agrupar por dos columnas obtienes dos índices. Compruébalo para confirmar que es jerárquico:

# Check out index
df.index

MultiIndex(levels=[['Yes', 'No'], ['Lunch', 'Dinner']],
           labels=[[0, 0, 1, 1], [0, 1, 0, 1]],
           names=['smoker', 'time'])

Y así es. Ahora puedes hacer un buen puñado de cosas útiles, como obtener los recuentos en cada agrupación:

# Group by two features
tips.groupby(['smoker','time']).size()

smoker  time  
Yes     Lunch      23
        Dinner     70
No      Lunch      45
        Dinner    106
dtype: int64

También puedes intercambiar los niveles del índice jerárquico para que «time» aparezca antes que «smoker» en el índice:

# Swap levels of multi-index
df.swaplevel()

Después quizá quieras quitar una de estas variables del índice jerárquico y formar columnas distintas con respecto a esa variable. Puedes hacerlo con el método unstack:

# Unstack your multi-index
df.unstack()

Puedes «desapilar» por la variable externa del índice usando el argumento de palabra clave «level»:

# Unsstack the outer index
df.unstack(level=0)

El resultado de «desapilar» tiene un índice no jerárquico, como cabría esperar:

# Check out index
df.unstack().index

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')

Como resultado, ahora puedes realizar todo tipo de análisis con respecto a estas agrupaciones. Te animo a hacerlo.

Índices jerárquicos en el día a día

En esta entrada has conocido los índices jerárquicos (o multiíndices) y has visto cómo surgen de forma natural cuando quieres que el índice de un DataFrame etiquete las filas de forma única y con sentido. También has visto cómo aparecen cuando necesitas agrupar tus datos por varias columnas, aplicando el principio de dividir-aplicar-combinar. Espero que disfrutes trabajando con índices jerárquicos.

Esta entrada se generó a partir de un Jupyter Notebook; puedes encontrarla en este repositorio. Si tienes ideas, comentarios o reflexiones, escríbeme en Twitter: @hugobowne.

Echa un vistazo a otros tutoriales útiles de pandas en DataCamp, como:

• Usar el método .apply() de pandas
• Importar datos CSV en pandas con read_csv()
• La guía definitiva de pandas para principiantes