Análise exploratória de cervejas artesanais: data profiling

Beers variáveis

print_categories(beers)

O comando acima retorna:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Breweries variáveis

print_categories(breweries)

Que gera o seguinte resultado:

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Com essas informações, você já entende melhor o dataset. Sabemos que estamos lidando apenas com dados categóricos e numéricos. Variáveis numéricas permitem extrair diversas medidas, como média, desvio padrão etc. Variáveis categóricas são ótimas para segmentar e agrupar os dados. Por exemplo, você pode querer entender como o IBU varia entre os diferentes estilos de cerveja.

Quantidade de observações

A função len conta o número de observações em uma Series. Ela conta todas as observações, independentemente de haver valores ausentes ou nulos.

length = len(beers["ibu"])
print(length)

Nesta Series, temos um total de 2410 observações.

Contagem (não nulos)

A função count retorna o número de observações não nulas em uma Series.

count = beers["ibu"].count()
print(count)

Como você vê, existem 1405 observações não nulas na Series.

Valores ausentes

Com a Length e a Count, conseguimos calcular o número de valores ausentes. É a diferença entre Length e Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Para exibir a porcentagem de ausentes, basta dividir o número de valores ausentes pelo total de observações (length). A função float garante que os decimais sejam considerados na divisão. A função format formata o número como porcentagem.

Neste caso, faltam quase 42% dos valores de IBU. Isso é importante porque vai afetar sua análise. A maioria das estatísticas descritivas ignora valores ausentes, o que certamente pode introduzir viés.

Valor mínimo/máximo

Os valores mínimo e máximo podem ser obtidos facilmente com as funções min e max em uma Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

Os valores mínimo/máximo ajudam a entender a faixa de uma variável. Aqui, o IBU vai de 4 a 138.

Moda

A moda é o valor mais frequente em um dataset. Você a obtém com a função mode em uma Series.

print(beers["ibu"].mode())

Em uma distribuição normal, a moda é igual à mean e à median.

Neste caso, a moda da variável IBU é 20. É o IBU mais frequente no dataset.

Média

A média é uma medida de tendência central. Representa a soma dos valores dividida pela contagem de observações não ausentes.

Pode ser obtida com a função mean em uma Series.

mean = beers["ibu"].mean()

A média é sensível a outliers. Alguns valores extremos podem puxá-la para cima ou para baixo.

Mediana

A mediana também é uma medida de tendência central. É o valor exatamente no meio de uma lista ordenada de valores numéricos.

median = beers["ibu"].median()

Em distribuições assimétricas, a mediana é uma medida melhor de tendência central do que a média.

No caso da distribuição de IBU, média e mediana estão na mesma ordem de grandeza.

Desvio padrão

O desvio padrão é uma medida de dispersão. Um desvio padrão alto indica que os pontos estão espalhados por uma faixa ampla de valores. Ele é expresso na mesma unidade dos valores.

standarddev = beers["ibu"].std()

Neste caso, o desvio padrão é ~26 (25.954065911259324, para ser exato). Se a distribuição de IBU fosse normal, ~68% das observações estariam a uma distância de um desvio padrão da média.

Estatísticas de quantis

Quantis são pontos de corte que dividem uma distribuição em partes iguais. Muitos quantis têm nome próprio. Ao dividir em quatro grupos iguais, temos os quartiles. É fácil calcular quantis com a função quantile em uma Series. Você passa um array com os quantis desejados. Abaixo, vamos dividir em quatro grupos iguais.

quantile = beers["ibu"].quantile([.25, .5, .75])

Como você vê, o quantil de 50% é igual à mediana: o valor que divide o dataset ao meio. Note também que 75% das observações são menores ou iguais a 64 IBU. Além disso, 50% da distribuição está entre 21 e 64 IBU. Importante: valores ausentes não entram nesses cálculos.

Gráficos de distribuição

Visualizações são muito úteis na análise exploratória. Aqui não vamos aprofundar o tema visualização, mas não dá para falar de data profiling sem mencionar a importância de um gráfico de distribuição de frequências. É uma das visualizações mais simples e poderosas: mostra a frequência de cada valor no dataset.

Para criar essa visualização, usamos a biblioteca seaborn com a função displot. Essa função espera uma Series sem valores ausentes.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

Nesse gráfico, dá para ver claramente alguns dos valores que calculamos. O mínimo fica perto de 0 IBU e o máximo perto de 140 IBU. A moda fica perto de 20 IBU. Além disso, aparece um pico próximo de 60 IBU.

Por que há dois picos nessa distribuição?

O que explica isso? Esse é um ponto para explorar na segunda fase da análise exploratória.

Correlação

Correlação é ótima para descobrir relações entre variáveis numéricas. Há várias formas de calculá-la. O coeficiente de correlação de Pearson é amplamente usado e mede a dependência linear entre duas variáveis. O coeficiente varia de -1 a 1: 1 é correlação totalmente positiva, -1 é totalmente negativa e 0 indica ausência de correlação linear. Podemos calcular isso com a função corr em um Series. Por padrão, ela usa Pearson, mas é possível escolher outros métodos.

beers[["abv", "ibu", "ounces"]].corr()

Como esperado, a correlação de IBU com ele mesmo é 1. Mais interessante: a correlação entre ABV e IBU é 0.670621. Não é uma correlação perfeita, mas é alta. Vale explorar esse ponto mais a fundo.

Algumas notas sobre variáveis não numéricas

As métricas acima valem, em sua maioria, para valores numéricos. Se você estiver lidando com dados de outros tipos, como categóricos, ainda dá para coletar medidas interessantes. Por exemplo, calcular a frequência de cada valor no dataset.

DataFrames têm a função describe, que resume o dataset. Se o seu DataFrame tiver apenas valores categóricos ou de texto, o resumo será adaptado para esse tipo de dado.

beers[["name", "style"]].describe()