40+ recursos de estatística com Python para ciência de dados

Esta lista não esgota tudo o que se usa de estatística em ciência de dados, mas já é um ótimo ponto de partida. :) 

Aliás, se você ainda está começando a aprender Python para ciência de dados, vale considerar o nosso curso Intro to Python For Data Science. Ele vai ajudar você a aplicar estatística com Python. 

Aprender estatística para ciência de dados é algo muito prático, por isso não deixe de (continuar a) praticar os conceitos teóricos que você pode ter visto no início da sua jornada.

Mas qual é exatamente a diferença entre estatística e ciência de dados?

Muitas vezes elas se confundem, e há quem diga que não há diferença e que o cientista de dados é, na verdade, um estatístico.

Deixando opiniões de lado por um momento, a maioria concorda que a estatística é um dos componentes centrais usados em ciência de dados.

estatística com Python

O post de hoje foca em como você pode aprender estatística com Python, incluindo os temas de análise estatística que você vai explorar na sua jornada em ciência de dados usando Python.

Por que Python?

R é um ótimo ponto de partida para estatística. Ele foi desenvolvido para computação e visualização estatística, então oferece uma infinidade de pacotes. Python, por sua vez, é uma linguagem de uso geral com muitas aplicações.

Ainda assim, você também pode usar Python para estatística.

Muita gente escolhe Python pelo desempenho ou porque ele também faz muita coisa que o R faz. 

No fim das contas, a popularidade dessa linguagem só cresce e o número de pacotes para ciência de dados aumentou bastante nos últimos anos. 

Em resumo, há bons motivos para usar Python em análises estatísticas.

A ferramenta que você vai escolher depende do tipo de análise que quer fazer.

Então, pronto para começar com estatística em Python?

PS: se você também busca recursos para aprender estatística com R, confira os open courses da DataCamp ou o Intro to Statistics With R.

estatística e teoria das probabilidades em Python

O primeiro tópico para encarar é estatística e teoria das probabilidades. Além de muitos vídeos e cursos, há também vários livros (impressos) que ajudam você a começar com estatística em Python.

Introdução à estatística com Python 

Para uma introdução à estatística, este tutorial com exemplos do mundo real é um ótimo caminho. Os notebooks apresentam conceitos como média, mediana, desvio padrão e noções básicas de testes de hipótese e distribuições de probabilidade.

É uma forma excelente de iniciar seus estudos, já que é inspirado nos livros "Think Bayes" e "Think Stats", duas recomendações de peso que voltam mais abaixo!

Se você busca livros, experimente este livro gratuito sobre estatística computacional em Python, que traz não só uma introdução à programação com Python, mas também temas como Markov Chain Monte Carlo, o algoritmo EM (Expectation-Maximization), métodos de reamostragem e muito mais.

Ou você pode adquirir este livro de Thomas Haslwanter para uma introdução geral a testes estatísticos comuns, análise de regressão linear e tópicos de análise de sobrevivência e estatística bayesiana. Observação: o livro usa ciências da vida e médicas como área de aplicação.

Como você percebe, ambos já apresentam tópicos mais avançados de estatística com Python.

Se você curte vídeos, considere assistir este tutorial sobre análise estatística de dados com SciPy, com Christopher Fonnesbeck, Professor Assistente no Departamento de Bioestatística da Vanderbilt University School of Medicine. Há também este vídeo sobre estatística inferencial e exploratória com Python por Gaël Varoquaux. Este último usa os pacotes Pandas e StatsModels. 

Você vai ver que esses recursos são bem gerais para começar com estatística em Python.

Se quer algo que acelere seu domínio do básico, confira o curso da DataCamp Statistical Thinking in Python, ministrado por Justin Bois. Você será apresentado a conceitos como análise exploratória de dados (EDA), variância e covariância, médias e medianas, distribuições de probabilidade e muito mais.

Teoria das probabilidades com Python

Probabilidade também é algo valioso ao aprender estatística com Python. É a análise de fenômenos aleatórios. Isso significa que o resultado de um evento aleatório é não determinístico: pode ser qualquer um entre vários possíveis, e o resultado final é determinado pelo acaso.

A teoria das probabilidades é a base conceitual da estatística.

Os recursos citados acima trazem uma introdução geral à estatística e, em alguns casos, também cobrem probabilidade (o que faz todo sentido), mas há materiais focados exclusivamente neste tema.

Você também pode conferir os seguintes recursos:

Uma das principais recomendações é o curso Computational Probability and Inference da EdX. Este curso prático, ministrado por instrutores do MIT, vai deixar você à vontade com os princípios de probabilidade e inferência.

Vale ler também este livro gratuito, do Professor Brian Blais, que é um texto introdutório de inferência estatística, motivado pela probabilidade como lógica.

distribuições de probabilidade em Python

Para realmente aprender estatística com Python para ciência de dados, desenvolva uma boa intuição sobre quando usar cada distribuição. Uma distribuição lista (ou descreve por função) todos os valores ou intervalos possíveis dos dados e com que frequência ocorrem.

E, se você der uma olhada nesta lista, vai ver que há muitas distribuições a considerar.

Para uma introdução às distribuições uniforme, normal, binomial e de Poisson com SciPy, confira este post.

Uma recomendação de destaque é o capítulo 4 do livro “Think Stats: Probability and Statistics for Programmers”, que apresenta distribuições contínuas. O capítulo 5 também traz uma base sólida em distribuições de probabilidade.

Para visualizar distribuições, você pode usar histogramas, entre outros. Se quiser um panorama rápido, veja este notebook do IPython, com uma breve introdução à estatística descritiva com médias, quantis e histogramas e suas relações. Para aprender mais sobre como visualizar distribuições, confira este tutorial de Seaborn.

Há também este tutorial da plotly sobre estatística básica em Python.

Se você prefere um curso que cubra algumas distribuições, como binomial e Poisson, e funções como a função de distribuição acumulada empírica, ou que ensine a visualizar essas distribuições, confira o curso da DataCamp Statistical Thinking in Python.

testes de hipótese em Python

Testes de hipótese são testes estatísticos usados para determinar se há evidências suficientes em uma amostra de dados para inferir que determinada condição é verdadeira para toda a população.

Os dois conceitos centrais são a hipótese nula e a hipótese alternativa, e o p-valor também é fundamental. Tudo isso é difícil no começo, e exige esforço para entender o nível de significância (alfa) do seu p-valor e o que diferencia rejeitar de não rejeitar a hipótese nula.

Você encontra um tutorial no site da biblioteca SciPy que aborda brevemente p-valores e estimação.

Estas aulas de SciPy apresentam o teste t, que você pode usar para testar sua hipótese analisando as médias de duas populações. Você também pode recorrer a este post para explorar testes t.

Se prefere um livro, a recomendação do “Think Stats: Probability and Statistics for Programmers” continua valendo para testes de hipótese. O capítulo 7 ensina tudo sobre o tema, caso você ainda não tenha passado pelos capítulos de distribuições.

Para quem busca cursos, o Statistical Thinking in Python (Part 2) da DataCamp oferece uma introdução e exemplos de testes para você ganhar o conhecimento e a prática necessários em testes de hipótese e muito mais. 

modelagem estatística e ajuste em Python

Agora que você pegou o jeito de testes de hipótese e distribuições, pode revisar ou aprofundar como construir modelos estatísticos e ajustar distribuições aos dados.

Modelos estatísticos aproximam o processo que gera seus dados e podem ser usados para resumir, prever e simular. Em outras palavras, são representações de fenômenos complexos que geraram os dados e que servem para sumarização, previsão ou simulação.

Isso implica também avaliar se seus dados se ajustam bem ao modelo.

Para fornecer o melhor ajuste entre modelo e dados, usamos estimação. Estimação trata de fazer inferências sobre uma população com base em informações de uma amostra. Junto com testes de hipótese, é uma forma de aprender sobre a população a partir da amostra.

Este tutorial apresenta o tema de ajuste com a ajuda da biblioteca SciPy.

Modelagem e ajuste de dados estatísticos também são um capítulo deste tutorial de análise estatística, em notebooks, feito por Christopher Fonnesbeck. O nome já soa familiar, né? 

Para quem prefere vídeos, esse tutorial também está no YouTube em quatro partes, cobrindo temas como estimação (máxima verossimilhança e método dos momentos).

Você pode ver os vídeos aqui.

Ah, e se quiser saber mais sobre máxima verossimilhança para classificação de padrões, não perca este notebook ou este outro, que explicam como calcular essa estimativa para diferentes distribuições. Eles fazem parte do repositório de classificação de padrões do Sebastian Raschka, que também mantém o repositório do seu Python Machine Learning book. 

machine learning com Python

E com essa última sugestão de livro de Machine Learning, você pode estar pensando: mas o post não era sobre estatística?

Exato.

E não é que machine learning e estatística sejam a mesma coisa, mas ambas fazem a mesma pergunta: como aprender com dados?

Além disso, técnicas de machine learning e de estatística são usadas com frequência em áreas como reconhecimento de padrões e data mining. 

Machine learning é uma ferramenta poderosa na sua caixa de ciência de dados. É um tema amplo, e você pode passar bastante tempo entendendo seus conceitos e algoritmos.

Por isso, melhor começar agora!

Mas não é tão simples saber por onde começar, já que o campo é vasto e há muitos recursos para aprender machine learning em Python.

O curso de machine learning do Andrew Ng é bem teórico, mas ainda assim recomendado se você quiser primeiro abordar os conceitos e algoritmos pela ótica teórica.

No entanto, há muitos recursos práticos que ajudam você a dar os primeiros passos.

Alguns deles são:

Esta introdução leve a machine learning com SciPy vai colocar você no caminho certo. O tutorial é ideal para quem quer revisar estatística básica e construir a partir daí. Kyle Kastner apresenta estimação de parâmetros, regressão, avaliação de modelos e classificação básica.

Se preferir um livro, confira o IPython Interactive Computing and Visualization Cookbook. O capítulo 8 introduz conceitos fundamentais e ilustra algoritmos como regressão logística, Naive Bayes, K-vizinhos mais próximos, máquinas de vetores de suporte, random forests e outros. O cookbook usa o Scikit-learn nos exemplos.

Se quiser um tutorial introdutório do Scikit-learn, vá aqui. 

E não perca este tutorial sobre o classificador Naive Bayes.

análise de regressão com Python

Regressão é algo que você não pode deixar de lado quando o assunto é estatística para ciência de dados. É um processo estatístico para estimar o relacionamento entre variáveis.

Para entender como fazer regressão com Python, comece revisando material sobre regressão linear.

Mas confira este tutorial primeiro: ele cobre análise de regressão usando o pacote StatsModels com Quandl. Primeiro explica os tipos de regressão e depois traz um exemplo prático.

Em seguida, passe por este tutorial de regressão linear para mais prática.

Depois, avance para regressão não linear. Para um tutorial sobre regressão ridge e lasso em Python, veja este artigo da Analytics Vidhya. Ele usa as bibliotecas NumPy, Pandas, Matplotlib e Scikit-learn para explicar com clareza como abordar o tema. 

Há também um ótimo notebook sobre regressão logística que você encontra aqui.

E não perca este post da Yhat sobre regressão logística com Rodeo.

pensamento e modelagem bayesiana em Python

Estatística bayesiana é uma teoria que expressa a evidência sobre o verdadeiro estado do mundo em termos de graus de crença, conhecidos como probabilidades bayesianas. Em alguns casos, você vai querer adotar uma abordagem bayesiana para problemas de ciência de dados.

O que isso significa na prática fica claro nesta excelente série de cinco partes, que introduz frequentismo e bayesianismo.

Se você prefere livros, confira “Think Bayes: Bayesian Statistics in Python”. "Bayesian Methods For Hackers" é outro ótimo recurso para começar com inferência bayesiana. Dois livros indispensáveis para quem quer iniciar no pensamento e modelagem bayesiana! 

Ou, se quiser uma introdução em formato de notebook, siga este tutorial, que apresenta o teorema de Bayes.

Não perca também este tutorial sobre análise estatística bayesiana em Python e os vídeos no YouTube que apresentam estatística bayesiana, Markov chain Monte Carlo, PyMC, modelagem hierárquica, verificação e validação de modelos.

Para um tutorial sobre ajuste de modelos bayesianos em Python, confira estes notebooks do IPython e o vídeo no YouTube, uma aula do Jake VanderPlas no ESAC Data Analysis and Statistics Workshop 2014.  

Se quiser reaproveitar recursos, veja o IPython Interactive Computing and Visualization Cookbook, que você talvez já tenha usado para machine learning. O capítulo 7 trata de análise estatística de dados, com foco em métodos frequentistas e bayesianos para testes de hipótese, estimação paramétrica e não paramétrica e inferência de modelos.

Aqui tem um tutorial sobre PyMC, um módulo Python que implementa modelos estatísticos bayesianos e algoritmos de ajuste, incluindo Markov Chain Monte Carlo (MCMC). Além disso, este tutorial, no qual você aprende a implementar modelos de regressão linear bayesiana com PyMC3, também vale a leitura. 

cadeias de Markov

Em termos simples, cadeias de Markov são sistemas matemáticos que “saltam” de um estado para outro. Esses estados podem ser uma situação ou um conjunto de valores. Isso significa que você tem uma lista de estados e, além disso, a cadeia de Markov informa a probabilidade de transição de um estado para qualquer outro.

Alguns dos recursos citados acima já introduzem esse tema.

Além deles, vale assistir este vídeo: é um tutorial que usa simulação de Monte Carlo e reamostragem, entre outros, para explorar testes de hipótese e modelagem estatística. Pode ser uma boa forma de consolidar seu conhecimento antes de mergulhar em cadeias de Markov.

O livro Computational Statistics in Python também traz insights sobre cadeias de Markov. É uma introdução excelente a Markov Chain Monte Carlo.

começando com estatística em Python

Esta lista é só para você decolar. Você vai perceber que muitos recursos se sobrepõem ou pode encontrar outros por aí. Conte pra gente no Twitter!

De qualquer forma, não há motivo para adiar: comece agora a aprender estatística com Python.

Comece agora