Principais pacotes Python para usuários de R — torne-se um cientista de dados bilíngue

A “guerra” entre as linguagens R e Python é antiga. Como linguagens padrão de programação para ciência de dados, elas atraem defensores de várias áreas. Por isso, muita gente não aproveita o melhor dos dois mundos e acaba dominando apenas uma ferramenta. Só que aprender a usar R e Python — sendo um cientista de dados bilíngue — ajuda você a resolver melhor os problemas que vão aparecer na sua carreira.

Com o crescimento da popularidade de Python, cada vez mais usuários de R estão migrando para Python. Então, se você usa R, encare este artigo como um panorama das bibliotecas Python que dá para integrar ao seu dia a dia. Algumas têm sintaxe parecida com R para uma transição suave; outras trazem mais recursos, velocidade e flexibilidade. 

Principais pacotes Python para usuários de R

Bibliotecas de manipulação de dados

R tem um ecossistema rico de bibliotecas para manipulação de dados. Seja dplyr, tidyr ou data.table, quem usa R conta com várias opções. Ainda assim, vale considerar algumas alternativas em Python em busca de mais flexibilidade, desempenho e funcionalidades.

Pandas

Entre os pacotes de manipulação de dados em Python, o destaque é a biblioteca pandas. Ela é a principal ferramenta de manipulação de dados no stack de ciência de dados em Python e é usada por milhões de pessoas no mundo todo. Atualmente, soma mais de 20 milhões de downloads semanais, sendo um dos pacotes mais populares de Python.

pandas download stats no site PyPI Stats.

Ela oferece um conjunto tão amplo de funções e classes para trabalhar com dados que, mesmo após anos de uso, você ainda pode descobrir técnicas novas com pandas. pandas também é uma biblioteca fundamental no ecossistema, já que muitas outras libs citadas neste artigo são feitas para alinhar sua funcionalidade às classes do pandas.

Apesar de ser tão completa, é simples de aprender e dominar. Conhecer algumas classes e funções já permite fazer análises complexas em qualquer conjunto de dados.

Pacote datatable do Python

Se a sintaxe do pandas parece estranha para usuários de R, eles podem se sentir em casa usando o pacote datatable do Python. Inspirado no equivalente em R e criado para lidar com os enormes volumes de dados de hoje, ele lê e manipula arquivos de vários gigabytes em questão de segundos.

Um caso de uso comum é ler um dataset grande com datatable e convertê-lo para DataFrame do pandas, o que costuma ser bem mais rápido do que ler diretamente com pandas. Mas, se você vem de R, nem precisa fazer isso: o datatable tem sintaxe praticamente idêntica ao data.table do R.

RapidsAI & cuDF

Quem migra de R para Python também pode ganhar em desempenho graças ao amplo suporte a GPU nas bibliotecas Python. A RapidsAI oferece essa possibilidade por meio da biblioteca cuDF. cuDF é uma biblioteca de dataframes que permite manipular conjuntos com bilhões de linhas aproveitando a computação das GPUs NVIDIA. Outra vantagem é que cuDF tem sintaxe semelhante ao pandas.

Bibliotecas de visualização de dados

O ggplot2 do R é referência em visualização de dados e está entre as bibliotecas mais usadas na área. Mas — para quem quer migrar de R para Python em visualização — há ótimas alternativas.

Matplotlib

Matplotlib é uma das primeiras bibliotecas apresentadas a quem começa a aprender ciência de dados em Python. Ela consegue equilibrar muito bem complexidade e flexibilidade. Ou seja, é fácil para iniciantes criarem ótimos gráficos, e ao mesmo tempo oferece tudo que usuários experientes precisam para criar gráficos personalizados realmente impressionantes.

Matplotlib download stats no site PyPI Stats.

Seaborn

O ponto fraco do Matplotlib é que os gráficos exigem bastante customização. Para visualizações com estilo mais fácil, conheça o Seaborn. Ele é uma API “wrapper” sobre o Matplotlib, o que torna muito mais simples para iniciantes criarem gráficos bonitos. O Seaborn também apresenta novos tipos de gráficos e ferramentas de subplot que não estão prontamente disponíveis no Matplotlib.

Plotly & Dash

Python também permite criar visualizações interativas usando diversas bibliotecas voltadas para isso. A principal é a Plotly, que também tem raízes fortes em R. Ela é excelente para produzir gráficos interativos de alta qualidade e oferece interfaces para customizar e criar visualizações complexas. 

Além disso, o framework Dash do Python é construído sobre a Plotly e permite criar com facilidade aplicativos web para hospedar dashboards. Outra biblioteca Python que facilita a criação de gráficos interativos é a Bokeh, que também permite publicar visualizações como apps web com facilidade. 

Plotnine

Para quem busca uma alternativa natural ao ggplot2 em Python, o pacote plotnine implementa a gramática dos gráficos na linguagem. Ele tem sintaxe e estética muito semelhantes às do ggplot2, oferecendo uma transição suave para usuários de R que querem começar a visualizar dados em Python imediatamente. 

Bibliotecas de matemática e estatística

O Python “puro” não vem carregado de funções estatísticas como o R. Mas suas bibliotecas compensam — e muito — essa diferença.

NumPy

A primeira é a poderosa NumPy, base para muitos outros pacotes essenciais de Python. É uma biblioteca excelente para manipulação de arrays, com uma seleção rica de funções matemáticas vetorizadas. Sua velocidade em operações com matrizes só encontra rival em Julia, uma das linguagens mais rápidas da história da programação.

Os arrays n-dimensionais do NumPy são a espinha dorsal de outras bibliotecas computacionais importantes, como TensorFlow e PyTorch. Por isso, as estatísticas de download do NumPy superam — e muito — as de pandas e Matplotlib somadas.

Numpy download stats no site PyPI Stats.

SciPy

Se você não encontrar uma função no NumPy, o SciPy é a resposta. Ele tem submódulos para várias aplicações computacionais em matemática, física e estatística.

O módulo de funções especiais traz rotinas de física matemática otimizadas para velocidade, essenciais para pesquisadores. Você pode resolver problemas de otimização com o módulo optimization, enquanto os módulos integrate e fft cuidam de cálculo e transformadas de Fourier. O módulo linalg reúne tudo que há no linalg do NumPy e ainda funções avançadas e de nicho de álgebra linear. Ele tem ótimo suporte a BLAS/LAPACK (bibliotecas-padrão de base para álgebra linear), o que o torna ainda mais rápido que o NumPy.

Também dá para processar imagens multidimensionais de forma eficiente. Enquanto o NumPy é ótimo para imagens 2-D/3-D, ele não lida tão bem com imagens de ordem superior em áreas como medicina e biologia. Nesses casos, use o módulo ndimage do SciPy.

Statsmodels

Embora os pacotes acima sejam mais voltados a matemática do que a estatística, Python também oferece a biblioteca statsmodels. É uma biblioteca extensa, com funções e classes para estimar diversos modelos estatísticos, realizar testes de hipótese e explorar dados.

Há funções completas para análise de regressão e APIs maduras para modelos lineares generalizados. O módulo de séries temporais é especialmente útil, com funções especializadas para modelar e visualizar séries.

Outros módulos cobrem análise de sobrevivência e duração, métodos não paramétricos e estatística multivariada. E, para alegria dos usuários de R, boa parte desses módulos usa sintaxe ao estilo R tanto na escrita das funções quanto na exibição dos resultados. Para análises puramente estatísticas, o statsmodels é a combinação perfeita de NumPy, SciPy e Matplotlib.

Bibliotecas de machine learning

É aqui que usuários de R tendem a encontrar mais valor ao adotar Python. As bibliotecas de machine learning em Python são mais completas que as de R e oferecem muitos algoritmos e ferramentas para pré-processamento de dados, engenharia de atributos, ajuste de hiperparâmetros, modelagem e muito mais. 

Scikit-learn

O primeiro framework é o scikit-learn. É o framework de machine learning mais popular em Python e o preferido da maioria dos profissionais da área hoje. 

Do State of Data Science and Machine Learning Survey 2021 da Kaggle

O scikit-learn tem uma grande seleção de algoritmos supervisionados para regressão, classificação binária e multiclasse. Ele conta com submódulos dedicados a pré-processamento de dados, pipelines, redução de dimensionalidade, engenharia e seleção de atributos, imputação de valores ausentes e clustering.

Apesar da enorme quantidade de classes e funcionalidades, sua API é bem intuitiva e direta. O scikit-learn faz um trabalho notável em aplicar os 20 padrões de design de código Python presentes no Zen of Python. 

XGBoost

Se há um ponto fraco no scikit-learn, é a ausência de suporte a GPU. Todos os algoritmos rodam em CPU, então é natural recorrer a outras libs quando você precisa de mais velocidade com GPU. Uma biblioteca que usuários de R já conhecem é a XGBoost. 

Com Árvores de Gradient Boosting de última geração aceleradas por GPU no núcleo, ela resolve tarefas supervisionadas muito mais rápido que outros frameworks de ML, mantendo alto desempenho. Como mostra a imagem acima, é bastante popular na comunidade Python e domina competições com dados tabulares na Kaggle. 

LightGBM & Catboost

Duas bibliotecas semelhantes são LightGBM e CatBoost. Enquanto a LightGBM exige bem menos memória que a XGBoost, a CatBoost costuma oferecer vantagens de velocidade e acurácia. As três bibliotecas de gradient boosting podem implementar a API do scikit-learn, o que as torna muito fáceis de usar.

Além da guerra de linguagens: R e Python para o cientista de dados moderno

Embora R e Python tenham vantagens diferentes, encarar o tema como “guerra de linguagens” é contraproducente para cientistas de dados. No podcast DataFramed, os autores de "Python and R for the Modern Data Scientist", Rick Scavetta e Boyan Angelov, falam sobre as vantagens de ser um cientista de dados bilíngue e como times modernos se beneficiam de profissionais com essa habilidade.

Ao longo do episódio, eles discutem como um dos problemas dessa visão de guerra é o surgimento de “monoculturas” dentro das comunidades de R e Python. Um ótimo contra-argumento à monocultura ou à mentalidade “nós contra eles” é a analogia do “martelo e prego” — se tudo que você tem é um martelo, todo problema parece um prego. 

Em outras palavras, a abordagem que prioriza a linguagem limita sua criatividade e sua capacidade de resolver problemas com eficácia. Ao adotar uma abordagem orientada à solução, você passa a olhar para o problema em termos de conceitos, e não apenas do que uma linguagem específica oferece de forma rígida.

Dominar R e Python permite usar o melhor de cada um no contexto certo. Por exemplo, os autores destacam como R brilha em visualização de dados com ggplot2 e como seu ecossistema de relatórios é maduro com R Markdown e Shiny, enquanto Python se destaca em machine learning, APIs e MLOps.

No livro, os autores apresentam um estudo de caso excelente mostrando como fazer as duas linguagens se comunicarem. Com ferramentas como o reticulate no RStudio, você consegue chamar scripts Python e rodar pacotes Python dentro do R, passando objetos entre as linguagens com liberdade.

Se você é usuário de R, nunca foi tão fácil se tornar um cientista de dados bilíngue. Para saber mais sobre como aprender Python, confira nossa coleção completa de recursos.