Tutorial do Google Colab para cientistas de dados

Trabalhar em um projeto de ciência de dados é sempre empolgante — seja você um entusiasta começando agora ou um cientista de dados com anos de experiência.

Mas configurar o ambiente, instalar os pacotes necessários, manter os arquivos do projeto em segurança e lidar com as limitações de computação da sua máquina pode ser desafiador.

Neste guia, você vai aprender como o Google Colab pode simplificar e turbinar seu fluxo de trabalho em ciência de dados.

Índice:

• O que é o Google Colab?
• Criando seu primeiro notebook no Google Colab
• Por que vale a pena usar o Google Colab
• Bibliotecas de data science pré-instaladas
• Compartilhamento e colaboração fáceis
• Integração perfeita com o GitHub
• Salvando notebooks do Colab no GitHub
• Trabalhando com dados de várias fontes
• Carregando dados do seu computador
• Montando o Google Drive na instância do Colab
• Clonando um repositório do GitHub na instância do Colab
• Baixando dados remotos
• Armazenamento automático e controle de versão
• Acesso a aceleradores de hardware como GPUs e TPUs
• DataLab: visão geral
• Limitações do Google Colab
• Conclusão

O que é o Google Colab?

O Google Colab é um ambiente de notebooks Jupyter na nuvem, desenvolvido pelo Google Research. Com uma interface simples e fácil de usar, o Colab ajuda você a começar sua jornada em ciência de dados praticamente sem configuração.

Se você quer fazer ciência de dados com Python, o Colab é um ótimo lugar para tirar seus projetos do papel sem se preocupar em configurar o ambiente. O Google Colab permite escrever e executar código Python direto do navegador e já traz pré-instaladas algumas das bibliotecas de data science mais populares.

Nas próximas seções, você vai conhecer mais recursos do Google Colab.

Criando seu primeiro notebook no Google Colab

A melhor forma de entender algo é colocando a mão na massa. Vamos criar nosso primeiro notebook no Colab:

• Acesse colab.research.google.com. Você verá a tela a seguir. Para escrever e executar código, é preciso entrar com sua conta do Google. Esse é o único passo necessário do seu lado. Nenhuma outra configuração é exigida.

• Depois de entrar no Colab, crie um novo notebook clicando em "Arquivo" → "Novo notebook", como mostrado abaixo:

Após criar o notebook, você pode renomeá-lo como quiser. Pronto: é só começar a programar no seu projeto.

• O Google Colab é um ambiente completo. Ele permite escrever código em Python e também texto — usando células markdown — para incluir rich text e mídia, como abaixo. Isso ajuda a documentar o passo a passo do projeto e melhora a legibilidade.

Agora que você já sabe criar um notebook no Colab, vamos ver as vantagens nas próximas seções.

Por que vale a pena usar o Google Colab

Além de ser um ambiente no navegador que exige apenas login no Google, o Colab tem vários recursos úteis para a comunidade de data science. Entre as vantagens estão:

• Bibliotecas de data science pré-instaladas
• Compartilhamento e colaboração fáceis
• Integração perfeita com o GitHub
• Trabalho com dados de várias fontes
• Armazenamento automático e controle de versão
• Acesso a aceleradores de hardware como GPUs e TPUs

Bibliotecas de data science pré-instaladas

As bibliotecas pré-instaladas são um dos motivos pelos quais o Colab é tão popular para colocar um projeto de data science de pé quase instantaneamente.

O Colab vem com bibliotecas Python para análise e visualização de dados, como NumPy, pandas, matplotlib e seaborn. Ou seja, você pode importá-las direto no seu projeto e usar os módulos necessários sem precisar instalar nada.

Como você sabe, essas bibliotecas cobrem a maioria dos projetos de análise de dados e permitem concluir as etapas de pré-processamento e análise exploratória (EDA) no pipeline de ML de projetos maiores.

Se quiser dominar essas bibliotecas de data science, confira a trilha Data Analyst with Python da DataCamp.

Além disso, o Colab traz bibliotecas de machine learning como scikit-learn e de deep learning como PyTorch, TensorFlow e Keras.

Dá para construir projetos de machine learning e deep learning sem instalar nada. Tudo que você precisa é de um navegador — em poucos minutos seu projeto está rodando.

Trabalhar em grupo em um projeto é uma ótima experiência de aprendizado. Na próxima seção, você verá como o Colab facilita a colaboração.

Compartilhamento e colaboração fáceis

Trabalhar em notebooks Jupyter na sua máquina local tem limitações quando o assunto é colaboração. Com o Colab, você compartilha seu notebook e trabalha junto com colegas e amigos em tempo real.

O compartilhamento pode ser ativado em um clique, como na imagem abaixo.

Integração perfeita com o GitHub

Como desenvolvedor, você usa o GitHub o tempo todo para acompanhar mudanças nos arquivos do projeto — integrá-lo ao Colab só tem a somar.

Veja como salvar seus notebooks em repositórios do GitHub:

Salvando notebooks do Colab no GitHub

1. Para salvar seu notebook em um repositório do GitHub, vá em "Arquivo" → "Salvar uma cópia no GitHub".

1. Em seguida, autorize o Colab. Essa autorização é necessária para que o Colab possa enviar commits ao seu repositório.

1. Depois, confirme o acesso seguindo as instruções exibidas.

2. Quando a autorização for concluída, a janela abaixo será exibida.

Na imagem acima:

• "username" e "name of the repo" são exemplos. Você verá seu usuário do GitHub e poderá escolher o repositório para o qual deseja enviar o notebook atual como o "name of the repo".

• O branch padrão é o "main" do repositório escolhido, mas você pode selecionar qualquer branch. Também dá para personalizar o caminho do arquivo.

• Por fim, escreva uma boa mensagem de commit e clique em "Ok" — seu commit será enviado ao repositório do GitHub escolhido.

Assim, você pode hospedar todos os seus notebooks do Colab no GitHub. Isso também facilita a disseminação de conhecimento e o crescimento de projetos open source.

Trabalhando com dados de várias fontes

Em qualquer projeto de ciência de dados, o primeiro passo é importar o conjunto de dados para seu ambiente de trabalho. Nesta seção, você verá diferentes maneiras de fazer isso no Google Colab.

Carregando dados do seu computador

Para enviar arquivos com os dados do seu computador, clique no ícone de "Upload de arquivo" na aba "Arquivos", como abaixo, e escolha o arquivo que deseja enviar.

Montando o Google Drive na instância do Colab

Se você prefere guardar tudo no Google Drive, é fácil montá-lo na instância atual do Colab. Assim, você acessa todos os datasets e arquivos armazenados no seu Drive.

Há algumas formas de fazer isso:

• Clique no ícone do "drive" na aba "Arquivos" e siga as instruções na tela.

• Depois que o Drive estiver montado, você verá a pasta "drive" listada como um diretório disponível na aba "Arquivos".

Para montar seu Google Drive na instância do Colab, você também pode rodar o código abaixo em uma célula do notebook.

from google.colab import drive
drive.mount('content/drive')

Você precisará conceder acesso. Escolha a opção "Conectar ao Google Drive". Assim como no método anterior, a pasta "drive" aparecerá na aba "Arquivos".

Clonando um repositório do GitHub na instância do Colab

Se você precisa acessar todos os arquivos de um repositório específico do GitHub, pode cloná-lo no seu workspace da seguinte forma.

Executar a linha abaixo permite clonar qualquer repositório remoto do GitHub — basta substituir o placeholder

!git clone <URL of the repo>

Baixando dados remotos

Às vezes, você vai precisar baixar o dataset direto da web. Veja como fazer:

Como é possível rodar comandos de shell no ambiente do notebook, use o comando "!wget" para baixar dados remotos informando a URL.

Vamos baixar o conjunto Boston housing usado no curso Supervised Learning with scikit-learn da DataCamp.

O dataset está disponível neste URL, e a imagem a seguir mostra como recuperá-lo com sucesso.

Armazenamento automático e controle de versão

Você já passou sufoco para recuperar arquivos perdidos do seu projeto?

Com o Colab, isso deixa de ser problema: todos os notebooks são salvos automaticamente no Drive da conta Google que você usou para entrar.

Mesmo colaborando com colegas em um projeto, dá para acompanhar todas as mudanças no notebook ao longo do tempo pelo histórico de revisões. Vá em "Arquivo" → "Histórico de revisões" para ver o que mudou e quando.

Veja um exemplo de histórico de revisões:

Acesso a aceleradores de hardware como GPUs e TPUs

Muitas vezes, as especificações da sua máquina local e as limitações de processamento viram gargalo — especialmente ao trabalhar com modelos grandes de deep learning.

Para superar essas limitações, o Colab oferece acesso a aceleradores de hardware — GPU (Graphics Processing Unit) e TPU (Tensor Processing Unit) — para treinar modelos de deep learning mais rápido.

As figuras abaixo mostram como habilitar o uso de GPUs no Colab — são só dois passos.

1. Vá em "Executar" → "Alterar tipo de execução"

1. Defina o acelerador de hardware como GPU ou TPU, conforme necessário.

Até aqui, você viu recursos úteis do Colab para data science. Se isso te animou, vale também conhecer o DataLab. Para começar a usar o DataLab, basta criar uma conta gratuita na DataCamp.

DataLab: visão geral

O DataLab oferece um ambiente totalmente no navegador para todas as suas necessidades de ciência de dados. Você pode programar em Python ou R, com suporte embutido a SQL, e colaborar com outras pessoas sem nenhuma configuração.

• Quer começar a montar seu portfólio de data science? O DataLab é uma ótima pedida. Crie um novo DataLab em Python ou R, ou comece direto a partir de um repositório do GitHub.

• Assim como o Google Colab, o DataLab tem vários recursos: bibliotecas pré-instaladas, datasets predefinidos, integrações com fontes de dados comuns e muito mais. Você escreve e executa código em Python e R, além de adicionar rich text e imagens.

• Depois de publicar um notebook, você compartilha e colabora com facilidade.

• O DataLab conta com diversos datasets, templates e playbooks prontos, cobrindo temas como aprendizado não supervisionado, análise de mercado, processamento de linguagem natural e muito mais. Esses templates dão a direção certa para você começar projetos imediatamente.

• Você não precisa hospedar seus notebooks em um repositório do GitHub. Todos os seus notebooks ficam acessíveis no seu perfil da DataCamp, então dá para acessar todo o seu portfólio de data science com a sua conta gratuita.

• Para saber mais sobre o DataLab, confira a documentação.

Limitações do Google Colab

Embora o Colab facilite muita coisa, há algumas limitações que você deve considerar:

• A instância gratuita do Colab é suficiente para projetos de pequeno a médio porte. Porém, há restrições no uso de GPUs. Em geral, você consegue treinar modelos na GPU por até 12 horas; depois disso, o runtime é desconectado. Para uso prolongado de GPUs e TPUs, é preciso fazer upgrade para o Colab Pro.

• O Google Colab é feito sob medida para ciência de dados em Python. Mas às vezes você pode querer usar R, SQL ou outras linguagens para buscar dados em bancos. Atualmente, o Colab oferece suporte apenas a Python. Se você prefere usar R e precisa de integrações com bancos como MySQL, experimente o DataLab.

• No Colab, a demanda e a alocação de aceleradores de hardware acontecem em tempo real. Em alguns momentos, isso pode causar oscilações no acesso a GPU e TPU.

• Os arquivos e bibliotecas que você instala são específicos da instância atual do Colab. Ao desconectar o runtime, você perde todos os arquivos e pacotes daquela instância. Se precisar trabalhar no notebook em vários sprints, terá que reconectar a um runtime e reinstalar os pacotes.

• O Colab impõe uma limitação de espaço em disco em cada instância, dependendo da máquina alocada. Isso pode ser um impeditivo para datasets muito grandes.

Conclusão

Neste tutorial, você conheceu recursos úteis do Google Colab sob a ótica de ciência de dados. Também viu como o DataLab ajuda a construir um portfólio de data science direto do navegador — uma excelente opção para começar — tudo com uma conta gratuita da DataCamp.