O que é o Kaggle?

O que é o Kaggle?

O Kaggle é uma plataforma comunitária on-line para cientistas de dados e entusiastas do aprendizado de máquina. O Kaggle permite que os usuários colaborem com outros usuários, encontrem e publiquem conjuntos de dados, usem notebooks integrados à GPU e compitam com outros cientistas de dados para resolver desafios de ciência de dados. O objetivo dessa plataforma on-line (fundada em 2010 por Anthony Goldbloom e Jeremy Howard e adquirida pelo Google em 2017) é ajudar profissionais e alunos a atingir suas metas em sua jornada de ciência de dados com as ferramentas e os recursos avançados que ela oferece. A partir de hoje (2021), há mais de 8 milhões de usuários registrados no Kaggle.

Uma das subplataformas que tornaram o Kaggle um recurso tão popular são as competições. Da mesma forma que o HackerRank desempenha essa função para desenvolvedores de software e engenheiros de computação, as "Competições Kaggle" têm uma importância significativa para os cientistas de dados; você pode saber mais sobre elas em nosso e aprender a analisar um conjunto de dados passo a passo em nosso . Em competições de ciência de dados, como a Kaggle ou a DataCamp, empresas e organizações compartilham uma grande quantidade de tarefas desafiadoras de ciência de dados com recompensas generosas, nas quais cientistas de dados, de iniciantes a experientes, competem para concluí-las. A Kaggle também fornece o Kaggle Notebook, que, assim como o DataLab, permite que você edite e execute seu código para tarefas de ciência de dados no seu navegador, para que seu computador local não precise fazer todo o trabalho pesado e você não precise configurar um novo ambiente de desenvolvimento por conta própria. 

A Kaggle fornece recursos poderosos na nuvem e permite que você use no máximo 30 horas de GPU e 20 horas de TPU por semana. Você pode carregar seus conjuntos de dados no Kaggle e fazer o download dos conjuntos de dados de outras pessoas também. Além disso, você pode verificar os conjuntos de dados e notebooks de outras pessoas e iniciar tópicos de discussão sobre eles. Todas as suas atividades são pontuadas na plataforma e sua pontuação aumenta à medida que você ajuda outras pessoas e compartilha informações úteis. Quando começar a ganhar pontos, você será colocado em uma tabela de classificação ao vivo de 8 milhões de usuários do Kaggle. 

O Kaggle é adequado para diferentes grupos de pessoas, desde estudantes interessados em ciência de dados e inteligência artificial até os cientistas de dados mais experientes do mundo. Se você for um iniciante, poderá aproveitar os cursos oferecidos pela Kaggle. Ao ingressar nessa plataforma, você poderá progredir em uma comunidade de pessoas de vários níveis de especialização e terá a chance de se comunicar com muitos cientistas de dados altamente experientes. À medida que você ganha pontos e medalhas do Kaggle, que são a prova do seu progresso, é bem possível que você acabe atraindo headhunters e recrutadores e desbloqueie novas oportunidades de trabalho.

Por último, mas não menos importante, quando estiver se candidatando a empregos na área de ciência de dados, mencionar sua experiência no Kaggle certamente causa um impacto positivo. Não é preciso dizer que todos esses benefícios também se aplicam a cientistas de dados altamente experientes. Não importa o quanto você seja experiente, essa plataforma oferece possibilidades de aprendizado e aprimoramento contínuos e, é claro, as recompensas em dinheiro que podem vir com as competições são igualmente interessantes.

Cursos úteis de ciência de dados para o sucesso no Kaggle

Aqui estão alguns dos cursos recomendados no DataCamp para iniciantes:

• Vencendo uma competição da Kaggle em Python: Desenvolva as abordagens que você aplicará e as estratégias que determinará nas competições do Kaggle
• Introdução ao Python: Aprenda os conceitos básicos da linguagem mais popular da ciência de dados
• Python intermediário: Este é outro curso sobre conhecimentos básicos de Python
• Classificadores lineares em Python: Aprenda regressão logística e máquinas de vetores de suporte e desenvolva seus primeiros modelos usando o Scikit-learn
• Análise de cluster em Python: Aprendizado não supervisionado usando a biblioteca SciPy 
• Pré-processamento para aprendizado de máquina em Python: Prepare seus dados para modelos de aprendizado de máquina
• Validação de modelos em Python: Aprenda a responder à pergunta: "qual é a qualidade de seu modelo?" 
• Redução de dimensionalidade em Python: A base da visualização de dados
• Projetando fluxos de trabalho de aprendizado de máquina em Python: Dê uma olhada de alto nível no processo de produção de modelos de aprendizado de máquina prontos para a produção 
• Privacidade de dados e anonimização em Python: Um curso obrigatório sobre a privacidade da empresa em que você trabalha ou para qualquer startup que você venha a estabelecer
• Introdução à visualização de dados com o Seaborn: Desenvolva suas habilidades de visualização de dados usando a biblioteca Seaborn python - um curso ideal para iniciantes em visualização de dados
• Processamento de imagens em Python: Neste curso, você poderá aprender técnicas de pré-processamento de imagens que lhe permitirão acessar e extrair a grande quantidade de informações contidas nas imagens.
• Introdução ao processamento de linguagem natural em Python: Aprenda os conceitos básicos do processamento de linguagem natural e o uso de algumas bibliotecas populares nesse campo 
• Introdução ao SQL: Aprender SQL básico para trabalhar com bancos de dados 
• SQL intermediário: Aprimore suas habilidades em SQL 
• Introdução à aprendizagem profunda com PyTorch: Uma introdução à aprendizagem profunda usando o pacote Pytorch do Python, o mais popular e fácil de usar 
• Análise de séries temporais em Python: Aprenda sobre modelos e técnicas de séries temporais 

Empregos no Kaggle

"Kaggle Jobs" foi uma plataforma de compartilhamento de empregos em ciência de dados aberta pela Kaggle em 2014. O objetivo da plataforma era ajudar as empresas a encontrar os candidatos mais adequados e ajudar os cientistas de dados a encontrar as empresas certas para eles. A plataforma foi fechada pela Kaggle em 2020 devido à atividade insuficiente. No entanto, aqui estão algumas alternativas ao Kaggle Jobs e outras plataformas de emprego:

• Linkedin: Uma das plataformas mais comumente usadas para busca de emprego. Você encontrará ofertas de emprego adequadas apenas escrevendo "data scientist" (cientista de dados) na barra de pesquisa. Você também pode especificar filtros mais detalhados, como remoto/escritório, localização, tamanho da empresa, etc.
• Upwork: O Upwork é uma plataforma de trabalho freelance que também é ideal para encontrar empregos de meio período e de período integral. Antes de se candidatar a empregos de longo prazo, os candidatos geralmente precisam ter concluído alguns empregos de curto prazo e recebido algumas avaliações.
• AngelList: Uma plataforma ideal para as startups se candidatarem a vagas de emprego.
• Y Combinator: Trata-se de uma plataforma de aceleração e financiamento na qual são selecionadas as startups de maior prestígio. As ofertas de emprego dessas startups são compartilhadas na plataforma.
• StackOverflow: Essa é uma plataforma de perguntas e respostas para programadores e engenheiros, da qual todos nós nos beneficiamos, desde os mais jovens até os mais velhos, dos mais experientes aos mais inexperientes. Ele também tem uma área de postagem de empregos.

PERGUNTAS FREQUENTES SOBRE O KAGGLE (FAQS)

O que é o Kaggle e para que ele é usado?

A Kaggle é uma plataforma de ciência de dados e inteligência artificial. Nessa plataforma, os concursos com prêmios em dinheiro são publicados por grandes empresas e organizações. Além das competições, os usuários também podem compartilhar seus conjuntos de dados e examinar os conjuntos de dados compartilhados por outros. Além disso, os cientistas de dados podem compartilhar trechos de código usando esses conjuntos de dados e conversar com outros cientistas de dados sobre eles na seção de discussão. Qualquer usuário pode se beneficiar da participação nos cursos gratuitos compartilhados no Kaggle e receber um certificado gratuito após concluí-los com êxito.

O Kaggle é gratuito?

Sim, tudo no Kaggle é totalmente gratuito: cursos, certificados obtidos nos cursos, conjuntos de dados, participação em competições, seções de discussão, etc.

O que são competições da Kaggle?

As competições do Kaggle consistem em tarefas de ciência de dados. Algumas competições não têm prêmios (mas oferecem oportunidades de aprendizado e compartilhamento de conhecimento), enquanto outras têm prêmios generosos em dinheiro. Você pode participar dessas competições sozinho ou com uma equipe. Além do prêmio em dinheiro por boas pontuações nas competições, você ganha medalhas e pontos. Esses pontos e medalhas o colocam em uma tabela de classificação junto com outros cientistas de dados de todos os níveis na plataforma. Essa classificação determina sua classificação global no Kaggle. As competições que você vence na Kaggle e sua classificação na Kaggle podem ter um impacto vantajoso em sua carreira. Para obter mais informações sobre as competições, visite a seção 4.

O Kaggle é uma boa maneira de aprender ciência de dados?

Há muitas alternativas para aprender os conceitos básicos e se apresentar à ciência de dados, mas há vários motivos pelos quais o Kaggle se destaca tão bem. Há muitos fatores que o ajudarão a aumentar seu conhecimento e manter sua motivação na Kaggle.

A principal delas é o sistema de classificação da Kaggle. À medida que você se desenvolve, pontua em competições e fornece informações úteis para outras pessoas, sua classificação mundial no Kaggle aumenta, e você pode acompanhá-la instantaneamente. O fato de você ser colocado entre muitos cientistas de dados especializados na plataforma é muito motivador.

Além disso, muitas pessoas na plataforma são prestativas e continuam a ganhar pontos e a aumentar suas classificações à medida que o ajudam. Por exemplo, se você compartilhar um trecho de código e uma discussão sobre ele, quando fizer uma pergunta na discussão sobre como desenvolver seu próprio código, é muito provável que receba comentários dos melhores cientistas de dados da plataforma. Isso funciona como um sistema de orientação que se mostra muito útil, especialmente para iniciantes.

Quem é o proprietário da Kaggle? 

A Kaggle foi fundada em 2010 por Anthony Goldbloom e Ben Hamner. Em 8 de março de 2017, o Google adquiriu a Kaggle.

Os conjuntos de dados do Kaggle são gratuitos?

Para saber para que fins você pode usar os conjuntos de dados, é necessário verificar a licença dos conjuntos de dados. Alguns conjuntos de dados não podem ser usados em publicações acadêmicas ou para fins comerciais. No entanto, você pode fazer o download gratuito de cada conjunto de dados compartilhado para o seu notebook do Kaggle ou para qualquer outro lugar por meio da API do Kaggle.

A Kaggle fornece GPU?

Nos notebooks do Kaggle, você pode ativar uma GPU a qualquer momento. Você tem permissão para usar a GPU ativamente por um máximo de 30 horas por semana. A GPU fornecida pela Kaggle é a GPU Nvidia Tesla P100 com 16 GB de memória.

Quem é Jeremy Howard?

Jeremy Howard é um cientista de dados e empresário australiano que venceu as competições globais de ciência de dados do Kaggle em 2011 e 2010. Em seguida, Howard tornou-se cientista-chefe e presidente da Kaggle.

O que é um Grandmaster da Kaggle?

O nível grandmaster é o mais alto entre os níveis de desempenho do Kaggle (novato, colaborador, especialista, mestre e grandmaster). Para alcançar o nível de grão-mestre, o usuário precisa ganhar pelo menos 5 medalhas de ouro em competições, das quais pelo menos 1 precisa ser uma medalha de ouro individual; pelo menos 5 medalhas de ouro e 5 medalhas de prata em conjuntos de dados; pelo menos 15 medalhas de ouro em notebooks; e pelo menos 500 medalhas em discussões, das quais pelo menos 50 precisam ser medalhas de ouro. Atualmente, há apenas 241 cientistas de dados no nível grandmaster.

Os conjuntos de dados do Kaggle são de código aberto?

Sim. Os conjuntos de dados do Kaggle são de código aberto, mas para descobrir para que fins esses conjuntos de dados podem ser usados, você precisa verificar a licença dos conjuntos de dados. Alguns conjuntos de dados não podem ser usados em publicações acadêmicas ou para fins comerciais.

Os conjuntos de dados do Kaggle são confiáveis?

A grande maioria dos conjuntos de dados do Kaggle é confiável. Você pode avaliar a confiabilidade de um conjunto de dados observando seus votos positivos ou analisando os notebooks compartilhados usando o conjunto de dados. No entanto, nem todos os conjuntos de dados do Kaggle funcionarão para casos de uso reais.

A Kaggle tem um aplicativo para celular?

Atualmente, o Kaggle não oferece suporte a um aplicativo móvel. No entanto, o DataCamp tem um aplicativo móvel para aprender ciência de dados e praticar codificação. Ele está disponível para iOS e Android.

O Kaggle usa minha CPU?

O Kaggle Kernel é um servidor de notebook Jupyter gratuito que pode integrar GPU. Ele permite que você processe operações de aprendizado de máquina em computadores na nuvem, em vez de fazê-lo em seu próprio computador, de forma semelhante ao DataLab, que funciona no navegador, usando recursos baseados na nuvem em vez de sua máquina local. 

Onde está o resultado do meu notebook no Kaggle?

Para acessar os resultados do notebook do Kaggle, você deve primeiro confirmar seu notebook. Você pode fazer isso clicando no botão "Save Version" (Salvar versão) no canto superior esquerdo do notebook. Depois de confirmar seu notebook, dois kernels continuarão funcionando. O primeiro é o que você está editando no momento e o segundo é o kernel em segundo plano, que você confirmou. O kernel em execução em segundo plano criará arquivos de saída prontos para download. Os notebooks interativos não salvam arquivos. Depois que o kernel em segundo plano for concluído, clique no botão Voltar no canto superior esquerdo para ir para a página com as seguintes guias: Notebook, Código, Dados, Saída e Comentários. Ao mudar para a guia de saída, você verá que os arquivos de saída estão prontos para download.

Por onde começar no Kaggle?

Se você for um iniciante, pode começar participando das competições na categoria "Getting Started" (Introdução) na seção de competições. Você também pode revisar os notebooks de outras pessoas. Se você estiver em um nível mais avançado de conhecimento, poderá começar diretamente participando de competições ativas.

Quando o Kaggle redefine a cota de GPU?

A cota da GPU é renovada todos os sábados. Você pode verificar a cota de GPU restante na seção GPU acessando a guia Conta no seu perfil. Esta seção mostra seu armazenamento de dados privados e a cota de GPU e TPU.

Onde encontrar as soluções vencedoras do Kaggle?

Ao clicar na guia de discussão na página de competições, você verá muitos tópicos de discussão sobre as competições. O tópico de discussão com o maior número de votos positivos fica no topo e o tópico com o maior número de votos é o vencedor, com a explicação da solução e o link para o notebook vencedor.