Quando o DataLab foi lançado, nos empenhamos para oferecer a melhor experiência possível para fazer trabalhos de ciência e análise de dados. Isso significou criar um editor rápido e leve, permitir colaboração em tempo real e gerar relatórios profissionais em modo somente leitura.
Ao mesmo tempo, dependíamos de ferramentas de terceiros para conduzir nossas análises internas. Métricas de produto, como número de usuários do DataLab e tempo gasto na plataforma, eram acompanhadas em outras soluções. Percebemos que, se quiséssemos levar o DataLab a sério como ferramenta de trabalho profissional, precisaríamos usá-lo no dia a dia.
Este artigo aprofunda como fazíamos nossas análises internas no passado e como fizemos a transição para o DataLab. Também traz as vantagens e aprendizados que tivemos nesse processo.
Nossas análises antes do DataLab
Antes do DataLab, nossa principal ferramenta de analytics interna do produto era o Metabase. O Metabase é uma ferramenta de business intelligence conectada a um data lake com informações sobre conteúdo e atividade do DataLab. Com ele, conseguíamos rodar consultas SQL rapidamente, gerar relatórios e até criar dashboards dinâmicos.
O Metabase era amplamente usado pelo time. Usávamos para monitorar o engajamento dos usuários com diferentes tipos de conteúdo, quanto tempo as pessoas passavam no Workspace e quantos usuários interagiam com o DataLab diariamente, semanalmente e mensalmente.
Usar o DataLab para nossas análises, nessa época, não era comum. Isso só acontecia quando esbarrávamos nos limites do SQL ou dos recursos de visualização sem código do Metabase. Nessas situações, exportávamos os dados brutos, adicionávamos manualmente a uma nova pasta de trabalho e seguíamos a análise em Python. Porém, esse processo era trabalhoso e atualizar os dados virava um transtorno.
Por que migramos para o DataLab
À medida que o DataLab cresceu, as perguntas que queríamos responder sobre nossos usuários e seu tempo no DataLab ficaram cada vez mais complexas. Por mais conveniente que o Metabase seja, muitas questões exigiam as possibilidades adicionais oferecidas por Python e R.
Também sabíamos que, se queríamos oferecer a melhor experiência possível, precisávamos usar a ferramenta internamente — prática conhecida como “dogfooding”. Afinal, que melhor forma de entender as limitações e frustrações do DataLab do que utilizá-lo no nosso próprio trabalho?
Por esses dois motivos, definimos como meta migrar a maior parte das nossas análises do Metabase para o DataLab a partir do verão de 2022.
A transição
A transição começou quando lançamos células de SQL dentro do DataLab. Passamos a consultar os mesmos dados que acessávamos no Metabase, mas com os resultados das queries convertidos instantaneamente em um DataFrame de Python ou R (dependendo da ferramenta utilizada). Ficou fácil alternar entre consultar o banco e analisar os resultados com as ferramentas de nossa preferência. Em poucas semanas, migramos a maioria das consultas existentes do Metabase para o DataLab.
No momento em que escrevemos este texto, 141 usuários da DataCamp já passaram 30 minutos ou mais dentro do DataLab. Como dá para ver no gráfico, o progresso tem sido constante!
Estamos constantemente trazendo novos DataCampers para o DataLab!
As vantagens de migrar para o DataLab
Desde que fizemos a mudança para o DataLab, percebemos várias vantagens no dia a dia:
- Visualizações totalmente personalizáveis: Embora o Metabase ofereça muitas visualizações e opções de customização, elas têm limites. No DataLab, os resultados das queries SQL são retornados como DataFrames. Isso permite usar bibliotecas de Python como Plotly para criar gráficos com anotações, temas personalizados e tipos de visualização únicos.
Exemplo de visualização que criamos no DataLab acessando nossos dados internos.
- Analytics avançado: Ao combinar SQL com Python ou R, conseguimos analisar os dados com técnicas que não são viáveis apenas em SQL. Isso nos permitiu, por exemplo, segmentar usuários e treinar modelos de classificação para prever como as pessoas trabalham dentro do DataLab.
- Relatórios descritivos: Um dashboard é excelente para quem já domina o produto. Porém, pode ser difícil de interpretar para novos usuários ou pessoas de outras áreas. Com o DataLab, podemos inserir resumos escritos ao longo dos relatórios, que depois podem ser lidos pelos stakeholders relevantes.
- Publicações compartilháveis e sociais: A possibilidade de compartilhar um link para uma pasta de trabalho publicada é extremamente valiosa. Muitas análises publicadas chegam às mãos do nosso CEO e de outros executivos, que deixam feedback em forma de comentários e perguntas. Somado ao caráter descritivo das publicações, a liderança consegue ler o material com calma, sem necessidade de uma apresentação presencial.
- Gráficos sem código: A maioria dos DataCampers sabe SQL, mas nem todos têm a mesma familiaridade com Python ou R. As células de gráfico permitem que usuários menos técnicos comuniquem seus insights com visualizações de alta qualidade, sem escrever uma linha de código.
Nossas células de gráfico sem código em ação!
O que aprendemos até agora
Até meados de outubro, os DataCampers já acumularam 4.132 horas dentro do DataLab! Migramos todos os relatórios centrais relacionados a metas trimestrais e uso do produto para o DataLab. A seguir, um resumo dos principais aprendizados e como eles impactaram o DataLab como produto:
- Velocidade é crítica: É frustrante esperar mais do que o esperado para sua pasta carregar, o código executar ou a query retornar resultados. A experiência precisa ser tão rápida quanto, ou de preferência mais rápida que, um Jupyter Notebook local. Nosso time avançou bastante na redução dos tempos de carregamento de notebooks e publicações, além de garantir que a execução de código seja comparável a um ambiente local.
- Nem todo mundo quer ver o código: No passado, nossas publicações traziam células enormes com queries SQL complexas e trechos densos de Python. Embora isso ajudasse colegas a revisar a parte técnica, muitas vezes atrapalhava a leitura dos insights principais. Era possível ocultar células trocando para o editor JupyterLab no DataLab, mas isso não se refletia no editor DataCamp Notebook. Sabendo disso, lançamos uma forma simples de ocultar células de código e SQL nas suas pastas de trabalho. Assim, você garante um relatório bonito, somente leitura, para compartilhar com qualquer stakeholder. Os usuários adoraram.
- Reexecutar notebooks pode ser chato: Em grande parte do nosso acompanhamento, dependemos muito de atualizações diárias de número de usuários, níveis de atividade e adoção de funcionalidades. Diferente de um dashboard dinâmico, que atualiza quando há dados novos, pastas de trabalho precisam ser executadas novamente a cada vez. Com base nessa experiência, planejamos oferecer agendamento de execução de pastas de trabalho, garantindo que os relatórios sempre tragam os insights mais recentes.
Esses aprendizados se somam a muitos ajustes menores que fizemos no editor desde a mudança para o DataLab. A interface, o dashboard e recursos como as células de gráfico passam por melhorias contínuas, guiadas pelo feedback de usuários internos e externos.
O que vem pela frente
Embora usar nosso próprio produto tenha revelado várias oportunidades de melhoria, sabemos que isso é só metade da história. Junto com o feedback interno, nosso time vem entrevistando usuários do DataLab. Essas conversas complementam nossas descobertas e ajudam a capturar pontos que poderíamos deixar passar em testes internos.
Também lançamos uma pesquisa com usuários no fim de setembro, dentro da nossa newsletter quinzenal. Essa pesquisa nos permitiu coletar informações quantitativas dos usuários. Os resultados ajudam a priorizar iniciativas importantes para o DataLab e a entender como o produto é utilizado. E, claro, os dados da pesquisa foram analisados e visualizados no próprio DataLab!
O principal motivo apontado pelos usuários para usar o DataLab foi testar rapidamente trechos de código. E você, como usa o DataLab?
Nos próximos meses, planejamos avançar ainda mais rumo a um ambiente de analytics exclusivo no DataLab. Cada novo recurso e melhoria que nosso time de engenharia lança torna essa transição ainda mais fácil.
Se você quer usar o DataLab para suas necessidades internas de análise de dados e ciência de dados, saiba mais aqui. Ou melhor ainda: abra agora mesmo uma pasta de trabalho em Python ou R e comece a codar!
