Como superar desafios ao escalar projetos de ciência de dados

Estamos chegando ao fim da Era da Informação.

Mas agricultura e indústria não desapareceram em meados do século XX quando a Era da Informação engoliu a Era Industrial. Da mesma forma, a Era da Informação será—já foi?—absorvida pela nova e empolgante fase em que vivemos agora: a Era da Experiência.

Se a Era da Informação era sobre coletar grandes volumes de dados, a Era da Experiência é sobre analisá-los e descobrir o que eles podem fazer por nós—fazer esses dados trabalharem a nosso favor.

E é aí que cientistas de dados como você entram. Cada vez mais organizações montam times de ciência de dados para extrair insights de fluxos contínuos de dados. O U.S. Bureau of Labor Statistics estima que as vagas em ciência de dados vão crescer 35% até 2033.

Compare isso com a taxa média nacional de crescimento de empregos de 3% em todos os setores.

Esse número empolga, mas a alta demanda por cientistas de dados significa uma necessidade enorme por insights baseados em dados—e toda organização quer sua fatia do bolo.

A pressão pode ser grande. Como seu time consegue acompanhar a demanda da organização por insights orientados por dados? Como escalar a quantidade de projetos de ciência de dados que seu time entrega sem consumir recursos além da conta?

Tudo se resume à organização. Com uma governança de dados bem ajustada e um sistema de planejamento de sprints, você pode ir muito além do que imaginou.

O que é governança de dados e por que ela é importante?

Governança de dados é o sistema que um time usa para gerenciar o ciclo de vida dos dados que coleta. Com um plano eficaz de governança, seu time se mantém organizado e segue as regulamentações estaduais, federais e globais.

Você pode estar se perguntando: “Qual é a diferença entre governança de dados e gestão de dados?” Pense assim:

• Governança de dados define as políticas e os processos que regem como você adquire, usa e protege seus dados.
• Gestão de dados é como você coleta, processa, armazena, analisa e interpreta esses dados.

Em outras palavras, a governança de dados estabelece a base para a gestão de dados e supervisiona esses processos. Você pode aprender mais sobre conceitos de governança de dados com a DataCamp.

A maioria das organizações tem planos padrão de governança em nível micro—um para uma ferramenta de negócios específica e outro para uma função separada. Como cientista de dados, seu papel é unificar a governança de dados em uma máquina altamente organizada e bem controlada.

Exige bastante trabalho no começo? Sim. Mas, depois de implantar, você estará pronto para lidar com datasets maiores e assumir mais projetos. Para dominar esses conceitos rapidamente, confira o Data Governance Fundamentals Cheat Sheet da DataCamp, um guia prático com conceitos-chave e boas práticas.

Como montar um framework de governança de dados

O processo de governança de dados começa com a formação do time.

Você e outros cientistas de dados da sua organização precisarão trabalhar juntos para implementar um programa de governança de dados. Os cargos e responsabilidades exatos variam conforme a organização, mas, em geral, é preciso nomear quatro papéis:

• Data steward: gerencia o programa de governança, garante a segurança e faz a ponte entre o negócio e o time de TI
• Arquiteto de dados: projeta o sistema que processa e armazena os dados e apoia o data steward no cumprimento das políticas de governança
• Data custodian: movimenta, armazena, protege e supervisiona o uso dos dados
• Analista de dados: interpreta os dados e transforma em insights acionáveis para o negócio

Dependendo do tamanho da empresa, pode haver mais de uma pessoa em cada papel. Algumas organizações também contam com administradores ou conselhos de dados que supervisionam a criação das políticas de governança.

Construir uma estratégia abrangente é crucial, e o módulo da DataCamp sobre Creating a Data Governance Strategy pode oferecer um caminho estruturado para esse processo.

Definindo uma política de governança de dados

Depois de montar o time, colaborem para definir as políticas de governança de dados que todos vão seguir.

Reflita sobre estas perguntas:

• Como a empresa vai usar e gerenciar os dados de acordo com as melhores práticas de governança?
• Quem vai decidir sobre o uso dos dados à medida que a tecnologia evolui rapidamente?
• Como a organização espera que os usuários finais se beneficiem dos dados?

Explore as respostas e use-as para criar sua política geral de governança de dados. Pense nela como o guarda-chuva que protege as subpolíticas que você vai construir sobre padrões, cultura de dados e segurança.

Definindo padrões, medidas de segurança e cultura de dados

Agora é hora de pensar em padrões de dados. Dados não ajudam muito se não tiverem qualidade. Quais padrões os dados devem atender? Como o time vai filtrar o que não atende? Entender e garantir qualidade de dados é essencial. Aprofunde-se no tema com o curso Introduction to Data Quality da DataCamp.

O próximo item é segurança. Defina:

• Como você vai classificar seus dados—públicos, privados, confidenciais, restritos e assim por diante
• Quem terá acesso a cada classificação
• Como você vai criptografar os dados para mantê-los seguros do armazenamento à transmissão e vice-versa
• Um sistema de alertas para notificar o time sobre violações de segurança
• Uma política de tratamento de violações
• Um cronograma de testes e auditorias para garantir que o programa funcione como previsto

Por fim, uma das coisas mais importantes que seu time de governança pode fazer é manter toda a organização informada sobre como os dados podem ajudar. Manter todos por dentro ajuda a criar uma cultura em que os dados são valorizados e cuidados como o ativo que são.

Então, como fazer algo que parece tão “sem graça” quanto dados conquistar a organização inteira?

Dê vida a eles. É assim.

Mostre exatamente como os dados facilitam o trabalho. Faça apresentações trimestrais com gráficos e visuais mostrando o impacto dos dados nas decisões da empresa. Envie informativos ou newsletters mensais com o mesmo foco. Ofereça cursos para toda a empresa que ajudem os funcionários a melhorar seu letramento em dados.

Uma organização que se importa com seus dados ajuda a sustentar as políticas, processos e padrões que você estabelece. Esse padrão e essa estrutura tornam mais fácil para seu time de ciência de dados assumir mais projetos sem comprometer qualidade ou segurança.

E agora você está pronto para sprintar.

Planejamento de sprints para times de ciência de dados

Você já construiu a base para que os dados circulem com segurança e eficiência pela organização. Agora é hora de ver como um planejamento no formato de sprints pode funcionar para você. Sim, o planejamento de sprints é parte do sistema de gestão de projetos scrum usado em desenvolvimento de software. Mas ele também funciona muito bem para governança e gestão de dados.

Isso porque, assim como no desenvolvimento de software, a gestão de dados tem milhões de peças em movimento. Literalmente.

Primeiro, vamos falar sobre o que é um sprint.

Um sprint é um período de tempo predefinido em que seu time trabalha em tarefas para atingir um objetivo central. Embora os sprints possam ter a duração que você definir, normalmente variam de uma a quatro semanas. Muitas vezes, esse é tempo suficiente para seu time concluir projetos pequenos ou médios.

Em outros casos, seu time vai precisar rodar vários sprints para concluir um projeto gigante. Você sabe: aqueles em que é preciso gerar um dataset enorme e levá-lo por todo o ciclo, da coleta à interpretação.

Antes de o sprint começar, o time se reúne para mapeá-lo.

Assim, quando o sprint começar oficialmente, todo mundo sabe exatamente o que fazer no dia a dia. De acordo com a metodologia Scrum, as reuniões de planejamento de sprint não devem durar mais que duas horas por semana de sprint.

Vamos supor que sua organização de saúde lhe passou um projeto menor. Seu time precisa descobrir por que um botão de call-to-action (CTA) na homepage tem baixo desempenho. O CTA incentiva pacientes a agendar um exame importante de rastreamento de câncer.

Para resolver isso, você vai precisar:

• Analisar dados históricos sobre a audiência-alvo do CTA
• Propor uma ou duas novas variações do botão de CTA
• Testar A/B as variações entre si e contra a original
• Coletar, processar e analisar os dados por um período definido
• Entregar insights acionáveis para ajudar o time de marketing a escolher o melhor CTA

O time de marketing quer resultados em três semanas.

É um prazo apertado para um teste A/B, mas seu time vai encarar. Você fará uma sessão de planejamento de sprint de três horas para um sprint de três semanas.

Vamos usar esse cenário para mostrar como o planejamento de sprints pode funcionar para um time de ciência de dados.

1. Defina o objetivo e o prazo do sprint

As duas primeiras perguntas do seu time no planejamento devem ser:

• Qual resultado queremos entregar neste sprint?
• Qual é um prazo realista para alcançar esse resultado?

O time de marketing deu o resultado ideal: um CTA que receba o dobro de cliques do atual.

E você já sabe que tem três semanas para concluir o sprint.

Hora de seguir para a próxima etapa.

2. Escreva a user story

Em desenvolvimento de software, a user story é a descrição do produto final do ponto de vista do usuário. É uma tarefa criativa, escrita em linguagem simples e natural. A ideia é colocar o time nos sapatos do usuário final e conectar pontos da história a tarefas concretas dentro do sprint.

Você pode fazer algo semelhante no seu projeto de ciência de dados.

Voltando ao nosso projeto fictício do CTA. O marketing quer que os usuários queiram clicar no botão de CTA para um exame gratuito de câncer. Isso significa se colocar no lugar de quem encontra o botão no site da instituição de saúde.

Responda perguntas como estas ao escrever sua user story:

• Quem é a pessoa que vai clicar no novo CTA?
• Quais preocupações com a saúde tiram o sono dessa pessoa?
• Por que ela se beneficiaria de um exame de rastreamento?
• Como o botão transmite esses benefícios de forma clara e objetiva?
• Como o texto e os elementos visuais ao redor do botão fazem essa pessoa se sentir?
• O que há na cor, na fonte e na copy do botão que a incentiva a clicar?
• Por que essa pessoa vai clicar no CTA?

Adapte essas perguntas ao seu projeto. Foque no resultado e trabalhe de trás para frente até entender como ele interage e beneficia o usuário.

Se você conseguir relacionar pontos específicos da sua história com tarefas do sprint, melhor ainda. Isso vai ajudar na terceira etapa do planejamento.

3. Atribua as tarefas do sprint a cada membro do time

Agora você já deve saber quais tarefas precisam ser feitas e por quê.

É hora de atribuir a cada membro do time uma tarefa para concluir dentro do prazo do sprint. Talvez seja necessário dividir algumas tarefas em partes menores. Você também precisa mapear dependências. Por exemplo, seu time não consegue testar novas variações de CTA antes de construí-las.

Considere usar um software de gestão de tarefas para acompanhar quem é responsável por cada atividade e garantir que as dependências estejam claras e bem gerenciadas.

Esboce quanto tempo cada subtarefa e tarefa deve levar. Atribua horas de sprint a cada uma. Valide com o time para ver se as estimativas são razoáveis e factíveis.

Lembre-se de que essas horas são estimativas—e que as coisas podem (e vão) mudar. Se estiver preocupado com o prazo, comunique ao departamento que solicitou o projeto. Negocie um prazo maior, se necessário. Sempre vale adicionar uma folga ao cronograma. Seu time pode usá-la para avaliar o andamento e se ajustar a eventuais imprevistos.

Correr com um projeto pode custar mais tempo e dinheiro lá na frente—e é justamente esse o problema que o planejamento de sprints ajuda a evitar.

Governança de dados e planejamento de sprints: o par perfeito

À medida que a ciência de dados ganha espaço nesta empolgante Era da Experiência, seu time vai tocar dezenas de projetos ao mesmo tempo.

Mantenha a calma e siga no ritmo do sprint.

Ou seja:

• Defina prazos estimados para cada projeto
• Divida cada projeto em um ou mais sprints
• Atribua sprints diferentes a sub-times do seu departamento OU programe-os conforme a ordem de entrega dos projetos
• Realize sessões de planejamento para cada sprint/projeto

Agora é assistir você e seu time alcançando meta após meta. Com seu framework de governança de dados em funcionamento, gerenciar o fluxo constante de dados será um processo fluido e seguro.

E, se aparecer algum percalço no caminho, você terá políticas e processos prontos para lidar com ele sem suar a camisa.

Considerações finais

Ao embarcar na jornada de escalar seus projetos de ciência de dados, lembre-se: aprender continuamente e se adaptar é o que garante o sucesso. Para ir além nas suas habilidades e no seu conhecimento, explore os cursos completos da DataCamp sobre governança de dados, como o Data Governance Concepts Course, e mantenha-se na frente nesta Era da Experiência.