[Infográfico] checklist de projetos de ciência de dados

Como fazer?

Identificar o problema de negócio a ser resolvido

Isto deve deixar claro, de forma inequívoca, por que o projeto está sendo realizado. 

Identificar as partes interessadas

Funções podem incluir gerente de projetos, cientista de dados, gerente de contas, administrador de dados.

Revisar trabalhos anteriores

Analise projetos existentes que trataram de temas semelhantes.

• Quais foram os principais resultados?
• Algum trabalho ou ativo pode ser reutilizado neste projeto?
• Quais erros foram cometidos e devem ser evitados?

Definir indicadores-chave de performance (KPIs ou métricas) para medir o sucesso

As métricas devem seguir os critérios SMART.

• Specific (específica): bem definida, para que todos no time entendam.
• Measurable (mensurável): é possível saber se o KPI foi atingido.
• Achievable (atingível): o time tem habilidades e recursos para alcançar o KPI.
• Relevant (relevante): o KPI se relaciona a objetivos organizacionais mais amplos.
• Time-related (temporal): existe um prazo para alcançar a meta.

Exemplo não SMART: "Aumentar a conversão do site"

Exemplo SMART: "Otimizar o design e a experiência do usuário do site para aumentar a taxa de conversão em 10% até o fim do 2º trimestre"

Definir o escopo

• Quais são os entregáveis do projeto?
• Quais são os requisitos desses entregáveis?
• O que ficará fora do projeto?

Escrever um plano de projeto

• Defina marcos para as etapas intermediárias.
• Defina um cronograma para cada marco.
• Escreva uma breve descrição de cada etapa.

Estimar o impacto do projeto

• Quantifique o benefício para a organização caso as metas sejam atingidas.
• Se houver incerteza, forneça um intervalo ou nível de confiança para os benefícios.
• Liste benefícios qualitativos que não possam ser quantificados.

Estimar o esforço do projeto

• Qual será o custo do projeto?
• Quanto tempo o projeto levará?
• Quais recursos o projeto precisará?

Estimar os riscos do projeto

• Liste todos os riscos do projeto.
• Para cada risco, calcule o impacto como probabilidade de ocorrer multiplicada pela severidade.

Decidir se o projeto deve seguir adiante

Com base no impacto esperado em relação ao esforço e aos riscos, decida se deve

• seguir com o projeto agora;
• colocar o projeto em espera e priorizar outros de maior relevância;
• cancelar o projeto.

Definir a responsabilidade de cada parte interessada

Use o modelo RACI. Para cada tarefa, defina quem é

• Responsible (responsável): quem executa o trabalho.
• Accountable (aprovador): quem responde pelas decisões-chave.
• Consulted (consultado): quem dá opinião para decisões-chave.
• Informed (informado): quem precisa ser notificado sobre decisões-chave.

Definir uma estratégia de comunicação

• Como vocês vão se comunicar?
• Qual será a cadência de reuniões?

Identificar fontes de dados

• Você já tem acesso a esses dados?
• Onde os dados estão armazenados?
• Em que formato estão?
• Qual o tamanho do dataset?
• Existe um dicionário de dados explicando o significado?
• É possível criar dados sintéticos para um prova de conceito?

Antecipar necessidades regulatórias

• Algum entregável (como modelos financeiros) será auditado?
• Todas as fontes de dados ou features podem ser usadas legalmente?

Definir o stack de tecnologia

• Alinhe as ferramentas para armazenar, processar e modelar os dados.

Escrever o project charter

• Resuma em um documento curto o que foi decidido: metas, stakeholders, KPIs, plano, fontes de dados, stack tecnológico e estratégia de comunicação.

Como fazer?

Dar acesso a todos os datasets para os cientistas de dados

• Organize as permissões adequadas para cada dataset.
• Adquira datasets comerciais necessários ou use dados sintéticos com propriedades semelhantes.

Ingerir os dados

• Para cada fonte de dados, mova-a para o ambiente analítico.

Explorar os dados

• Visualize a distribuição de cada variável com histogramas ou gráficos de barras.
• Quantifique valores ausentes por variável.
• Visualize a relação entre features e a variável alvo com dispersões, histogramas, boxplots ou heatmap.

Escrever um relatório de qualidade dos dados

Para cada dataset

• Forneça um resumo do conjunto de dados.
• Descreva problemas de qualidade em alto nível.
• Descreva a qualidade da variável alvo.
• Descreva a qualidade de cada feature.
• Descreva a relação entre cada feature e a variável alvo.

Decidir se o projeto deve seguir adiante

Com base no relatório de qualidade dos dados, decida se deve

• continuar o projeto;
• pausar o projeto enquanto coleta mais dados;
• cancelar o projeto.

Criar um pipeline de dados

Os dados normalmente precisam ser atualizados regularmente conforme o projeto avança. O pipeline de dados 

• deve automatizar os processos de ingestão e limpeza;
• deve rodar em agenda (atualizações em batch) ou continuamente (streaming).

Documentar o pipeline de dados

• Desenhe um diagrama com as etapas do pipeline e suas dependências.
• Descreva o que acontece em cada etapa.

Como fazer?

Gerar uma hipótese

• A hipótese faz sentido no contexto do negócio?
• É possível medir o resultado?
• Você tem dados suficientes para observar um efeito estatisticamente significativo?
• Há vieses estatísticos que precisam ser considerados?

Dividir os dados em conjuntos de treino e teste

Faça isso antes de começar a engenharia de features para evitar vazamento de dados.

Fazer engenharia de features

Crie features para o modelo usando técnicas como:

• Centralizar ou escalar variáveis numéricas.
• Criar variáveis categóricas a partir de variáveis numéricas por binning.
• Aplicar transformações Box-Cox ou Yeo-Johnson em variáveis numéricas para aproximar a distribuição normal.
• Combinar categorias raras ou relacionadas de variáveis categóricas.
• Extrair ou combinar partes de datas e horários.
• Criar novas variáveis a partir de estatísticas de resumo.
• Extrair métricas quantitativas de texto e outros dados não estruturados.

Ajustar o modelo ou executar um experimento

• Comece com o modelo mais simples e aumente a complexidade gradualmente.
• Para datasets grandes, considere modelar com uma amostra.

Avaliar os resultados

Use métricas como acurácia, precisão e recall para quantificar a performance do modelo. Se o desempenho ainda não for suficiente:

• Você pode coletar dados adicionais?
• Pode criar mais features?
• Pode testar outros algoritmos?

Reportar os resultados

• Forneça atualizações regulares para os stakeholders.
• Ajuste a linguagem para públicos de negócio vs. técnicos.
• Relate falhas e sucessos.

Como fazer?

Criar uma suíte de testes

Defina testes automáticos para verificar a performance do modelo ou experimento e identificar bugs introduzidos durante iterações. Inclua, por exemplo:

• Testes unitários de código.
• Backtest para portfólios ou outras séries temporais.

Validar o impacto no negócio

Com as métricas de performance do modelo, fica mais fácil quantificar o impacto esperado no negócio. Discuta esse impacto com os stakeholders de negócio.

Validar a abordagem técnica

Verifique se o modelo final é tecnicamente adequado.

• As premissas do modelo são válidas?
• Os resultados são sensíveis à amostra usada?
• Os hiperparâmetros são apropriados?
• Outra pessoa consegue reproduzir seu modelo?

Validar a capacidade de implantação

• Todos os possíveis valores de entrada e casos de uso podem ser atendidos?
• Todas as fontes de dados necessárias estão disponíveis em produção?
• O modelo consegue falhar de forma segura se alguma fonte de dados ficar indisponível?
• As previsões podem ser geradas com velocidade suficiente?

Preservar resultados nulos

Tudo o que não for para produção deve ser registrado em um repositório de conhecimento para que projetos futuros não percam tempo tentando as mesmas abordagens.

Como fazer?

Desenvolver um pipeline de dados

• Configure um DAG (grafo acíclico direcionado) levando todas as fontes de dados ao ambiente de produção.
• Agende atualizações de dados para rodarem automaticamente.

Desenvolver um pipeline de modelos

• Divida o fluxo do modelo em tarefas e integre tudo em um pipeline.

Operacionalizar o modelo

Disponibilize uma API do seu modelo para ser consumida por dashboards, sites ou outros softwares.

Definir um plano de monitoramento

• Defina métricas a serem acompanhadas, incluindo métricas de performance e de segurança que indiquem possíveis bugs.
• Defina limites e faixas aceitáveis para essas métricas.
• Decida como você será alertado se as métricas saírem da faixa.

Fazer rollout via teste A/B

• Disponibilize o novo recurso ou modelo para uma amostra aleatória de usuários.
• Monitore de perto as métricas escolhidas, mas resista à tentação de declarar um vencedor antes de alcançar significância estatística.

Analisar e reportar os resultados do A/B

• Compare as métricas acompanhadas em cada grupo.
• Reporte os resultados, mesmo que o teste não tenha sido bem-sucedido.

Fazer rollout para a maioria ou totalidade dos usuários

Se o teste foi bem-sucedido, faça o rollout do recurso ou modelo para a maioria ou para todos os usuários.

• Incluir um pequeno grupo de controle que não receba o recurso/modelo permite medir, no longo prazo, quanto de ganho de performance o novo recurso ou modelo gera.

Como fazer?

Escrever um relatório de encerramento

Resuma o status do projeto e os aprendizados.

• Faça uma visão geral do projeto.
• Resuma o problema de negócio que você tentou resolver.
• Descreva as fontes de dados e como foram processadas.
• Descreva as técnicas de modelagem usadas e como o modelo foi validado.
• Resuma a arquitetura da solução.
• Aponte os benefícios do projeto para a empresa e para o cliente.
• Descreva aprendizados sobre execução, ciência de dados, domínio de negócio e produto.
• Indique os próximos passos.

Coletar feedback dos clientes

• Conduza pesquisas e entrevistas com usuários.
• Monitore avaliações, notas e redes sociais.

Como fazer?

Desenvolver o pipeline de monitoramento

Configure um pipeline para acompanhar automaticamente as métricas de performance e segurança definidas no plano de monitoramento.

Criar dashboards

Crie dashboards para acompanhar a evolução dessas métricas ao longo do tempo.

Configurar alertas

Configure alertas para notificar você por e-mail, Slack etc., quando as métricas saírem da faixa aceitável.