87% dos projetos de ciência de dados nunca chegam à produção. Alguns fracassam por falta de apoio da liderança; outros, por dados de baixa qualidade e infraestrutura inadequada. Organizações que buscam extrair valor de IA e machine learning precisam estar atentas às armadilhas mais comuns ao definir e gerenciar projetos de IA. Isso é mais fácil falar do que fazer. Mesmo quem já domina projetos de software tradicionais pode enfrentar dificuldades ao implementar projetos de IA, por conta de suas particularidades.
O que diferencia projetos de IA de projetos de software tradicionais?
Em um projeto de software tradicional, um programador codifica explicitamente a lógica do programa, que recebe uma entrada para gerar uma saída. Um exemplo é um software bancário que reduz a pontuação de crédito de um cliente (saída) quando ele solicita um empréstimo de alto valor (entrada).
Já em projetos de IA que usam machine learning, não é preciso codificar a lógica explicitamente. Os algoritmos aprendem sistematicamente o padrão entre entrada e saída para então prever uma saída com base em uma entrada. Um exemplo é prever o risco de inadimplência do cliente a partir de sua pontuação de crédito e do montante de empréstimos contratados.
Isso pode trazer bastante inércia quando uma organização começa a implementar e gerenciar seus projetos de IA. Por isso, este post apresenta diretrizes para seu próximo projeto de IA implantável e rentável.
Três características para os primeiros projetos de IA
Essas três características preparam o terreno para o sucesso dos primeiros projetos de IA de uma empresa. Veja por quê.
Projetos de IA devem ser viáveis
Antes de iniciar novos projetos de IA, as organizações devem avaliar sua própria maturidade em dados, para não alocar recursos em iniciativas inviáveis. Os pilares da maturidade em dados incluem infraestrutura, pessoas, ferramentas, organização e processos. Perguntas úteis sobre esses pilares ajudam a priorizar os projetos mais viáveis:
- A empresa consegue coletar dados de forma confiável?
- A empresa tem infraestrutura para armazenar e limpar os dados?
- O time tem as habilidades necessárias para entregar resultados de modelo confiáveis e precisos?
- A empresa dispõe de processos, ferramentas e competências para monitorar modelos em produção?
Projetos de IA devem ser simples
Um projeto tecnicamente simples é mais gerenciável para uma organização com maturidade de dados ainda baixa. Um projeto simples e rápido de entregar gera quick wins, que fortalecem a experiência do time. Isso cria tração para futuros projetos de IA e anima a empresa, gerando apoio para iniciativas mais avançadas. Conforme a maturidade em IA evolui, dá para sair do “arroz com feijão” e partir para projetos mais complexos.
Projetos de IA devem ser valiosos
A Harvard Business Review aponta que um traço de projetos de IA bem-sucedidos é o valor que eles geram. Isso pode vir de três formas: apoiar melhores decisões, reduzir custos ao automatizar tarefas manuais repetitivas ou viabilizar novos produtos. Esse valor tangível ajuda a convencer stakeholders a investir nas capacidades de IA da empresa.
Encontrar um projeto simples, valioso e viável não é trivial. Para achar iniciativas que atendam a esses critérios, Veljko Krunic, autor de Succeeding with AI, sugere os passos abaixo.
- Identificar problemas de negócio.
- Fazer um brainstorm de soluções de IA para esses problemas.
- Estimar a viabilidade técnica e a complexidade do projeto.
- Definir métricas de negócio para medir o valor do projeto de IA.
- Estimar o valor de negócio com base nessas métricas.
Na teoria é simples; na prática, cheio de nuances. Em especial, a escolha das métricas de negócio pode não ser óbvia. A próxima seção mostra como selecionar essas métricas.
Meça projetos de IA com métricas de negócio
O valor de um projeto de IA pode ser medido com métricas de negócio adequadas. Ainda assim, para muitos profissionais de IA, avaliar o desempenho de um sistema por métricas de negócio pode soar contraintuitivo.
Modelos de machine learning costumam ser avaliados por métricas técnicas em um conjunto de dados, e não por métricas que quantificam valor para o negócio. Isso é comum na academia, onde a evolução dos algoritmos é comparada por benchmarks técnicos objetivos e mensuráveis. Porém, no mundo real, sistemas de IA precisam entregar resultados concretos que vão além de acurácia, como receita, custo e satisfação do cliente.
Por isso, é preciso conectar o desempenho técnico dos sistemas de IA às métricas de negócio. Muitas vezes, essa relação não é óbvia. Líderes de negócio e especialistas em IA devem colaborar e chegar a um consenso sobre uma métrica de negócio que será usada para medir e otimizar o desempenho do sistema de IA, como destaca Andrew Ng, cofundador do Google Brain.
Nesse processo, o uso de uma curva de lucro (profit curve) pode quantificar a relação entre métricas técnicas e de negócio, como proposto no livro Data Science for Business. Isso traduz o avanço técnico em termos de negócio, permitindo responder perguntas como: “quanto de receita adicional é gerada com um aumento de 1% na acurácia?”
Figura 1: ilustração de uma curva de lucro que relaciona a acurácia de um sistema de IA ao lucro resultante
Como comunicar o valor de um projeto de IA
A comunicação entre profissionais de machine learning costuma envolver jargão técnico de modelos, com razão. Mas isso não faz sentido para públicos não técnicos, que se importam muito mais com impacto no negócio do que com um ganho de 1% em acurácia.
Quem trabalha com IA evita essa armadilha ao considerar o público-alvo ao reportar avanços do projeto. Em especial, é importante lembrar que, para as áreas de negócio, melhorar métricas de negócio tem prioridade maior do que métricas técnicas. Técnicas de data storytelling também ajudam a mostrar como o projeto de IA impacta métricas de negócio — seja melhorando a experiência do cliente, aumentando a retenção ou reduzindo custos.
Implementação de sistemas de IA e pipelines de machine learning andam juntos
Vimos como um sistema de IA difere de um sistema de software tradicional. Em especial, um sistema de IA não exige que um programador codifique a lógica explicitamente, pois ele aprende padrões a partir dos dados. Para isso acontecer, é preciso construir antes o pipeline que capta os dados necessários, os transforma e os alimenta no sistema de IA.
Assim, sistemas de IA envolvem não só o algoritmo de machine learning, mas também um pipeline de machine learning (ML). Esse pipeline descreve o fluxo de dados de ponta a ponta: como são obtidos, transformados, usados, apresentados e monitorados.
Pipelines de machine learning fazem parte de um sistema de software maior. Os processos de desenvolver um pipeline de machine learning e de um sistema de software típico são, em grande medida, semelhantes. Entre outros pontos, a necessidade de engenheiros de dados competentes, o uso de processos de desenvolvimento similares ao DevOps e a importância da segurança são temas comuns em projetos de IA e de software.
Abaixo, um exemplo de pipeline de ML para visão computacional que detecta anomalias no processo de fabricação de celulares. Esse pipeline simplificado usa fotos para identificar defeitos e apoiar o trabalho do time de garantia de qualidade.
Figura 2: pipeline de ML simplificado de um fabricante de celulares
Esse exemplo mostra que o desenho de um pipeline de machine learning depende fortemente dos dados, do algoritmo e do caso de uso. Raramente existe um pipeline “tamanho único”.
Um pipeline completo também inclui coleta de dados, extração de features, verificação de dados, monitoramento de resultados, entre outros, tornando-o extenso e complexo, como aponta o artigo altamente influente do Google. Por isso, normalmente há um time de Machine Learning Engineering dedicado a construir e manter esse pipeline.
Construa sistemas de ML robustos desde o início para evitar mudanças caras
A implantação de sistemas de machine learning pode não sair como o esperado, seja por mudança nos dados, fragilidade do modelo ou falhas no pipeline. Quando isso acontece, profissionais que buscam melhorar o sistema podem propor mudanças drásticas no pipeline existente — e descobrir, para sua frustração, que pipelines de ML rapidamente ficam resistentes a mudanças após implementados.
Veljko Krunic chama isso de “ossificação de pipelines de ML”. A inércia vem dos desafios de alterar o código de um projeto tecnicamente complexo. As áreas de negócio, prevendo os impactos das mudanças nas operações, também podem se opor. No exemplo da Figura 2, se a capacidade do algoritmo de sinalizar automaticamente celulares com defeito cair muito, pode levar semanas para repor o efetivo necessário para inspeção manual.
Mudar drasticamente projetos de IA já “ossificados” sai caro. Uma reformulação pode ser necessária quando um pipeline de prova de conceito, não escalável, vai para produção. Dito isso, a ossificação de pipelines de ML muitas vezes é inevitável.
Por isso, empresas que querem gerenciar bem projetos de IA devem buscar implementar o pipeline certo desde o começo. Machine Learning Model Operationalization Management (MLOps) é uma área em ascensão que ajuda organizações a alcançar esse objetivo. Ferramentas e práticas de MLOps oferecem um processo de desenvolvimento ponta a ponta para projetar, construir e gerenciar software movido a ML de forma reprodutível, testável e iterativa. Isso permite que times de dados implementem integração contínua e entrega contínua para seus pipelines de ML, monitorem drift de dados e mantenham a explicabilidade de seus pipelines.
Fortaleça a capacidade do seu time para gerenciar projetos de IA com eficiência
Gerenciar um projeto de IA não é tarefa simples. Uma organização precisa de mais do que talento técnico para construir projetos de IA. É fundamental cultivar uma cultura orientada por dados e um forte letramento em dados para acelerar a adoção de IA. Assim como a implementação de projetos de IA leva tempo, programas de letramento em dados são de longo prazo.
É aí que o DataCamp for Business pode ajudar, oferecendo uma plataforma de aprendizado interativa para empresas que precisam capacitar e requalificar suas pessoas em habilidades de dados. Com tópicos que vão de engenharia de dados a machine learning, mais de 1.600 empresas confiam no DataCamp for Business para desenvolver seus talentos.
Não tem certeza sobre as capacidades de dados do seu time? Faça nossa avaliação de maturidade em dados.
