O passado, o presente e o futuro de MLOps

Muitos projetos de machine learning fracassam

Várias organizações estão investindo pesado em IA e machine learning. Mas isso não significa que já estejam colhendo valor com essas iniciativas. Segundo a VentureBeat, 87% dos projetos de ciência de dados não chegam à produção. No keynote do Transform 2019 da VentureBeat, Deborah Leff, CTO de Data Science e IA na IBM, e Chris Chap, SVP de Dados e Analytics na Gap, argumentam que muitos times não contam com a liderança e o suporte certos para criar as condições de sucesso.

Leff e Chap apontam a qualidade e a democratização de dados, além de gargalos no fluxo organizacional, como barreiras-chave que muitas empresas não têm ferramentas ou estrutura para superar. Times de dados que não acessam dados relevantes e de qualidade ou que não trabalham em um ambiente colaborativo adequado dificilmente terão sucesso, independentemente da competência técnica. Eles também citam o problema do "envelhecimento" de modelos, quando organizações mantêm modelos que deixam de funcionar e ninguém percebe por mais de três anos. Isso ficou evidente com o início da Covid-19, quando os lockdowns mudaram completamente o comportamento dos consumidores e muitos modelos de analytics no varejo quebraram em produção.

Outro ponto importante em projetos de ML é o aumento do uso de tecnologias open source para testar e colocar modelos em produção. Isso inclui linguagens como Python e seu ecossistema de bibliotecas — Scikit-learn, pandas, PySpark e outras. Alterar a versão de qualquer uma delas no ambiente de produção pode impactar bastante o projeto ou até fazê-lo parar de funcionar. Gerenciar versões e frameworks open source pede um sistema organizado para funcionar em escala.

A necessidade de MLOps

Machine Learning Model Operationalization Management (MLOps) é uma forma de padronizar e dinamizar a gestão do ciclo de vida de projetos de machine learning. No seu livro, a Dataiku destaca três fatores pelos quais MLOps está se tornando crucial nas empresas: há muitas dependências, falta letramento em dados e uma linguagem comum, e cientistas de dados não têm, em geral, habilidades de engenharia.

Muitas dependências: Dados refletem comportamentos e processos do mundo real e mudam naturalmente com o tempo (por exemplo, o pico de compra de papel higiênico na Covid-19). À medida que os dados mudam — o que acontece o tempo todo — os modelos em produção precisam se adaptar continuamente para que a organização continue resolvendo o problema original que motivou o uso do modelo.

Não há uma linguagem comum de dados: No ciclo de vida de machine learning, os projetos envolvem pessoas de times diversos e com formações diferentes — cientistas de dados, engenheiros de dados e especialistas do negócio. Esses grupos não compartilham as mesmas habilidades ou fluência em dados para se comunicar do mesmo jeito, e o alinhamento entre eles é crucial para colocar modelos em produção e avaliar seu sucesso.

Cientistas de dados não têm habilidades de engenharia: Normalmente, cientistas de dados se especializam em construir e avaliar modelos — não em escrever aplicações para deploy. Com o aumento do número e da complexidade dos modelos, eles encaram um trade-off entre desenvolver/iterar e manter esses modelos operando em produção.

Por que MLOps é útil

Modelos de machine learning estão sendo incorporados, cada vez mais, aos processos de negócio. Esse aumento de volume exige MLOps para mitigar riscos, fazer deploy responsável e usar modelos em escala.

Existem vários riscos ao colocar um modelo em produção:

• O modelo pode ficar indisponível por um período. A tecnologia pode ser instável no ambiente produtivo. Se a organização depende fortemente desses modelos, a indisponibilidade provoca impactos significativos.

• O modelo pode ter desempenho ruim para um grupo. Ele pode performar muito bem para a maioria, mas gerar resultados ruins para um segmento. Isso precisa ser corrigido ou compreendido para evitar decisões equivocadas baseadas em saídas do modelo para o grupo com baixa performance. Esse problema também pode levantar questões éticas quando envolve variáveis protegidas (raça, idade, gênero etc.).

• O modelo pode se tornar menos justo ou preciso no futuro. Com as mudanças no mundo, os dados de treino deixam de representar bem a realidade que o modelo tenta entender, levando a piora de performance em dados futuros.

• Talentos de ciência de dados podem sair ao longo do tempo. Manter modelos requer habilidades técnicas e tempo que nem sempre estão disponíveis para garantir confiabilidade contínua.

Esses riscos variam conforme o impacto do modelo na organização e a probabilidade de ocorrerem. Muitos deles podem ser mitigados garantindo que os dados de treino reflitam bem os dados vistos em produção e mantendo o ambiente produtivo estável, já que modelos são muito sensíveis a mudanças. MLOps é cada vez mais necessário para mitigar os riscos associados ao crescimento do número de modelos usados em decisões importantes.

À medida que o uso de modelos em decisões se torna mais comum, fica ainda mais crucial garantir que sejam implantados de forma responsável. Há muitas causas de viés algorítmico que precisam ser evitadas quando decisões são automatizadas por sistemas de IA. Falhar em minimizar vieses pode levar a sanções por regulação governamental ou à perda de demanda e de lucro para a marca. Para implantar IA com responsabilidade, é preciso treinar modelos em fontes de dados conformes e sem vieses, garantir resultados interpretáveis e explicáveis, e ter accountability em toda a organização — facilitando identificar onde, no pipeline de desenvolvimento, algo pode ter dado errado para corrigir com eficácia. Para isso, as empresas precisam de um ciclo de vida de ML enxuto e bem estruturado.

Colocar cada vez mais modelos em produção exige MLOps para dar certo. É necessário ter um processo fluido para controlar versionamento, comparar performance de modelos antes e depois de retreino e assegurar que o desempenho se mantenha ao longo do tempo. Sem essas práticas, é muito difícil gerar valor e impacto real nos negócios com modelos.

Os papéis em um programa de MLOps

Embora MLOps ainda seja recente e esteja evoluindo rápido, é essencial contar com pessoas fortes nos seguintes papéis: especialistas do negócio (Subject Matter Experts), cientistas de dados, engenheiros de dados e engenheiros de software e DevOps.

Especialistas do negócio são profissionais voltados ao resultado que definem como medir e avaliar continuamente o sucesso dos modelos durante o treino e após o deploy. Para um programa de MLOps bem-sucedido, eles devem criar métricas de negócio fáceis de entender e um ciclo de feedback para identificar rapidamente modelos que não estão atendendo às expectativas. Além disso, especialistas em risco são parte importante do programa: seu objetivo é minimizar e esclarecer o risco que a empresa assume ao colocar modelos de ML em produção.

Recomendação de curso: Understanding Data Topics

Cientistas de dados constroem os modelos que respondem às perguntas de negócio levantadas pelos especialistas. Esses modelos devem ser passíveis de deploy em ambientes produtivos com dados de produção. Cabe aos cientistas de dados garantir que os modelos sejam fáceis e seguros de implantar, possuam testes de qualidade e de melhorias potenciais e ofereçam visibilidade centralizada de todos os modelos em produção.

Recomendações de cursos: Machine Learning Scientist Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark

Engenheiros de dados são responsáveis por criar os pipelines de dados para esses modelos. Para um programa de MLOps eficiente, a performance de todos os modelos deve ser facilmente visível, assim como o detalhamento de cada pipeline para localizar e tratar problemas.

Por fim, engenheiros de software e DevOps ajudam a integrar esses modelos com as demais aplicações que não envolvem machine learning. Para que a prática de MLOps funcione, eles precisam incorporar boas práticas de engenharia de dados, garantindo que os modelos funcionem em paralelo com as aplicações existentes de forma confiável, contínua e sem atrito.

Recomendação de curso: Data Engineer with Python Career Track

Há vários papéis essenciais para um programa de MLOps de sucesso. Implantar centenas de modelos em escala requer a participação de profissionais além dos experts em dados — incluindo especialistas do negócio e engenheiros de software — para gerar resultados concretos. Organizações que buscam construir programas de MLOps bem-sucedidos devem criar uma linguagem comum de dados entre todas as partes interessadas por meio de capacitação e aprendizado contínuo.

Saiba mais sobre o DataCamp for Business:

O DataCamp for Business oferece uma plataforma de aprendizado interativa para empresas que precisam capacitar e requalificar seus times em habilidades de dados. Com temas que vão de letramento em dados e data science a engenharia de dados e machine learning, mais de 1.600 empresas confiam no DataCamp for Business para desenvolver suas equipes.