As operações de machine learning (MLOps) se tornaram foco central para muitos líderes e profissionais de dados, com o interesse crescendo significativamente nos últimos dois anos. Essa ascensão meteórica é impulsionada por um desafio claro: o investimento em machine learning e IA muitas vezes não está entregando o retorno esperado.
Em 2019, a VentureBeat relatou que apenas 13% dos modelos de machine learning chegam à produção. Embora uma pesquisa recente da KDNuggets sugira melhora em 2022, 35% dos respondentes ainda citaram barreiras técnicas que impedem a implantação de seus modelos.
O relatório State of AI 2021 da McKinsey mostra que a adoção de IA subiu para 56%, ante 50% em 2020. À medida que as organizações ampliam investimentos em seus sistemas e talentos de machine learning, a necessidade de implantar e extrair valor dos modelos com eficiência fica mais evidente do que nunca. É aqui que entra o MLOps. Organizações que adotam MLOps com sucesso estão colhendo melhores retornos sobre seus investimentos. Ao adotar MLOps, times de dados estão reduzindo o tempo necessário para prototipar, desenvolver e implantar sistemas de machine learning.
O objetivo do MLOps é combinar tecnologia com mudança organizacional para aplicar conceitos de engenharia de software ao machine learning. Ao encarar o machine learning como uma disciplina de engenharia, ele promete um caminho mais direto para a produção e maior longevidade dos modelos em operação.
Este artigo vai definir MLOps, explicar por que ele é importante e apresentar cinco princípios norteadores que definem uma prática de MLOps bem-sucedida hoje.
O que é MLOps?
MLOps é melhor definido como "um conjunto de ferramentas, práticas, técnicas e cultura que garantem a implantação confiável e escalável de sistemas de machine learning". O MLOps se inspira nas melhores práticas de engenharia de software, como automação e testes automatizados, controle de versão, aplicação de princípios ágeis e gestão de dados para reduzir a dívida técnica.
Dívida técnica (ou dívida de código) é um conceito da própria engenharia de software. Ela descreve a "dívida" acumulada como resultado de um desenvolvimento acelerado, no qual processos como automação, documentação e testes de unidade são deixados para refatoração em uma etapa posterior. Em poucas palavras, é a dívida que as equipes de desenvolvimento carregam para o futuro por não adotarem as boas práticas no presente.
Sistemas de machine learning podem acumular altos níveis de dívida técnica, já que os modelos produzidos por cientistas de dados são apenas uma pequena parte de um quebra-cabeça maior — que inclui infraestrutura, monitoramento de modelos, armazenamento de features e muitas outras considerações.
O que torna o MLOps único
As melhores práticas de engenharia de software voltadas para reduzir a dívida técnica são frequentemente chamadas de DevOps. DevOps combina as atividades de desenvolvimento — escrever código, versionar e testar — com as operações de TI — release, implantação e monitoramento.
Os dois princípios centrais de DevOps são Integração Contínua e Entrega Contínua (CI/CD).
- Continuous Integration (CI): novas mudanças de código são regularmente compiladas, testadas e integradas a um repositório compartilhado.
- Continuous Delivery (CD): quaisquer alterações feitas em uma aplicação são automaticamente testadas e enviadas para um repositório, de onde podem ser implantadas em ambiente de produção.
Levar sistemas de machine learning à produção e escalá-los traz complexidades adicionais. Engenharia de software projeta, em geral, soluções bem definidas, com entradas e saídas precisas. Já sistemas de machine learning dependem de dados do mundo real modelados por métodos estatísticos. Isso introduz outras considerações que precisam ser levadas em conta, como:
- Dados: machine learning consome dados de entrada altamente complexos. Esses dados precisam ser transformados para que os modelos possam produzir previsões relevantes.
- Modelagem: desenvolver sistemas de machine learning exige experimentação. Para experimentar com eficiência, é essencial rastrear as mudanças de dados e os parâmetros de cada experimento.
- Testes: indo além dos testes de unidade — em que pequenas partes testáveis de uma aplicação são testadas de forma independente — sistemas de machine learning exigem testes mais complexos tanto dos dados quanto do desempenho do modelo. Por exemplo, testar se novos dados de entrada compartilham propriedades estatísticas semelhantes às dos dados de treino.
- Deriva de modelo: o desempenho de modelos de machine learning sempre degrada com o tempo. As principais causas são duas. A deriva de conceito ocorre quando mudam as propriedades do resultado que estamos tentando prever. Um grande exemplo foi durante os lockdowns da COVID-19, quando muitos varejistas tiveram um pico inesperado em itens como papel higiênico. Como um modelo treinado em dados "normais" lidaria com isso? Já a deriva de dados acontece quando mudam as propriedades das variáveis independentes por diversos fatores, como sazonalidade, mudança de comportamento do consumidor ou lançamento de novos produtos.
- Treinamento contínuo: modelos de machine learning precisam ser reentreinados à medida que novos dados ficam disponíveis para combater a deriva de modelo.
- Gestão de pipelines: os dados passam por várias etapas de transformação antes de serem alimentados em um modelo e devem ser testados regularmente antes e depois do treinamento. Pipelines combinam essas etapas para que sejam monitoradas e mantidas com eficiência.
5 princípios para um MLOps bem-sucedido
Adotar MLOps não é tão simples quanto fechar com um novo fornecedor SaaS ou subir novas instâncias de computação em nuvem. É preciso planejamento cuidadoso e uma abordagem consistente entre times e áreas. Aqui vão cinco princípios para implementar MLOps com sucesso:
entenda sua maturidade em MLOps
Grandes provedores de nuvem como a Microsoft e o Google analisam a adoção de MLOps por meio de um modelo de maturidade. Isso porque MLOps exige mudança organizacional e formas modernas de trabalho, algo que só acontece com o tempo, conforme sistemas e processos amadurecem.
Para adotar MLOps com sucesso, é preciso avaliar com honestidade o estágio de maturidade da organização. A partir de uma avaliação confiável, as empresas entendem quais táticas podem usar para avançar de nível — desde mudanças de processo, como aplicar DevOps na implantação, até novas contratações para o time.
Também é essencial entender como os níveis de maturidade ajudam a priorizar iniciativas de MLOps. Por exemplo, um feature store é um repositório único que concentra features usadas com frequência em machine learning. Feature stores são úteis para organizações com maior maturidade em dados, nas quais muitos times distintos precisam usar features consistentes e reduzir retrabalho. Se a organização tem apenas alguns cientistas de dados, provavelmente não vale a pena investir em um feature store agora.
Ao usar um modelo de maturidade para MLOps, as organizações permitem que times, processos e stack de tecnologia evoluam juntos. Isso garante iteração contínua e que ferramentas sejam testadas antes da implementação.
aplique automação nos seus processos
Automação anda de mãos dadas com modelos de maturidade. A automação avançada e disseminada facilita o aumento da maturidade em MLOps. Em ambientes sem MLOps, muitas tarefas em sistemas de machine learning são executadas manualmente — limpeza e transformação de dados, engenharia de features, divisão de treino e teste, escrita do código de treinamento do modelo, etc. Ao fazer essas etapas manualmente, cientistas de dados aumentam a margem de erro e perdem tempo que poderia ser dedicado à experimentação.
Um ótimo exemplo de automação é o reentreinamento contínuo, no qual os times de dados configuram pipelines para ingestão, validação, experimentação, engenharia de features, testes de modelo e mais. Visto como um dos primeiros passos na automação de machine learning, o reentreinamento contínuo ajuda a evitar a deriva de modelo.
Os pipelines em MLOps não são diferentes dos de engenharia de dados ou DevOps. Um pipeline de machine learning é uma série de etapas que orquestram o fluxo de dados para dentro e para fora de um modelo.
Para ilustrar o poder dos pipelines, imagine um cenário em que cientistas de dados extraem parte dos dados manualmente, mas automatizam validação, preparação, treinamento e avaliação do modelo. Esse pipeline pode ser reutilizado quando o modelo for colocado em produção para prever com novos dados.
priorize experimentação e rastreamento
Experimentação é parte central do ciclo de vida de machine learning. Cientistas de dados testam conjuntos de dados, features, modelos de ML, hiperparâmetros e muito mais. Há muitos “botões” para ajustar durante a experimentação. Para encontrar a combinação certa, é essencial rastrear cada iteração dos experimentos.
Na experimentação tradicional baseada em notebooks, cientistas de dados registram parâmetros e detalhes de modelos manualmente. Isso pode gerar inconsistências de processo e aumentar a margem de erro humano. A execução manual também consome tempo e atrapalha a experimentação rápida.
Embora o git seja amplamente usado para versionar código, não é simples fazer controle de versão dos diferentes experimentos executados pelos cientistas de dados. É aí que os times podem usar model registries, um local para armazenar modelos, acompanhar desempenho e outras mudanças.
Rastrear experimentos permite que os times revertam modelos quando necessário — e melhora todo o processo de auditoria. Isso reduz um esforço manual considerável e libera mais tempo para experimentação, resultando em reprodutibilidade muito melhor por meio de versionamento e tracking.
vá além do CI/CD
Já vimos CI/CD no contexto de DevOps, mas eles também são componentes essenciais em MLOps de alta maturidade.
- Ao aplicar CI ao MLOps, estendemos os testes e validações automatizados do código para também cobrir dados e modelos.
- Da mesma forma, conceitos de CD se aplicam a pipelines e modelos à medida que são reentreinados.
Também podemos considerar outros conceitos “contínuos”:
- Continuous Training (CT): já comentamos como aumentar a automação permite reentreinar o modelo quando novos dados ficam disponíveis.
- Continuous Monitoring (CM): outro motivo para reentreinar um modelo é a queda de desempenho. Também devemos entender se os modelos continuam gerando valor frente às métricas de negócio.
Aplicar conceitos contínuos com testes automatizados permite experimentação rápida e minimiza erros em escala. Além disso, implementar com sucesso os quatro conceitos contínuos pode reduzir drasticamente o tempo até a implantação.
Considere o pipeline de exemplo visto na seção de automação. Aplicar conceitos de CI/CD aqui resultaria em um codebase armazenado em um repositório. Em linha com CI, uma série de testes de unidade automatizados seria aplicada a esse repositório, como testar features engenheiradas, garantir ausência de valores faltantes e checar overfitting. Os componentes individuais do pipeline podem então ser validados e implantados, garantindo compatibilidade e que as demandas de computação foram testadas e atendidas. Esse nível de automação permite novas implantações ágeis, ajudando a organização a reagir a fatores externos e mudanças.
adote a mudança organizacional
A mudança organizacional precisa acontecer em paralelo à evolução da maturidade em MLOps. Isso exige ajustes de processos que promovam a colaboração entre times, quebrando silos. Em alguns casos, é necessário reestruturar os times para viabilizar uma maturidade consistente em MLOps. O modelo de maturidade da Microsoft aborda como o comportamento das pessoas deve mudar conforme a maturidade aumenta.
Ambientes de baixa maturidade costumam ter cientistas de dados, engenheiros de dados e engenheiros de software trabalhando em silos. À medida que a maturidade cresce, todos precisam colaborar. Cientistas e engenheiros de dados devem atuar em parceria para converter código de experimentação em pipelines reproduzíveis, enquanto engenheiros de software e de dados devem trabalhar juntos para integrar modelos automaticamente ao código das aplicações.
Mais colaboração torna todo o processo de implantação menos dependente de uma única pessoa. Garante trabalho em equipe para reduzir esforços manuais custosos. Essas diferentes áreas de especialidade se unem para criar o nível de automação que MLOps de alta maturidade exige. Colaboração e automação são essenciais para reduzir a dívida técnica.
A ascensão do MLOps ainda está no começo
O MLOps nasceu da necessidade de implantar modelos de ML de forma rápida e eficiente. Com empresas investindo pesado em machine learning, cada vez mais modelos estão sendo desenvolvidos, aumentando a demanda por MLOps. Embora o MLOps ainda esteja em seus estágios iniciais, já é possível dizer que as organizações buscam convergir em torno de um conjunto de princípios que libere o ROI do machine learning.
Se você quer se aprofundar em MLOps, confira também estes recursos:
- A practical guide to MLOps by Noah Gift
- Operationalizing Machine Learning with MLOps with Alessya Visnjic
- From Predictions to Decisions with Dan Becker
- Our Guide to MLOps Certifications
