Explicação do ciclo de vida do aprendizado de máquina

Normalmente, pensamos que os projetos de aprendizado de máquina (ML) envolvem processamento de dados, treinamento de modelos e implantação de modelos. Mas é muito mais do que isso. 

Precisamos de compreensão dos negócios e dos dados, técnicas de coleta de dados, análise de dados, criação de modelos e avaliação de modelos. Além disso, após a implantação, precisamos de monitoramento e manutenção constantes.   

O ciclo de vida do aprendizado de máquina consiste em etapas que fornecem estrutura ao projeto de aprendizado de máquina e dividem efetivamente os recursos da empresa. Seguir essas etapas ajuda as empresas a criar produtos de IA sustentáveis, econômicos e de qualidade. 

Nesta postagem, usaremos o Processo padrão intersetorial para o desenvolvimento de aplicativos de aprendizado de máquina com metodologia de garantia de qualidade(CRISP-ML(Q)) para explicar cada etapa do ciclo de vida do aprendizado de máquina. O CRISP-ML(Q) é um padrão industrial para a criação de aplicativos de aprendizado de máquina sustentáveis. 

As 6 etapas de um ciclo de vida de aprendizado de máquina padrão:

1. Planejamento
2. Preparação de dados 
3. Engenharia de modelos
4. Avaliação do modelo
5. Implementação do modelo
6. Monitoramento e manutenção

Cada fase do ciclo de aprendizado de máquina segue uma estrutura de garantia de qualidade para aprimoramento e manutenção constantes, seguindo rigorosamente os requisitos e as restrições. Para saber mais sobre garantia de qualidade, leia o blog do CRISP-ML(Q). 

Para pessoas e gerentes não técnicos, confira nosso curso de curta duração sobre como entender os fundamentos do aprendizado de máquina. Isso os ajudará a entender o aprendizado de máquina em geral, a modelagem e o aprendizado profundo (IA). Você também pode explorar as diferenças entre IA e aprendizado de máquina em um artigo separado. 

1. Planejamento

Imagem do autor

A fase de planejamento envolve a avaliação do escopo, da métrica de sucesso e da viabilidade do aplicativo de AM. Você precisa entender o negócio e como usar o aprendizado de máquina para melhorar o processo atual. Por exemplo: precisamos de aprendizado de máquina? Podemos realizar solicitações semelhantes com uma programação simples?

Você também precisa entender a análise de custo-benefício e como enviará a solução em várias fases. Além disso, você precisa definir métricas de sucesso claras e mensuráveis para os negócios, modelos de aprendizado de máquina (precisão, pontuação F1, AUC) e econômicos (indicadores-chave de desempenho).

Por fim, você precisa criar um relatório de viabilidade. 

Ele consistirá em informações sobre:

• Disponibilidade dos dados: temos dados suficientes disponíveis para treinar o modelo? Podemos obter um fornecimento constante de dados novos e atualizados? Podemos usar dados sintéticos para reduzir o custo?
• Aplicabilidade: essa solução resolverá o problema ou melhorará o processo atual? Será que podemos usar o aprendizado de máquina para resolver esse problema? 
• Restrições legais: temos permissão do governo local para implementar essa solução? Estamos seguindo uma maneira ética de coletar os dados? Qual será o impacto desse aplicativo na sociedade? 
• Robustez e escalabilidade: este aplicativo é suficientemente robusto? Ele é dimensionável? 
• Explicabilidade: podemos explicar como o modelo de aprendizado de máquina está chegando aos resultados? Podemos explicar o funcionamento interno das redes neurais profundas? 
• Disponibilidade de recursos: temos recursos computacionais, de armazenamento, de rede e humanos suficientes? Temos profissionais qualificados? 

Os líderes empresariais podem aprender os fundamentos do aprendizado de máquina fazendo um curso de aprendizado de máquina para empresas e aplicando essas lições para criar estratégias de negócios e implementar soluções de aprendizado de máquina. 

2. Preparação de dados 

do autor

A seção de preparação de dados é dividida em quatro partes: aquisição e rotulagem de dados, limpeza, gerenciamento e processamento.   

Coleta de dados e rotulagem

Primeiro, precisamos decidir como coletaremos os dados, reunindo os dados internos, de código aberto, comprando-os dos fornecedores ou gerando dados sintéticos. Cada método tem prós e contras e, em alguns casos, obtemos os dados de todas as quatro metodologias. 

Após a coleta, precisamos rotular os dados. A compra de dados limpos e rotulados não é viável para todas as empresas, e você também pode precisar fazer alterações na seleção de dados durante o processo de desenvolvimento. É por isso que você não pode comprá-lo em grandes quantidades e os dados podem acabar sendo inúteis para a solução. 

A coleta de dados e a rotulagem exigem a maior parte dos recursos da empresa: dinheiro, tempo, profissionais, especialistas no assunto e acordos legais. 

Limpeza de dados 

Em seguida, limparemos os dados imputando valores ausentes, analisando dados com rótulos errados, removendo exceções e reduzindo o ruído. Você criará um pipeline de dados para automatizar esse processo e realizar a verificação da qualidade dos dados. 

Processamento de dados

O estágio de processamento de dados envolve a seleção de recursos, o tratamento de classes desequilibradas, a engenharia de recursos, o aumento de dados e a normalização e dimensionamento dos dados. 

Para fins de reprodutibilidade, armazenaremos e faremos a versão dos metadados, da modelagem de dados, dos pipelines de transformação e dos armazenamentos de recursos.   

Gerenciamento de dados

Por fim, descobriremos soluções de armazenamento de dados, controle de versão de dados para reprodutibilidade, armazenamento de metadados e criação de pipelines de ETL. Essa parte garantirá um fluxo de dados constante para o treinamento do modelo. 

3. Engenharia de modelos

Imagem do autor

Nesta fase, usaremos todas as informações da fase de planejamento para criar e treinar um modelo de aprendizado de máquina. Por exemplo: rastreamento de métricas de modelo, garantia de escalabilidade e robustez e otimização de recursos de armazenamento e computação. 

1. Crie uma arquitetura de modelo eficaz fazendo uma pesquisa extensa.
2. Definição das métricas do modelo.
3. Treinamento e validação do modelo no conjunto de dados de treinamento e validação. 
4. Acompanhamento de experimentos, metadados, recursos, alterações de código e pipelines de aprendizado de máquina.
5. Execução de compressão e montagem de modelos. 
6. Interpretação dos resultados por meio da incorporação de especialistas em conhecimento de domínio. 

Vamos nos concentrar na arquitetura do modelo, na qualidade do código, nos experimentos de aprendizado de máquina, no treinamento do modelo e na montagem. 

Os recursos, hiperparâmetros, experimentos de ML, arquitetura de modelo, ambiente de desenvolvimento e metadados são armazenados e versionados para reprodutibilidade. 

Saiba mais sobre as etapas envolvidas na engenharia de modelos, seguindo a carreira de Cientista de Aprendizado de Máquina com Python. Ele ajudará você a dominar as habilidades necessárias para conseguir um emprego como engenheiro de aprendizado de máquina.

4. Avaliação do modelo

do autor

Agora que finalizamos a versão do modelo, é hora de testar várias métricas. Por quê? Assim, podemos garantir que nosso modelo esteja pronto para a produção. 

Primeiro, testaremos nosso modelo em um conjunto de dados de teste e nos certificaremos de envolver especialistas no assunto para identificar o erro nas previsões. 

Também precisamos garantir que seguimos as estruturas industriais, éticas e legais para criar soluções de IA. 

Além disso, testaremos a robustez do nosso modelo em dados aleatórios e do mundo real. Certificar-se de que as inferências do modelo sejam rápidas o suficiente para gerar o valor. 

Por fim, compararemos os resultados com as métricas de sucesso planejadas e decidiremos se o modelo será implantado ou não. Nessa fase, cada processo é registrado e versionado para manter a qualidade e a reprodutibilidade. 

5. Implementação do modelo

por autor

Nessa fase, implantamos modelos de aprendizado de máquina no sistema atual. Por exemplo: introduzir a etiquetagem automática de armazéns usando o formato do produto. Implantaremos um modelo de visão computacional no sistema atual, que usará as imagens da câmera para imprimir as etiquetas.

Em geral, os modelos podem ser implantados na nuvem e no servidor local, no navegador da Web, no pacote como software e no dispositivo de borda. Depois disso, você pode usar a API, o aplicativo da Web, os plug-ins ou o painel para acessar as previsões. 

No processo de implementação, definimos o hardware de inferência. Precisamos ter certeza de que temos RAM, armazenamento e capacidade de computação suficientes para produzir resultados rápidos. Depois disso, avaliaremos o desempenho do modelo na produção usando testes A/B, garantindo a aceitação do usuário. 

A estratégia de implementação é importante. Você precisa garantir que as alterações sejam perfeitas e que tenham melhorado a experiência do usuário. Além disso, um gerente de projeto deve preparar um plano de gerenciamento de desastres. Ela deve incluir uma estratégia de fallback, monitoramento constante, detecção de anomalias e minimização de perdas. 

6. Monitoramento e manutenção

do autor

Depois de implantar o modelo na produção, precisamos monitorar e aprimorar constantemente o sistema. Estaremos monitorando as métricas do modelo, o desempenho do hardware e do software e a satisfação do cliente. 

O monitoramento é feito de forma totalmente automática, e os profissionais são notificados sobre anomalias, redução do desempenho do modelo e do sistema e avaliações negativas de clientes.

Após recebermos um alerta de desempenho reduzido, avaliaremos os problemas e tentaremos treinar o modelo com novos dados ou fazer alterações nas arquiteturas do modelo. É um processo contínuo. 

Em casos raros, precisamos renovar todo o ciclo de vida do aprendizado de máquina para aprimorar o processamento de dados e as técnicas de treinamento de modelos, atualizar novos softwares e hardwares e introduzir uma nova estrutura para integração contínua.   

Conclusão

O estudante de ciência de dados na maioria das universidades aprende apenas sobre processamento de dados, criação e treinamento de modelos e, em alguns casos, implantação. Eles não são ensinados sobre a prática padrão de garantia de qualidade industrial, técnicas de coleta e rotulagem de dados, pipelines de aprendizado de máquina, controle de versão de dados, rastreamento de experimentos de ML e monitoramento e manutenção constantes. 

do autor

Mesmo que você seja um profissional de ciência de dados, precisa saber como as cinco grandes empresas de tecnologia estão criando aplicativos sustentáveis de aprendizado de máquina para bilhões de clientes. Você também pode aprender a projetar fluxos de trabalho de aprendizado de máquina em Python para criar pipelines que resistam ao teste do tempo. Ele ensinará a você o fluxo de trabalho padrão, os processos human-in-the-loop, o gerenciamento do ciclo de vida do modelo e o fluxo de trabalho não supervisionado. 

Neste artigo, aprendemos sobre o planejamento de projetos de aprendizagem automática com base em requisitos e restrições, coleta e rotulagem de dados, engenharia de modelos, avaliação de modelos, implantação de modelos e monitoramento e manutenção. Além disso, aprendemos várias maneiras de manter a qualidade, reproduzir os resultados e depurar o processo em caso de falha.