Les opérations de machine learning (MLOps) sont désormais au cœur des priorités de nombreux responsables et praticiens de la donnée, avec un intérêt en très forte hausse ces deux dernières années. Cette montée en puissance s’explique par un enjeu majeur : pour beaucoup d’organisations, les investissements en machine learning et en IA ne délivrent pas le retour sur investissement attendu.
En 2019, Venturebeat rapportait que seuls 13 % des modèles de machine learning aboutissaient en production. Un récent sondage de KDNuggets laisse entrevoir une amélioration en 2022, mais 35 % des répondants citaient encore des obstacles techniques empêchant le déploiement de leurs modèles.
Le rapport State of AI 2021 de McKinsey montre que l’adoption de l’IA est passée à 56 %, contre 50 % en 2020. À mesure que les organisations intensifient leurs investissements dans leurs systèmes et talents en machine learning, la nécessité de déployer les modèles efficacement et d’en extraire de la valeur devient plus évidente que jamais. C’est là que les MLOps entrent en jeu. Les organisations qui adoptent les MLOps avec succès constatent de meilleurs retours sur investissement. En appliquant les MLOps, les équipes data réduisent le temps nécessaire pour prototyper, développer et déployer des systèmes de machine learning.
L’objectif des MLOps est d’allier technologie et transformation organisationnelle pour appliquer les principes de l’ingénierie logicielle au machine learning. En considérant le machine learning comme une discipline d’ingénierie, on se donne une voie plus directe vers la production et une meilleure longévité des modèles en production.
Cet article définit ce que sont les MLOps, explique pourquoi ils sont essentiels et présente cinq principes directeurs qui caractérisent aujourd’hui une pratique MLOps performante.
Qu’est-ce que les MLOps ?
Les MLOps se définissent comme « un ensemble d’outils, de pratiques, de techniques et de culture qui garantissent un déploiement fiable et évolutif des systèmes de machine learning ». Les MLOps empruntent aux meilleures pratiques de l’ingénierie logicielle : automatisation et tests automatisés, gestion de versions, principes agiles et gouvernance des données pour réduire la dette technique.
La dette technique (ou dette de code) vient directement du monde du logiciel. Elle décrit la « dette » accumulée lors de développements rapides où des processus comme l’automatisation, la documentation ou les tests unitaires seront refactorisés plus tard. En bref, c’est la dette que les équipes de développement reportent dans le futur faute d’appliquer immédiatement les bonnes pratiques.
Les systèmes de machine learning peuvent accumuler des niveaux élevés de dette technique, car les modèles produits par les data scientists ne sont qu’une petite pièce d’un puzzle bien plus vaste : infrastructure, surveillance des modèles, gestion des features, et bien d’autres éléments.
Ce qui rend les MLOps uniques
Les meilleures pratiques d’ingénierie logicielle visant à réduire la dette technique sont souvent regroupées sous le terme DevOps. Le DevOps combine les activités de développement (écriture de code, versioning, tests) avec les opérations IT (release, déploiement, monitoring).
Deux principes clés du DevOps sont l’intégration continue et la livraison continue (CI/CD).
- Intégration continue (CI) : les nouvelles modifications de code sont régulièrement compilées, testées et fusionnées dans un référentiel partagé.
- Livraison continue (CD) : toute modification d’une application est automatiquement testée et chargée dans un référentiel à partir duquel elle peut être déployée en production.
Industrialiser et faire passer à l’échelle des systèmes de machine learning ajoute des complexités. L’ingénierie logicielle conçoit majoritairement des solutions bien définies avec des entrées et sorties précises. À l’inverse, les systèmes de machine learning s’appuient sur des données réelles modélisées via des méthodes statistiques. Cela introduit des considérations supplémentaires, notamment :
- Données : le machine learning ingère des données d’entrée très complexes. Elles doivent être transformées pour que les modèles puissent produire des prédictions pertinentes.
- Modélisation : développer des systèmes de machine learning implique de l’expérimentation. Pour expérimenter efficacement, il est essentiel de tracer les évolutions des données et les paramètres de chaque essai.
- Tests : au-delà des tests unitaires, où de petites composantes d’une application sont testées indépendamment, les systèmes de machine learning exigent des tests plus complexes sur les données comme sur les performances des modèles. Par exemple, vérifier que les nouvelles données d’entrée partagent des propriétés statistiques similaires à celles des données d’entraînement.
- Dérive de modèle : les performances d’un modèle de machine learning se dégradent inévitablement avec le temps. Les principales causes sont doubles : la dérive de concept, lorsque les propriétés de la variable cible évoluent. Un exemple frappant a été celui des confinements liés au COVID-19, où de nombreux distributeurs ont vu une hausse inattendue des ventes d’articles comme le papier toilette. Comment un modèle entraîné sur des données « normales » gèrerait-il cela ? Et la dérive des données, lorsque les propriétés des variables explicatives changent pour diverses raisons, notamment la saisonnalité, l’évolution des comportements clients ou la sortie de nouveaux produits.
- Entraînement continu : pour lutter contre la dérive, les modèles doivent être réentraînés dès que de nouvelles données sont disponibles.
- Gestion des pipelines : les données doivent traverser plusieurs étapes de transformation avant d’être fournies au modèle, et être testées régulièrement avant et après l’entraînement. Les pipelines orchestrent ces étapes pour un suivi et une maintenance efficaces.
5 principes pour réussir vos MLOps
Adopter les MLOps ne se résume pas à choisir un nouveau fournisseur SaaS ou à démarrer quelques instances cloud. Cela exige une planification rigoureuse et une démarche cohérente entre équipes et départements. Voici cinq principes pour une mise en œuvre MLOps réussie :
Évaluez votre maturité MLOps
Les grands fournisseurs cloud comme Microsoft et Google appréhendent l’adoption des MLOps au travers d’un modèle de maturité. Car les MLOps impliquent un changement organisationnel et des modes de travail modernes. Cela ne se bâtit qu’au fil du temps, à mesure que systèmes et processus gagnent en maturité.
Réussir l’adoption des MLOps suppose d’évaluer honnêtement l’avancement de l’organisation sur l’échelle de maturité MLOps. Une fois ce niveau établi de manière fiable, l’organisation peut identifier les leviers à activer pour progresser : faire évoluer les processus (par exemple, appliquer le DevOps au déploiement) ou recruter de nouveaux profils.
Comprendre comment les niveaux de maturité aident à prioriser les initiatives MLOps est également clé. Par exemple, un feature store est un référentiel unique qui centralise les features couramment utilisées pour le machine learning. C’est utile pour des organisations déjà mûres sur la donnée, où plusieurs équipes hétérogènes doivent partager des features cohérentes et éviter les doublons. Si une organisation ne compte que quelques data scientists, un feature store n’est sans doute pas prioritaire.
En s’appuyant sur un modèle de maturité MLOps, les organisations font évoluer conjointement équipes, processus et pile technologique. Cela favorise l’itération et permet de tester les outils avant leur généralisation.
Automatisez vos processus
L’automatisation va de pair avec la notion de modèle de maturité. Plus l’automatisation est avancée et étendue, plus elle facilite la montée en maturité MLOps. Sans MLOps, de nombreuses tâches des systèmes de machine learning sont exécutées manuellement : nettoyage et transformation des données, feature engineering, séparation entraînement/test, écriture du code d’entraînement des modèles, etc. Réaliser ces étapes à la main accroît le risque d’erreur et fait perdre un temps précieux à l’expérimentation.
Un bon exemple d’automatisation est le réentraînement continu : les équipes data mettent en place des pipelines pour l’ingestion, la validation, l’expérimentation, le feature engineering, les tests de modèles, et plus encore. Souvent considérée comme une étape précoce de l’automatisation en machine learning, cette pratique aide à éviter la dérive des modèles.
Les pipelines en MLOps ne diffèrent pas de ceux de l’ingénierie des données ou du DevOps. Un pipeline de machine learning est une suite d’étapes orchestrant les flux de données en entrée et en sortie d’un modèle.
Pour illustrer la puissance des pipelines, imaginons un cas où les data scientists ont extrait une partie des données manuellement, mais ont automatisé la validation, la préparation des données, l’entraînement et l’évaluation des modèles. Ce pipeline pourra ensuite être réutilisé lors du passage en production pour générer des prédictions sur de nouvelles données.
Faites de l’expérimentation et du suivi une priorité
L’expérimentation est au cœur du cycle de vie du machine learning. Les data scientists testent jeux de données, features, modèles, hyperparamètres, etc. Les « leviers » à actionner sont nombreux. Pour trouver la bonne combinaison, tracer chaque itération est indispensable.
Dans une expérimentation traditionnelle via notebooks, les paramètres et détails des modèles sont suivis manuellement. Cela peut entraîner des incohérences de processus et augmenter le risque d’erreur humaine. L’exécution manuelle est aussi chronophage et freine l’expérimentation rapide.
Si git est largement utilisé pour versionner le code, il est difficile d’appliquer le versioning aux différentes expériences menées par les data scientists. C’est là que les équipes data peuvent utiliser des model registries, des espaces où stocker les modèles, suivre leurs performances et leurs évolutions.
Le suivi des expériences permet de revenir en arrière si nécessaire et d’améliorer l’auditabilité globale des modèles. Il réduit l’effort manuel pour les data scientists et libère du temps pour l’expérimentation. Au final, la reproductibilité des résultats s’en trouve fortement améliorée grâce au versioning et au tracking.
Allez au‑delà du CI/CD
Nous avons abordé le CI/CD dans le contexte du DevOps, mais ce sont aussi des composantes essentielles des MLOps à haut niveau de maturité.
- Appliqué aux MLOps, le CI étend les tests et validations automatisés du code aux données et aux modèles.
- De même, les concepts de CD s’appliquent aux pipelines et aux modèles lors de leurs réentraînements.
On peut également considérer d’autres notions « continues » :
- Entraînement continu (CT) : nous l’avons vu, une automatisation accrue permet de réentraîner un modèle dès que de nouvelles données arrivent.
- Surveillance continue (CM) : une baisse de performance est une autre raison de réentraîner un modèle. Il faut aussi vérifier que les modèles créent toujours de la valeur au regard des indicateurs métier.
Combiner ces approches continues avec des tests automatisés permet d’expérimenter rapidement tout en limitant les erreurs à l’échelle. La mise en œuvre réussie de ces quatre piliers « continus » peut, en outre, réduire drastiquement le temps de déploiement.
Reprenons le pipeline évoqué dans la section sur l’automatisation. En y appliquant les concepts CI/CD, le code source est stocké dans un dépôt. Conformément au CI, une batterie de tests unitaires automatisés s’applique à ce dépôt : tests sur les features créées, absence de valeurs manquantes, détection du surapprentissage, etc. Les composants du pipeline peuvent ensuite être validés et déployés, en s’assurant de leur compatibilité et de la couverture des besoins de calcul. Ce niveau d’automatisation accélère les nouveaux déploiements et aide les organisations à réagir rapidement aux facteurs externes et aux changements.
Accompagnez le changement organisationnel
Le changement organisationnel doit accompagner la montée en maturité MLOps. Cela implique des évolutions de processus favorisant la collaboration inter‑équipes et la fin des silos. Dans certains cas, une réorganisation des équipes est nécessaire pour soutenir une progression cohérente en MLOps. Le modèle de maturité de Microsoft décrit comment les comportements doivent évoluer avec la maturité.
Dans des environnements peu matures, data scientists, data engineers et développeurs logiciels travaillent souvent en silos. À mesure que la maturité augmente, chacun doit collaborer. Data scientists et data engineers doivent unir leurs efforts pour transformer le code d’expérimentation en pipelines reproductibles, tandis que développeurs et data engineers doivent intégrer automatiquement les modèles au code applicatif.
Cette collaboration accrue réduit la dépendance du déploiement à une seule personne. Elle installe un véritable travail d’équipe, diminuant les tâches manuelles coûteuses. Ces expertises combinées permettent d’atteindre le niveau d’automatisation requis par des MLOps matures. Collaboration et automatisation sont essentielles pour réduire la dette technique.
La montée en puissance des MLOps n’en est qu’à ses débuts
Les MLOps sont nés du besoin de déployer des modèles de ML rapidement et efficacement. Avec l’essor des investissements en machine learning, de plus en plus de modèles sont développés, ce qui intensifie la demande en MLOps. Bien que les MLOps en soient encore à un stade précoce, on peut affirmer que les organisations convergent vers un ensemble de principes capables de libérer le ROI du machine learning.
Si vous souhaitez aller plus loin sur les MLOps, consultez aussi :
- A practical guide to MLOps by Noah Gift
- Operationalizing Machine Learning with MLOps with Alessya Visnjic
- From Predictions to Decisions with Dan Becker
- Our Guide to MLOps Certifications