De nombreux projets de machine learning échouent
Beaucoup d’organisations investissent massivement dans l’IA et le machine learning. Cela ne signifie pas pour autant qu’elles en tirent réellement de la valeur. D’après VentureBeat, 87 % des projets de data science n’atteignent jamais la production. Lors de leur keynote à Transform 2019 de VentureBeat, Deborah Leff, CTO Data Science and AI chez IBM, et Chris Chap, Senior Vice President Data and Analytics chez Gap, expliquent que de nombreuses équipes manquent du leadership et de l’accompagnement nécessaires pour créer les conditions de la réussite.
Leff et Chap citent la qualité des données, leur démocratisation et des problèmes d’organisation comme des obstacles majeurs que beaucoup d’entreprises ne sont pas outillées pour surmonter. Des équipes data privées d’un accès à des données pertinentes et de qualité ou d’un environnement de travail collaboratif adapté ne peuvent pas réussir, quelles que soient leurs compétences. Ils évoquent aussi le phénomène de dérive des modèles : certaines organisations laissent des modèles dysfonctionner pendant plus de trois ans sans s’en apercevoir. Cela est apparu clairement avec l’arrivée de la Covid-19, lorsque les confinements ont bouleversé les comportements des consommateurs et provoqué la casse de nombreux modèles d’analyse retail en production.
Un autre point clé des projets de ML est la montée en puissance des technologies open source pour tester et mettre en production les modèles. Citons notamment les langages open source comme Python et son écosystème de bibliothèques (Scikit-learn, pandas, PySpark, etc.). Modifier la version de l’un de ces composants en production peut fortement impacter un projet, voire le faire cesser de fonctionner. Gérer ces versions et ces frameworks open source exige une organisation rigoureuse pour être efficace à l’échelle.
Le besoin de MLOps
La gestion de l’industrialisation des modèles de machine learning (MLOps) vise à standardiser et fluidifier la gestion du cycle de vie des projets de machine learning. Dans leur ouvrage, Dataiku met en avant trois facteurs clés expliquant l’importance croissante du MLOps pour les entreprises : la multiplication des dépendances, l’absence de culture des données et de langage commun, et le fait que les data scientists n’ont pas toujours les compétences d’ingénierie logicielle.
De nombreuses dépendances : Les données reflètent des comportements et des processus réels, et évoluent naturellement dans le temps (ex. : habitudes d’achat de papier toilette pendant la Covid-19). À mesure que les données changent en continu, les modèles en production doivent s’y adapter pour que l’organisation continue de résoudre le problème initial visé par ces modèles.
Pas de langage commun autour des données : Le cycle de vie du machine learning mobilise des équipes variées aux expertises différentes : data scientists, data engineers, mais aussi experts métier. Ces groupes ne partagent ni les mêmes compétences ni la même aisance avec la donnée, alors que leur alignement est essentiel pour déployer des modèles en production et évaluer leur succès.
Les data scientists n’ont pas toujours des compétences d’ingénierie : Les data scientists excellent dans la construction et l’évaluation de modèles, pas nécessairement dans le développement d’applications déployables. À mesure que les organisations s’appuient sur davantage de modèles, et plus complexes, ils doivent arbitrer entre faire évoluer les modèles et les maintenir en production.
Pourquoi le MLOps est utile
Les modèles de machine learning sont de plus en plus intégrés aux processus métier. Cette montée en volume impose le recours au MLOps pour limiter les risques liés à ces modèles, les déployer de manière responsable et les utiliser à l’échelle.
Le déploiement d’un modèle comporte de nombreux risques :
-
Le modèle peut être indisponible pendant un certain temps. La technologie peut s’avérer instable en production. Si l’organisation dépend fortement de ces modèles, leur indisponibilité peut créer de sérieuses difficultés.
-
Le modèle peut donner de mauvais résultats pour un sous-groupe. Il peut très bien performer pour la majorité mais échouer pour un groupe spécifique. Il faut corriger ou comprendre ce biais pour éviter de mauvaises décisions métier. Cette sous-performance peut aussi soulever des enjeux éthiques lorsque des variables protégées (origine, âge, genre, etc.) sont concernées.
-
Le modèle peut devenir moins juste ou moins précis à l’avenir. Le monde évoluant, les données d’entraînement deviennent moins représentatives de la réalité. La performance se dégrade alors sur les données futures.
-
Les talents data peuvent quitter l’entreprise. La maintenance des modèles exige des compétences techniques et du temps que les data scientists n’ont pas toujours pour garantir une fiabilité parfaite.
Ces risques s’amplifient selon l’impact du modèle sur l’organisation et la probabilité de survenue. Beaucoup peuvent être réduits en s’assurant que les données d’entraînement reflètent bien celles de production et que l’environnement de production reste stable, les modèles étant très sensibles aux changements. Le MLOps devient indispensable pour atténuer les risques liés au nombre croissant de modèles de machine learning déployés pour des décisions importantes.
À mesure que les modèles de machine learning sont utilisés pour la prise de décision, il devient crucial de veiller à leur déploiement responsable. Les causes de biais algorithmique sont nombreuses et doivent être évitées quand les décisions sont automatisées par des systèmes d’IA. Ne pas réduire ces biais peut entraîner des sanctions via la réglementation ou une baisse de la demande et des profits pour la marque. Pour un déploiement responsable, les modèles doivent être entraînés sur des données conformes et non biaisées, produire des résultats interprétables et explicables, et s’inscrire dans un dispositif d’accountability à l’échelle de l’organisation, permettant d’identifier rapidement, dans la chaîne de développement, l’endroit où un problème a pu se produire afin de le corriger efficacement. Mettre en place ce déploiement responsable suppose un cycle de vie des modèles de ML parfaitement rationalisé.
Le déploiement d’un nombre croissant de modèles nécessite le MLOps pour réussir. Il faut un processus fluide pour suivre le versioning, comparer les performances d’un modèle avec celles d’un modèle réentraîné et garantir la bonne tenue du modèle dans le temps. Sans MLOps, il devient très difficile de créer de la valeur et de l’impact business avec ces modèles.
Les rôles au sein d’un programme MLOps
Bien que le MLOps soit encore jeune et évolue rapidement, il est essentiel de s’appuyer sur des profils solides au sein de l’organisation : experts métier, data scientists, data engineers, et ingénieurs logiciels et DevOps.
Les experts métier sont des profils orientés business qui définissent comment mesurer et évaluer en continu la réussite des modèles, pendant l’entraînement et après le déploiement. Pour réussir, ils doivent établir des indicateurs métier clairs et une boucle de feedback pour repérer les modèles qui ne répondent pas aux attentes. Par ailleurs, les experts métier du risque jouent un rôle clé en MLOps : leur mission est de réduire et clarifier les risques liés au déploiement de modèles de ML en production.
Recommandations de parcours : Understanding Data Topics
Les data scientists construisent les modèles répondant aux questions business formulées par les experts métier. Ces modèles doivent être déployables en production avec des données de production. Les data scientists doivent veiller à un déploiement sûr et aisé, prévoir des tests d’assurance qualité et d’amélioration potentielle, et offrir une vision centralisée et simple de tous les modèles déployés.
Recommandations de parcours : Machine Learning Scientist Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark
Les data engineers conçoivent les pipelines de données des modèles. Pour un programme MLOps efficace, la performance de tous les modèles déployés doit être facilement visible, avec une traçabilité détaillée de chaque pipeline afin d’identifier les problèmes adressables.
Enfin, les ingénieurs logiciels et DevOps assurent l’intégration réussie des modèles avec les autres applications non ML. Pour une pratique MLOps robuste, ils appliquent les bonnes pratiques d’ingénierie des données afin que les modèles fonctionnent en parallèle des applications existantes de manière fiable, continue et transparente.
Recommandations de parcours : Data Engineer with Python Career Track
Un programme MLOps réussi repose sur de nombreux rôles complémentaires. Le déploiement, à l’échelle, de centaines de modèles exige la mobilisation de profils au-delà des experts data, notamment des experts métier et des ingénieurs logiciels, pour générer des résultats business tangibles. Les organisations qui visent l’excellence en MLOps doivent instaurer un langage commun autour des données entre toutes les parties prenantes, grâce à la montée en compétences et à l’apprentissage continu.
En savoir plus sur DataCamp for Business :
DataCamp for Business propose une plateforme d’apprentissage interactive pour les entreprises qui doivent faire monter en compétences et requalifier leurs équipes sur les métiers de la donnée. De la culture des données, à la data science, jusqu’au data engineering et au machine learning, plus de 1 600 entreprises font confiance à DataCamp for Business pour développer les talents de leurs collaborateurs.