Veel machinelearningprojecten mislukken
Steeds meer organisaties investeren fors in AI en machine learning. Dat betekent echter niet dat ze de waarde van machine learning ook daadwerkelijk verzilveren. Volgens VentureBeat haalt 87% van de datascienceprojecten de productie niet. In hun keynote op VentureBeat’s Transform 2019 stellen Deborah Leff, CTO voor Data Science en AI bij IBM, en Chris Chap, Senior Vice President Data and Analytics bij Gap, dat veel teams het juiste leiderschap en de juiste ondersteuning missen om de voorwaarden voor succes te creëren.
Leff en Chap noemen datakwaliteit, datademocratisering en organisatorische knelpunten als belangrijke hindernissen waarvoor veel organisaties niet de juiste tools of structuur hebben. Datateams die geen toegang hebben tot hoogwaardige, relevante data of niet in de juiste samenwerkingsomgeving werken, kunnen in deze projecten niet slagen, ongeacht hun competentie. Ze beschrijven ook problemen met modelverval: sommige organisaties implementeren modellen die meer dan drie jaar niet werken zonder dat iemand het doorheeft. Dit werd extra duidelijk bij de uitbraak van Covid-19, toen lockdowns totaal ander consumentengedrag afdwongen en veel retailanalyticamodellen in productie stukliepen.
Een andere belangrijke factor in ML-projecten is de groeiende inzet van open source-technologieën voor het testen en produceren van modellen. Denk aan opensourceprogrammeertalen zoals Python en de vele libraries zoals scikit-learn, pandas, PySpark en meer. Het wijzigen van de versie van een van deze componenten in de productieomgeving kan de uitkomst van het project sterk beïnvloeden of het helemaal laten falen. Het versiebeheer van deze open source-frameworks vereist een georganiseerde aanpak om op schaal effectief te zijn.
De noodzaak van MLOps
Machine Learning Model Operationalization Management (MLOps) is een manier om het levenscyclusbeheer van een machinelearningproject te standaardiseren en te stroomlijnen. In hun boek bespreekt Dataiku drie hoofdredenen waarom MLOps zo belangrijk wordt voor bedrijven: er zijn veel afhankelijkheden, organisaties missen datageletterdheid en een gemeenschappelijke datataal, en data scientists hebben geen engineeringvaardigheden.
Veel afhankelijkheden: Data weerspiegelt gedrag en processen in de echte wereld en verandert dus van nature in de tijd (bijv. koopgedrag rond toiletpapier tijdens Covid-19). Omdat data voortdurend verandert, moeten modellen in productie zich continu aanpassen, zodat organisaties het oorspronkelijke probleem blijven oplossen waarvoor ze deze modellen hebben ingezet.
Geen gemeenschappelijke datataal: In de levenscyclus van machine learning werken mensen uit diverse teams met verschillende achtergronden samen. Denk aan data scientists, data engineers, maar ook vakspecialisten. Deze groepen hebben niet dezelfde vaardigheden of datavaardigheid om op dezelfde manier over data te communiceren, terwijl hun afstemming cruciaal is om modellen in productie te brengen en hun succes te evalueren.
Data scientists hebben geen engineeringvaardigheden: Data scientists specialiseren zich doorgaans in het bouwen en evalueren van modellen, niet in het schrijven van applicaties voor productie. Naarmate organisaties meer en complexere modellen gebruiken, staan data scientists voor de keuze tussen het ontwikkelen en itereren van modellen en het onderhouden ervan in productie.
Waarom MLOps nuttig is
Machinelearningmodellen worden steeds vaker ingezet binnen bedrijfsprocessen. Deze toename in volume maakt MLOps noodzakelijk om risico’s rond deze modellen te beperken, ze verantwoordelijk te implementeren en ze op schaal te gebruiken.
Er zijn veel risico’s bij het uitrollen van een model:
-
Het model kan tijdelijk niet beschikbaar zijn. Technologie kan in de productieomgeving onbetrouwbaar zijn. Als een organisatie sterk op deze modellen leunt, kan uitval voor grote problemen zorgen.
-
Het model kan slechte resultaten geven voor een deel van de data. Het kan voor de meeste groepen goed presteren, maar voor één groep slecht. Dit moet worden gecorrigeerd of begrepen om slechte zakelijke beslissingen op basis van de modeluitvoer voor de onderpresterende groep te voorkomen. Deze slechte prestaties kunnen ook leiden tot ethische kwesties wanneer AI-modellen slechter presteren voor bepaalde beschermde variabelen (zoals ras, leeftijd, gender, enz.).
-
Het model kan in de toekomst minder eerlijk of nauwkeurig worden. Naarmate de wereld verandert, wordt de trainingsdata minder representatief voor de werkelijkheid die het model probeert te begrijpen. Dat kan tot slechte prestaties op toekomstige data leiden.
-
Datascientisttalent kan de organisatie na verloop van tijd verlaten. Het onderhoud van deze modellen vereist technische vaardigheden en capaciteit die data scientists niet altijd hebben om perfecte betrouwbaarheid te garanderen.
Deze risico’s schalen mee met de impact van het model op de organisatie en de kans dat zo’n risico optreedt. Veel van deze risico’s zijn te verkleinen door te zorgen dat de trainingsdata goed aansluit op de data in de productieomgeving en door de productieomgeving stabiel te houden, omdat modellen erg gevoelig zijn voor wijzigingen. MLOps wordt steeds noodzakelijker om risico’s te beperken nu er meer machinelearningmodellen worden ingezet voor belangrijke beslissingen.
Nu machinelearningmodellen vaker beslissingen beïnvloeden, is het steeds belangrijker om ze verantwoord te implementeren. Er zijn veel oorzaken van algoritmische bias die moeten worden vermeden wanneer beslissingen door AI-systemen worden geautomatiseerd. Als je bias niet succesvol minimaliseert, kan dat leiden tot sancties via overheidsregulering of verlies van vraag en winst voor een merk. Om AI-systemen verantwoord te implementeren, moeten modellen worden getraind op conforme en onbevooroordeelde databronnen, resultaten moeten interpreteerbaar en uitlegbaar zijn, en er moet organisatiebrede accountability zijn zodat snel te achterhalen is waar in de ontwikkelketen iets mogelijk misging om het effectief te herstellen. Voor een verantwoorde uitrol van AI-modellen is een gestroomlijnde levenscyclus van ML-modellen vereist.
Het uitrollen van steeds meer modellen vereist MLOps om succesvol te zijn. Je hebt een gestroomlijnd proces nodig voor versiebeheer, om de prestaties van een model te vergelijken met een hertraind model, en om te borgen dat een model in de tijd goed blijft presteren. Zonder deze MLOps is het erg lastig om met deze modellen duurzaam waarde en zakelijke impact te leveren.
De rollen binnen een MLOps-programma
Hoewel MLOps nog jong is en zich snel ontwikkelt, heb je sterke mensen nodig in de volgende rollen: vakspecialisten, data scientists, data engineers en software- en DevOps-engineers.
Vakspecialisten zijn businessgerichte mensen die begrijpen hoe je het succes van modellen tijdens training en na uitrol meet en continu evalueert, en die daar richting aan geven. Voor een succesvol MLOps-programma moeten zij een eenvoudig te begrijpen businessprestatiemaatstaf ontwikkelen en een feedbacklus om modellen te onderscheiden die niet aan de zakelijke verwachtingen voldoen. Daarnaast zijn risicovakspecialisten een belangrijk onderdeel van het MLOps-programma. Hun doel is het minimaliseren en helder maken van het risico dat een bedrijf loopt door ML-modellen in productie te zetten.
Cursusaanbevelingen: Understanding Data Topics
Data scientists zijn verantwoordelijk voor het bouwen van de modellen die de businessvragen van de vakspecialisten adresseren. Deze modellen moeten uitrolbaar zijn in productieomgevingen met productiedata. Data scientists moeten zorgen dat deze modellen eenvoudig en veilig in productie te zetten zijn, voorzien zijn van tests voor kwaliteitsborging en mogelijke verbeteringen, en dat alle uitgerolde modellen vanaf één plek goed zichtbaar zijn.
Cursusaanbevelingen: Machine Learning Scientist Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark
Data engineers zijn verantwoordelijk voor het bouwen van datapijplijnen voor deze modellen. Voor een succesvol MLOps-programma moeten de prestaties van alle uitgerolde modellen eenvoudig zichtbaar zijn, evenals volledige details per pijplijn om te zien waar mogelijke problemen zich voordoen.
Tot slot zijn software- en DevOps-engineers verantwoordelijk voor de succesvolle integratie van deze modellen met andere, niet-machinelearningapplicaties. Voor een succesvolle MLOps-praktijk moeten zij best practices uit data-engineering toepassen, zodat deze modellen betrouwbaar, continu en naadloos naast bestaande applicaties kunnen draaien.
Cursusaanbevelingen: Data Engineer with Python Career Track
Er zijn veel sleutelrollen die goed moeten worden benut voor een succesvol MLOps-programma. De succesvolle uitrol van honderden modellen, op schaal, vraagt ook om mensen buiten de data-experts, waaronder vakspecialisten en software-engineers, om positieve bedrijfsresultaten te realiseren. Organisaties die een succesvol MLOps-programma willen opzetten, moeten streven naar een gemeenschappelijke datataal voor alle stakeholders via upskilling en continu leren.
Lees meer over DataCamp for Business:
DataCamp for Business biedt een interactief leerplatform voor bedrijven die hun mensen willen (om)scholen in datavaardigheden. Met onderwerpen van datageletterdheid en data science tot data-engineering en machine learning vertrouwen meer dan 1.600 bedrijven op DataCamp for Business om hun talent te ontwikkelen.
