Vergangenheit, Gegenwart und Zukunft von MLOps

Viele Machine-Learning-Projekte scheitern

Viele Unternehmen investieren stark in KI und Machine Learning. Das bedeutet jedoch nicht, dass sie den Wert von Machine Learning auch wirklich ausschöpfen. Laut VentureBeat schaffen es 87% der Data-Science-Projekte nie bis in die Produktion. In ihrer Keynote bei VentureBeat’s Transform 2019 argumentieren Deborah Leff, CTO für Data Science und KI bei IBM, und Chris Chap, Senior Vice President Data and Analytics bei Gap, dass vielen Teams die richtige Führung und Unterstützung fehlen, um die Voraussetzungen für erfolgreiche Projekte zu schaffen.

Leff und Chap nennen Datenqualität, Datendemokratisierung und organisatorische Abläufe als zentrale Hürden, für die viele Unternehmen weder die richtigen Tools noch die passende Struktur haben. Datenteams, die keinen Zugang zu hochwertigen, relevanten Daten haben oder nicht im passenden kollaborativen Umfeld arbeiten, können solche Projekte unabhängig von ihrer Kompetenz nicht erfolgreich umsetzen. Sie beschreiben außerdem das Problem des Modelldrift: Manche Unternehmen setzen Modelle ein, die unbemerkt über Jahre nicht mehr korrekt funktionieren. Das wurde besonders mit dem Beginn von Covid-19 deutlich, als Lockdowns das Kundenverhalten komplett veränderten und viele Retail-Analytics-Modelle in Produktion versagten.

Ein weiterer wichtiger Aspekt in ML-Projekten ist die zunehmende Nutzung von Open-Source-Technologien für Tests und den produktiven Einsatz von Modellen. Dazu gehören Open-Source-Programmiersprachen wie Python und seine Bibliotheken wie scikit-learn, pandas, PySpark und mehr. Schon ein Versionswechsel einer dieser Komponenten in der Produktionsumgebung kann den Projekterfolg massiv beeinflussen oder das System komplett lahmlegen. Das Management dieser Versionen und Frameworks erfordert ein organisiertes System, um in der Breite zuverlässig zu funktionieren.

Warum es MLOps braucht

Machine Learning Model Operationalization Management (MLOps) standardisiert und verschlankt das Lifecycle-Management von Machine-Learning-Projekten. In ihrem Buch erläutert Dataiku drei zentrale Gründe, warum MLOps für Unternehmen immer wichtiger wird: Es gibt viele Abhängigkeiten, es fehlt an Datenkompetenz und einer gemeinsamen Datensprache, und Data Scientists bringen oft nicht die nötigen Engineering-Skills mit.

Viele Abhängigkeiten: Daten spiegeln reale Verhaltensweisen und Prozesse wider und verändern sich naturgemäß über die Zeit (z. B. Kaufverhalten für Toilettenpapier während Covid-19). Wenn sich Daten verändern – was ständig passiert –, müssen Modelle in Produktion kontinuierlich angepasst werden, damit Unternehmen weiterhin das ursprüngliche Problem lösen, für das die Modelle gebaut wurden.

Keine gemeinsame Datensprache: Im Machine-Learning-Lebenszyklus arbeiten Menschen aus sehr unterschiedlichen Teams zusammen. Dazu gehören Data Scientists, Data Engineers, aber auch fachliche Expert:innen. Diese Gruppen teilen weder die gleichen Kompetenzen noch die gleiche Datenflüssigkeit, um auf die gleiche Weise über Daten zu sprechen. Ihre Abstimmung ist jedoch entscheidend, um Modelle produktiv auszurollen und ihren Erfolg zu bewerten.

Data Scientists ohne Engineering-Skills: Data Scientists spezialisieren sich in der Regel auf den Aufbau und die Bewertung von Modellen – nicht darauf, produktionsreife Anwendungen zu schreiben. Mit der wachsenden Anzahl und Komplexität von Modellen stehen sie vor dem Trade-off, Modelle weiterzuentwickeln oder sie in Produktion zu betreiben und zu warten.

Wofür MLOps hilfreich ist

Machine-Learning-Modelle werden zunehmend in Geschäftsprozesse eingebettet. Dieses Wachstum erfordert MLOps, um Risiken zu reduzieren, Modelle verantwortungsvoll auszurollen und sie skalierbar zu betreiben.

Mit dem Einsatz von Modellen gehen diverse Risiken einher:

\n
• \n

  Das Modell kann zeitweise ausfallen. Technologien können in Produktionsumgebungen unzuverlässig sein. Wenn sich ein Unternehmen stark auf Modelle stützt, entstehen erhebliche Probleme, sobald die Technologie nicht verfügbar ist.

  \n
\n
• \n

  Das Modell kann für bestimmte Gruppen schlechte Ergebnisse liefern. Es kann für die meisten Segmente sehr gut funktionieren, aber für eine Gruppe schlechte Vorhersagen treffen. Das muss behoben oder zumindest verstanden werden, um falsche Geschäftsentscheidungen auf Basis der Modelloutputs für diese Gruppe zu vermeiden. Solche Schwächen können auch ethische Fragen aufwerfen, wenn KI-Modelle bei geschützten Merkmalen (z. B. Ethnie, Alter, Geschlecht) schlechter abschneiden.

  \n
\n
• \n

  Fairness oder Genauigkeit können künftig abnehmen. Wenn sich die Welt verändert, passen Trainingsdaten immer weniger zur Realität, die das Modell abbilden soll. Das führt zu schwächerer Performance auf zukünftigen Daten.

  \n
\n
• \n

  Data-Science-Talente können das Unternehmen verlassen. Für die Wartung der Modelle sind technische Kompetenzen und Kapazitäten nötig, die Data Scientists nicht immer im erforderlichen Umfang bereitstellen können.

  \n
\n

Diese Risiken skalieren je nach Einfluss des Modells auf das Unternehmen und der Eintrittswahrscheinlichkeit. Vieles lässt sich abfedern, wenn die Trainingsdaten die spätere Produktionsrealität gut abbilden und die Produktionsumgebung stabil bleibt, denn Modelle reagieren empfindlich auf Änderungen. MLOps wird daher immer wichtiger, um die wachsenden Risiken einer zunehmenden Anzahl produktiver Machine-Learning-Modelle zu managen.

Je häufiger Modelle Entscheidungen unterstützen, desto wichtiger ist ihre verantwortungsvolle Nutzung. Es gibt zahlreiche Ursachen für algorithmische Verzerrungen, die bei automatisierten Entscheidungen durch KI vermieden werden müssen. Gelingt das nicht, drohen regulatorische Konsequenzen oder Nachfrage- und Gewinnverluste für Marken. Für verantwortungsvolle KI benötigen Modelle konforme, unverzerrte Datenquellen, nachvollziehbare und erklärbare Ergebnisse sowie klare Verantwortlichkeiten im gesamten Unternehmen, damit sich mögliche Fehler entlang der Entwicklungskette schnell finden und beheben lassen. Dafür braucht es einen durchgängigen, schlanken ML-Modelllebenszyklus.

Mit der wachsenden Anzahl an Modellen wird MLOps zum Erfolgsfaktor. Versionierung, der Vergleich von Model-Performance vor und nach dem Retraining sowie die Sicherstellung stabiler Leistung über die Zeit benötigen klare, effiziente Prozesse. Ohne MLOps ist es sehr schwer, mit Modellen nachhaltig Wert und Business-Impact zu erzielen.

Rollen in einem MLOps-Programm

Auch wenn MLOps noch jung ist und sich schnell weiterentwickelt, braucht es starke Personen in folgenden Rollen: Fachexpert:innen, Data Scientists, Data Engineers sowie Software- und DevOps-Engineers.

Fachexpert:innen sind businessnah und legen fest, wie der Erfolg von Modellen während des Trainings und nach dem Go-Live gemessen und kontinuierlich bewertet wird. Für ein erfolgreiches MLOps-Programm müssen sie verständliche Business-KPIs definieren und einen Feedback-Loop etablieren, um leistungsschwache Modelle gegenüber den Erwartungen zu erkennen. Zusätzlich sind Risikofachexpert:innen ein wichtiger Bestandteil des Programms. Ihr Ziel ist es, die Risiken zu minimieren und transparent zu machen, die durch den produktiven Einsatz von ML-Modellen entstehen.

Kurs-Empfehlungen: Understanding Data Topics

Data Scientists bauen die Modelle, die die von den Fachexpert:innen formulierten Geschäftsfragen beantworten. Diese Modelle sollten produktiv mit Echtdaten einsetzbar sein. Data Scientists müssen sicherstellen, dass ihre Modelle einfach und sicher in Produktion deployt werden können, über Tests für Qualitätssicherung und mögliche Verbesserungen verfügen und zentral sichtbar sind.

Kurs-Empfehlungen: Machine Learning Scientists Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark

Data Engineers sind für die Datenpipelines der Modelle verantwortlich. In einem funktionierenden MLOps-Programm müssen die Performance aller produktiven Modelle sowie die Details jeder Pipeline transparent einsehbar sein, um adressierbare Probleme schnell zu erkennen.

Schließlich unterstützen Software- und DevOps-Engineers die reibungslose Integration der Modelle in andere, nicht-ML-basierte Anwendungen. Für eine erfolgreiche MLOps-Praxis bringen sie Best Practices aus dem Data Engineering ein, damit Modelle zuverlässig, kontinuierlich und nahtlos parallel zu bestehenden Anwendungen laufen.

Kurs-Empfehlungen: Data Engineer with Python Career Track

Für ein erfolgreiches MLOps-Programm müssen viele Schlüsselrollen zusammenspielen. Der produktive Rollout von hunderten Modellen in der Breite gelingt nur, wenn neben Datenexpert:innen auch Fachexpert:innen und Softwareingenieur:innen beteiligt sind, um messbare Geschäftsergebnisse zu erzielen. Organisationen, die MLOps erfolgreich etablieren wollen, sollten durch Weiterbildung und kontinuierliches Lernen eine gemeinsame Datensprache über alle Stakeholder hinweg aufbauen.

Erfahre mehr über DataCamp for Business:

DataCamp for Business ist eine interaktive Lernplattform für Unternehmen, die ihre Mitarbeitenden in Datenkompetenzen weiterbilden möchten. Von Datenkompetenz über Data Science bis hin zu Data Engineering und Machine Learning – mehr als 1.600 Unternehmen setzen auf DataCamp for Business, um ihr Talent weiterzubilden.