Wie reibungslos arbeitet dein Datenteam? Finde den MLOps-Reifegrad deiner Organisation heraus

MLOps, kurz für Machine Learning Operations, ist ein zentraler Bestandteil des Machine-Learning-Workflows und entwickelt sich zunehmend zu einem eigenen Fachgebiet. Es verbindet Machine Learning mit bewährten Praktiken der Softwareentwicklung, damit Modelle den Weg von der Experimentierphase bis in den produktiven Einsatz schaffen – und reduziert gleichzeitig technische Schulden in Datenteams.

Um Machine Learning im großen Maßstab erfolgreich einzusetzen, ist es entscheidend, den MLOps-Reifegrad deiner Organisation zu betrachten. Häufig verhindern Hürden wie Infrastruktur, Unternehmenskultur oder die fehlende Möglichkeit, Modelle bei Drift neu zu trainieren, eine reibungslose Bereitstellung. Das Ergebnis: Machine Learning bringt deutlich weniger Wert als erwartet – oder schlimmer, es schadet Stakeholdern, die mit deinen Modellen interagieren. So entsteht schnell Misstrauen gegenüber der Fähigkeit des Datenteams, mit Machine Learning echten Mehrwert zu liefern. Um das Potenzial von Machine Learning und KI vollständig zu entfalten, braucht es einen durchdachten MLOps-Ansatz.

MLOps sorgt außerdem dafür, dass sich Data Scientists auf das Wesentliche konzentrieren können: Daten sammeln und bereinigen, Modelle entwickeln und die passenden Methoden einsetzen. Denn MLOps erhöht die Automatisierung in jeder Phase des Machine-Learning-Lebenszyklus erheblich.

Dieser Artikel setzt grundlegende MLOps-Kenntnisse und ein Verständnis für die Relevanz des Themas voraus; mehr dazu findest du in unseren Beiträgen Getting Started with MLOps und MLOps Best Practices. 

Warum Reifegrade?

MLOps bedeutet nicht nur, neue Tools einzuführen oder Arbeitsweisen zu ändern. Die Umsetzung erfordert einen ganzheitlichen Ansatz, der Tools und Technologien nutzt, um Silos in technischen Teams aufzubrechen und Automatisierung zu steigern. Das kann eine Umstrukturierung oder personelle Veränderungen bedeuten – die Lösung ist in jedem Unternehmen anders.

Wenn du MLOps unter dem Blickwinkel der Reife betrachtest – also wie weit dein Unternehmen in der Umsetzung ist –, hilft das, den Status quo einzuordnen, konkrete Schritte zur Steigerung der Reife abzuleiten und den erwartbaren Nutzen zu verstehen. Zudem lässt sich der MLOps-Reifegrad mit der Organisation skalieren. Kleine Unternehmen mit wenigen Modellen müssen nicht denselben Reifegrad erreichen wie große, komplexe Organisationen. Allerdings brauchen auch kleinere Unternehmen mit ML als Kern ihres Wertversprechens eine vergleichsweise reife MLOps-Praxis.

Wichtig ist auch: Der Weg im Reifegradmodell verläuft nicht linear. Deine Organisation kann in manchen MLOps-Bereichen sehr weit sein, in anderen jedoch zurückliegen. Im nächsten Abschnitt skizzieren wir Microsofts MLOps-Reifegradmodell, das einen ganzheitlichen Überblick darüber gibt, wie sich MLOps in einer Organisation entwickelt. 

Microsofts MLOps-Reifegradmodell

Das Microsoft-MLOps-Reifegradmodell definiert drei zentrale Dimensionen zur Bewertung des Reifegrads:

• Menschen: Die verschiedenen Rollen im Datenteam und ihr Zusammenspiel
• Machine-Learning-Lebenszyklus: Wie der ML-Lebenszyklus von der Datenerhebung bis zur Modellerstellung und -freigabe gesteuert wird.
• Anwendung: Wie ML-Modelle getestet, implementiert, bereitgestellt und neu trainiert werden.

Darüber hinaus unterscheidet das Modell fünf Reifestufen einer MLOps-Praxis:

1. Kein MLOps: Heterogene, Black-Box-Systeme mit isolierten Datenteams sowie manuellem Training, Deployment und Testing von Modellen.
2. DevOps, aber kein MLOps: Das Datenteam trainiert Modelle, ein separates Team stellt sie bereit. Die Feedbackschleife zur Modellleistung ist intransparent, Reproduzierbarkeit eingeschränkt. 
3. Automatisiertes Training: Modelle sind reproduzierbar, Releases weniger manuell. Training läuft automatisch, Pipelines sind weit verbreitet.
4. Automatisiertes Deployment: Bereitstellungen sind automatisiert und bis zu den Ursprungsdaten zurückverfolgbar. Nach dem Deployment sind A/B-Tests möglich, Tests sind automatisiert.
5. Vollständiges MLOps: Vollautomatisierung von der Datenaufnahme bis zum Modelldeployment und Testing, mit überwachtem, zentralisiertem Analytics zur Modellperformance. Solche Systeme sind häufig maßgeschneidert.

Im Folgenden beschreiben wir jede Reifestufe, ergänzt um eine Übersichtstabelle mit den wichtigsten Punkten.

Kein MLOps

In dieser Phase gibt es kaum Automatisierung, und das Datenteam ist sowohl vom restlichen Unternehmen als auch intern isoliert. Die Tool-Nutzung ist gering; Funktionen wie Data Engineering existieren eventuell nicht oder werden von Data Scientists mitübernommen. Schon das Bereitstellen eines einzelnen Modells ist schwierig und zeitaufwendig; ein Retraining erfordert das vollständige erneute Ausführen von Analysen und Trainingsjobs. Es gibt kein Tracking nach dem Deployment, sodass Auswirkungen kaum nachvollzogen werden können.

DevOps, aber kein MLOps

Mit der Einführung von DevOps-Best Practices bleibt das Datenteam weiter isoliert, auch wenn es dedizierte Data Engineers geben mag. Cloud-Technologien können im Einsatz sein, werden aber nicht ausgeschöpft. In dieser Phase werden das Abrufen von Daten aus Datenbanken und die ML-Vorbereitung in wiederverwendbaren Pipelines automatisiert. Beim Deployment können Integrationstests vorhanden sein. Data Scientists tragen viele Hüte und sind nach dem Deployment stark ins Testen involviert.

Automatisiertes Training

In dieser Phase verbessert sich die Zusammenarbeit im Datenteam deutlich. Data Scientists arbeiten mit Engineers zusammen, um ihren Training-Code in wiederholbare Skripte zu überführen, die automatisierte Datenpipelines nutzen. Experimente werden getrackt, Versionskontrolle ist weit verbreitet. Das Deployment ist stärker automatisiert, wobei Modelldateien weiterhin an Software Engineers übergeben werden.

Automatisiertes Modelldeployment

Software Engineers arbeiten nun deutlich enger mit Data Engineers zusammen, um sowohl Modelle als auch deren Trainings- und Datenerhebungspipelines bereitzustellen. Experimente werden vollständig getrackt, und es gibt automatisierte Unit- und Integrationstests für jedes Modell-Release sowie für die Anwendung selbst. Teilweise kommt auch CI/CD zum Einsatz.

Vollständiges MLOps mit automatisiertem Retraining

In der letzten Reifestufe arbeiten Data Engineers, Data Scientists und Software Engineers Hand in Hand, um möglichst viel im Entwicklungs- und Bereitstellungsprozess zu automatisieren. Experimente sowie Training und Retraining der Modelle werden auf Basis von Produktionsmetriken automatisiert, Modelle werden automatisch released und durch eine CI/CD-Pipeline gesteuert, und Modelle werden im Anwendungscode getestet. 

Unterschiede zwischen gängigen MLOps-Modellen

Ein auffälliger Unterschied zwischen diesem MLOps-Reifegradmodell und dem von Google ist die Einordnung von CI/CD-Konzepten. Google sieht diese typischerweise auf der letzten Reifestufe, während Microsoft das Retraining als finalen Schritt betrachtet.

In der Praxis ist Retraining einer der Haupttreiber für die Einführung von MLOps und kann früher integriert werden. Allerdings gibt es dafür Voraussetzungen: weitgehende Automatisierung und belastbare Infrastruktur sowie hochwertige Daten- und Trainingspipelines. CI/CD-Konzepte werden bis in die letzte Stufe des MLOps-Reifegrads weiter verfeinert. 

Hochreife Organisationen wie Google und Microsoft setzen in der Regel maßgeschneiderte Software auf ihren eigenen Cloud-Lösungen ein und nutzen spezialisierte Tools maximal aus. Software Engineers berichten oft, dass Technologie in diesen Unternehmen „einfach funktioniert“ – mit reibungslosen Modelldeployments und effizientem Datenzugriff. Das ist nötig, weil dort Hunderte Modelle für ein breites Produktspektrum in Produktion laufen.

So steigerst du deinen MLOps-Reifegrad

MLOps gehört weiterhin zu den kritischsten Bereichen der Data Science, denn viele Organisationen kämpfen noch immer damit, Modelle in Produktion zu bringen. Reifegradmodelle bieten einen hervorragenden Rahmen, um die aktuelle Position von Datenteams in ihren ML-Fähigkeiten zu verstehen und den Weg nach vorn zu planen. 

Mehr zu MLOps findest du hier:

• [DataFramed Podcast] Operationalizing Machine Learning with MLOps
• [Webinar] A Practical Guide to MLOps