Il passato, il presente e il futuro di MLOps

Molti progetti di Machine Learning falliscono

Molte organizzazioni stanno investendo molto in AI e machine learning. Tuttavia, ciò non significa che stiano ricavando valore dal machine learning al loro interno. Secondo VentureBeat, l’87% dei progetti di data science non arriva in produzione. Nel loro keynote al Transform 2019 di VentureBeat, Deborah Leff, CTO per Data Science e AI in IBM, e Chris Chap, Senior Vice President of Data and Analytics in Gap, sostengono che molti team non hanno la leadership e il supporto adeguati per creare le condizioni che portano al successo di questi progetti.

Leff e Chap indicano la qualità dei dati, la democratizzazione dei dati e i problemi di flusso organizzativo come ostacoli chiave che molte organizzazioni non hanno gli strumenti o la struttura giusti per superare. I team dati che non possono accedere a dati di alta qualità e pertinenti o lavorare nel giusto ambiente collaborativo non riescono ad avere successo in questi progetti, indipendentemente dalla loro competenza. Descrivono anche problemi di degrado del modello, per cui alcune organizzazioni implementano modelli che smettono di funzionare senza accorgersene per oltre tre anni. Ciò è stato particolarmente evidente con l’arrivo del Covid-19, quando i lockdown hanno imposto ai consumatori comportamenti completamente diversi e molti modelli di analisi retail si sono rotti in produzione.

Un’altra considerazione importante nei progetti di ML è l’aumento dell’uso di tecnologie open source per testare e mettere in produzione i modelli. Tra queste, i linguaggi di programmazione open source come Python e la sua schiera di librerie come scikit-learn, pandas, PySpark e altro. Cambiare la versione di una di queste componenti nell’ambiente di produzione può influenzare fortemente il successo del progetto o farlo smettere di funzionare del tutto. Gestire versioni e framework open source richiede un sistema organizzato per essere efficaci su larga scala.

La necessità di MLOps

Machine Learning Model Operationalization Management (MLOps) è un modo per standardizzare e rendere più snella la gestione del ciclo di vita di un progetto di machine learning. Nel loro libro, Dataiku illustra tre fattori chiave per cui MLOps sta diventando così importante per le imprese: ci sono molte dipendenze, alle organizzazioni manca alfabetizzazione e un linguaggio comune sui dati, e i data scientist non hanno competenze ingegneristiche.

Moltissime dipendenze: I dati riflettono comportamenti e processi reali e, per natura, cambiano nel tempo (per esempio, le abitudini di acquisto della carta igienica durante il Covid-19). Man mano che i dati cambiano, cosa che accade continuamente, i modelli in produzione devono adattarsi costantemente affinché le organizzazioni continuino a risolvere il problema originale che intendevano affrontare con questi modelli.

Nessun linguaggio comune sui dati: Nel ciclo di vita del machine learning, i progetti coinvolgono persone di team diversi e con background differenti. Questo include data scientist, data engineer, ma anche esperti di dominio funzionale. Questi gruppi non condividono le stesse competenze o la stessa familiarità con i dati per comunicare nello stesso modo, e il loro allineamento è cruciale per mettere in produzione i modelli e valutarne il successo.

I data scientist non hanno competenze ingegneristiche: I data scientist in genere si specializzano nel costruire i modelli e valutarli, non nello scrivere applicazioni da distribuire. Man mano che le organizzazioni si affidano a più modelli e a modelli più complessi, i data scientist si trovano a dover bilanciare lo sviluppo e l’iterazione dei modelli con la loro manutenzione in produzione.

Perché MLOps è utile

I modelli di machine learning sono sempre più integrati nei processi aziendali. Questo aumento di volume rende necessario l’uso di MLOps per mitigare i rischi associati a questi modelli, distribuirli in modo responsabile e usarli su larga scala.

Ci sono molti rischi legati alla messa in produzione di un modello:

• Il modello può essere non disponibile per un certo periodo. La tecnologia può essere potenzialmente inaffidabile in ambiente di produzione. Se un’organizzazione dipende molto da questi modelli, può affrontare sfide significative quando la tecnologia diventa non disponibile.

• Il modello può restituire risultati scarsi per un campione. Può funzionare molto bene per la maggior parte dei gruppi, ma dare risultati scadenti per uno di essi. Questo va corretto o compreso per evitare di prendere decisioni aziendali sbagliate basate sulle uscite del modello per il gruppo sottoperformante. Questa scarsa performance può anche portare a problemi etici legati a modelli di AI che rendono meno per alcune variabili protette (come razza, età, genere, ecc.).

• In futuro il modello può diventare meno equo o accurato. Con il cambiare del mondo, i dati usati per l’addestramento diventano meno rappresentativi della realtà che il modello cerca di comprendere. Questo può portare a prestazioni peggiori sui dati futuri.

• I talenti di data science possono lasciare l’organizzazione nel tempo. La manutenzione di questi modelli richiede competenze tecniche e disponibilità che i data scientist potrebbero non avere sempre per garantirne l’affidabilità assoluta.

Questi rischi crescono in base all’impatto che il modello ha sull’organizzazione e alla probabilità che uno di questi eventi si verifichi. Molti di questi rischi possono essere mitigati assicurando che i dati di training riflettano bene i dati che si vedranno in produzione e garantendo che l’ambiente di produzione sia stabile, dato che i modelli sono molto sensibili ai cambiamenti. MLOps è sempre più necessario per mitigare i rischi associati al crescente numero di modelli di machine learning messi in campo per decisioni importanti.

Con la diffusione dei modelli di machine learning nel decision-making, è sempre più importante assicurarsi che siano distribuiti in modo responsabile. Esistono molte cause di bias algoritmico da evitare quando le decisioni vengono automatizzate tramite sistemi di AI. Non riuscire a minimizzare efficacemente il bias può portare a sanzioni attraverso la regolamentazione governativa o a perdita di domanda e profitti per un brand. Per distribuire sistemi di AI in modo responsabile, i modelli devono essere addestrati su fonti di dati conformi e prive di bias, produrre risultati interpretabili e spiegabili, e garantire responsabilità a livello organizzativo, in modo che sia facile individuare dove, nella pipeline di sviluppo, qualcosa potrebbe essere andato storto e correggerlo efficacemente. Per distribuire responsabilmente modelli di AI, le organizzazioni hanno bisogno di un ciclo di vita dei modelli ML snello.

Distribuire sempre più modelli richiede MLOps per avere successo. Serve un processo lineare per tenere traccia delle versioni, comprendere le prestazioni del modello rispetto a quelle di un modello ritrainato e assicurarsi che un modello continui a performare bene nel tempo. Senza queste pratiche di MLOps, è molto difficile generare valore e impatto di business con questi modelli.

I ruoli in un programma di MLOps

Anche se MLOps è ancora nascente e in rapida evoluzione, è necessario avere in un’organizzazione figure solide nei seguenti ruoli: esperti di dominio, data scientist, data engineer e software/DevOps engineer.

Gli esperti di dominio sono figure orientate al business che comprendono e definiscono come misurare e valutare continuamente il successo dei modelli durante l’addestramento e dopo la messa in produzione. Per un programma MLOps di successo, devono sviluppare una metrica di performance di business facile da capire e un circuito di feedback per distinguere i modelli che non stanno performando in linea con le aspettative di business. Inoltre, gli esperti di rischio sono una parte importante del programma MLOps. Il loro obiettivo è minimizzare e chiarire il rischio a cui l’azienda è esposta a causa della messa in produzione di modelli di ML.

Consigli di apprendimento: Understanding Data Topics

I data scientist sono responsabili della costruzione dei modelli che rispondono alle domande di business poste dagli esperti di dominio. Questi modelli dovrebbero essere distribuibili in ambienti di produzione con dati di produzione. I data scientist dovrebbero assicurarsi che questi modelli siano facili e sicuri da distribuire in produzione, che abbiano test per l’assicurazione di qualità e per potenziali miglioramenti, e che tutti i modelli distribuiti siano facilmente visibili da un’unica posizione.

Consigli di apprendimento: percorso di carriera Machine Learning Scientist (R/Python), Image Processing in Python, Machine Learning with PySpark

I data engineer sono responsabili della creazione delle pipeline di dati per questi modelli. Per un programma MLOps di successo, le prestazioni di tutti i modelli in produzione devono essere facilmente visibili, così come il dettaglio completo di ciascuna pipeline per individuare dove possano esistere problemi risolvibili.

Infine, i software e DevOps engineer si occupano di favorire l’integrazione efficace di questi modelli con le altre applicazioni non di machine learning. Per una pratica MLOps di successo, devono integrare le best practice di data engineering per garantire che questi modelli possano lavorare in parallelo con le applicazioni esistenti in modo affidabile, continuo e senza soluzione di continuità.

Consigli di apprendimento: Data Engineer with Python Career Track

Ci sono molti ruoli chiave da mettere in campo per un programma MLOps di successo. La distribuzione efficace, su larga scala, di centinaia di modelli richiede il contributo di figure al di fuori degli esperti di dati, inclusi esperti di dominio e software engineer, per generare risultati positivi per il business. Le organizzazioni che puntano a sviluppare programmi MLOps efficaci devono mirare a costruire un linguaggio comune sui dati tra tutti gli stakeholder attraverso upskilling e apprendimento continuo.

Scopri di più su DataCamp for Business:

DataCamp for Business offre una piattaforma di apprendimento interattiva per le aziende che devono aggiornare e riqualificare il personale sulle competenze sui dati. Con argomenti che spaziano dall’alfabetizzazione dei dati, alla data science, fino al data engineering e al machine learning, oltre 1.600 aziende si affidano a DataCamp for Business per far crescere il proprio talento.