Fondamenti di MLOps
IntermediateSkill Level
14 ore
Oggi, troppi modelli di machine learning non vengono distribuiti in produzione e restano nei laboratori dati. Come in ogni campo emergente, il set di buone pratiche, strumenti, tecniche e ruoli che i moderni team data devono adottare deve ancora maturare e standardizzarsi. Questo crea frustrazione per le aziende che vogliono estrarre valore dal machine learning su larga scala e per i data scientist che desiderano andare oltre gli esperimenti in un notebook. L'MLOps (Machine Learning Operations) è emerso negli ultimi anni con l'obiettivo di risolvere le sfide di deployment che i team data si trovano ad affrontare.
Il suggerimento è nel nome: così come il DevOps ha plasmato lo sviluppo Agile rapido delle applicazioni attorno alle esigenze di business, l'MLOps mira a fare lo stesso colmando il divario tra complessità e distribuzione dei modelli di machine learning.
In che modo esattamente l'MLOps affronta queste sfide? In questo articolo, vogliamo demistificare alcuni concetti dell'MLOps come disciplina emergente e rispondere a domande chiave come
- Che cos'è l'MLOps e quali sono i componenti chiave di una pratica MLOps di successo?
- In cosa l'MLOps è diverso dal DevOps?
- Come l'MLOps reimmagina il workflow di machine learning?
- Come puoi iniziare oggi con l'MLOps?
Che cos'è l'MLOps?
Alessya Visnjic, CEO di WhyLabs, una startup MLOps focalizzata sul monitoraggio dei modelli, ha descritto in modo calzante l'MLOps come “un insieme di strumenti, pratiche, tecniche, cultura e mentalità che garantiscono una distribuzione affidabile e scalabile dei sistemi di machine learning”.
Mettendo questa definizione in prospettiva, l'MLOps si basa sulla disciplina esistente del DevOps, la pratica moderna di scrivere, distribuire ed eseguire applicazioni enterprise in modo efficiente. È un processo interfunzionale, collaborativo e iterativo che rende operativa la data science. L'MLOps tratta il machine learning come un'ingenieria, in cui i modelli sono considerati artefatti software riutilizzabili che possono essere poi distribuiti tramite un processo ripetibile.
L'MLOps prevede anche il monitoraggio continuo e il ritraining dei modelli in produzione per garantire che rendano al meglio man mano che i dati cambiano nel tempo, un fenomeno noto anche come data drift.
In poche parole, l'MLOps consente ai team data di scalare il valore offerto permettendo:
- Distribuzione più rapida di più modelli tramite processi automatizzati
- Ottimizzare la produttività tramite collaborazione e riuso dei modelli
- Ridurre rischio e costi dei modelli che non arrivano mai in produzione
- Monitorare e aggiornare continuamente i modelli quando si verifica data drift
Ricollegandoci alla definizione di Visnjic dell'MLOps, quanto sopra richiede sia innovazione negli strumenti per i moderni team data, sia un cambio di mentalità per molti data scientist di oggi.
Perché l'MLOps è importante?
Abbiamo già visto come l'MLOps miri a risolvere le sfide di deployment per molti team data di oggi. Tuttavia, cosa rende il machine learning così unico da richiedere nuove funzioni operative specializzate come l'MLOps?
Le applicazioni di Machine Learning sono fondamentalmente diverse dal software tradizionale. Di seguito sono riportate alcune delle principali sfide che le organizzazioni affrontano quando distribuiscono sistemi di machine learning in produzione.
- Ownership e collaborazione: Tradizionalmente, i data scientist tendono a creare e sviluppare modelli di machine learning, e i team IT si occupano di distribuirli e gestirli. Tuttavia, la collaborazione tra questi due team non è efficiente quanto potrebbe e tende a generare attriti. Ad esempio, i team di data science sono sempre più sollecitati da diverse parti del business per risolvere un numero crescente di problemi. Data la natura complessa dei moderni sistemi IT, i data scientist prestano poca attenzione all'ambiente di produzione e ai sistemi IT esistenti—perché quella è responsabilità del team IT. Allo stesso modo, i team IT tendono a non concentrarsi sul funzionamento interno delle soluzioni prodotte dai data scientist—il che porta a false aspettative sulla distribuibilità di molti di questi modelli. Questa dinamica porta ad attriti e ad antipattern da evitare a tutti i costi—dove i team data si accontentano del ragionamento "costruiamo un modello, lo mandiamo all'IT e se ne occuperanno loro".
- Il dato è un aspetto determinante del software basato su machine learning: Il dato è il “sangue” dei sistemi di machine learning. A differenza del software tradizionale, in cui i software engineer progettano un processo ben definito che prende in input un set di dati e fornisce un set di output, i sistemi di machine learning si basano su metodi statistici che prendono in input dati reali disordinati e producono previsioni in output. Ciò significa che il comportamento dei sistemi di machine learning è soggetto a cambiamenti a causa dei cambiamenti nei dati. Inoltre, significa che valutare le prestazioni dei modelli di machine learning richiede osservazione e analisi. Infine, il workflow del machine learning è caotico, sperimentale per natura e si presta naturalmente a un insieme di competenze diverso dall'ingegneria del software tradizionale.
- Complessità del deployment: I sistemi di modelli di machine learning sono sempre più complessi. Diversamente dal software tradizionale, distribuire modelli di machine learning significa orchestrare una varietà di passaggi interconnessi provenienti da strumenti eterogenei. Questo include raccolta, archiviazione, trasformazione dei dati, feature engineering e altro. Inoltre, riproducibilità e controllo di versione rappresentano sfide importanti per i team data. Dato il carattere sperimentale del machine learning, i team di data science costruiscono molte versioni di un modello utilizzando diverse versioni dello stesso dataset. Di conseguenza, il controllo di versione tradizionale deve diventare più robusto.
MLOps vs DevOps—qual è la differenza?
Nella sezione precedente, abbiamo spiegato perché il machine learning necessita di una funzione operativa specializzata. Ma in pratica, in cosa l'MLOps differisce dal DevOps?
DevOps è la contrazione di Development (Dev) e Operations (Ops). Combina due funzioni essenziali del reparto IT: lo sviluppo delle applicazioni e l'ingegneria dei sistemi. Il DevOps cerca di accorciare i cicli di sviluppo—e accelerare la velocità di output dei team di software engineering. Lo fa introducendo automazione, processi aggiornati e metodi di lavoro per i team di sviluppo. Più in generale, il DevOps porta due principi nel processo di sviluppo software:
- Continuous Integration (CI)—il processo di effettuare frequenti, piccole iterazioni ai repository di controllo versione. Questo riduce i problemi di deployment poiché il codice viene distribuito in produzione frequentemente.
- Continuous Delivery (CD)—il processo di automatizzare i passaggi necessari a consegnare applicazioni e software agli ambienti di produzione.
Data la natura unica del machine learning, ecco alcuni modi pratici in cui l'MLOps differisce dal DevOps:
- Continuous Integration viene estesa dal test e validazione del codice anche al test e alla validazione di modelli e dati
- Continuous Delivery viene estesa dall'automazione dei passaggi per portare applicazioni in produzione alla consegna automatizzata di pipeline dati che attivano una previsione di machine learning
- Continuous Training viene introdotta—ed è unica del machine learning—dove i modelli vengono automaticamente riaddestrati per il deployment
- Continuous Monitoring viene introdotta—per monitorare rotture nella qualità dei dati di produzione, le prestazioni del modello e le metriche di business legate al modello di machine learning
Il workflow MLOps
Reimmaginare il workflow di data science per l'MLOps
Data la complessità aggiuntiva nel distribuire modelli di machine learning in produzione—come possono i team data iniziare ad adottare l'MLOps nei loro workflow di data science? In questa sezione, introduciamo un approccio semplificato, passo dopo passo, a un processo MLOps:
- Build: Una volta creati, i modelli vengono in genere inseriti in un repository verificabile sotto controllo di versione per supportarne il riuso in tutta l'azienda.
- Valutazione: La qualità delle previsioni del modello viene quantificata in questa fase misurando le prestazioni del nuovo modello addestrato su un dataset nuovo e indipendente.
- Messa in produzione: Esporta, distribuisci e integra il modello o la pipeline nei sistemi e nelle applicazioni di produzione.
- Testing: il testing continuo è importante per le applicazioni basate su ML, e riguarda l'automazione del ritraining e della messa in servizio dei modelli.
- Deployment: È richiesto un monitoraggio continuo per garantire prestazioni ottimali. Il modello può essere riaddestrato o sostituito con un nuovo modello man mano che i dati cambiano.
- Monitoraggio e observability: Molte aziende affrontano sfide quando si tratta di portare i modelli di machine learning in ambienti di produzione.
Reimmaginare i ruoli data per l'MLOps
Nei team di data science più piccoli, una persona può ricoprire più ruoli e indossare molti cappelli. Tuttavia, in team dati più grandi e strutturati, puoi trovare una varietà di ruoli e competenze che possiedono diversi elementi del workflow MLOps. Questi ruoli possono essere visti come segue:
- Data Scientist: Spesso visto come l'attore principale in qualsiasi team MLOps, il data scientist è un esperto che usa i dati dell'azienda per generare valore. Il suo ruolo è comprendere, strutturare e interpretare questi dati per ricavarne insight sotto forma di modelli predittivi. Crea, testa e valuta modelli di machine learning. In alcune aziende, si occupa anche di distribuire e monitorare le prestazioni dei modelli una volta in produzione.
- Data Engineer: I Data Engineer sono responsabili della creazione e manutenzione dell'ambiente che consente a quasi tutte le altre funzioni nel team data di operare. Si occupano di sviluppare, costruire, mantenere e testare architetture, come database e sistemi di processamento. In parole semplici, abilitano il flusso dei dati dall'estrazione, alla trasformazione, alla consegna.
- Software Engineer: In un processo MLOps, i software engineer sono incaricati di integrare i modelli di machine learning nelle applicazioni e nei sistemi dell'azienda. Lavorano anche per garantire che i modelli di machine learning funzionino senza attriti con qualsiasi applicazione non basata su machine learning all'interno dell'azienda.
- Machine Learning Engineer: Il machine learning engineer è al crocevia tra data science e data engineering. Il suo ruolo è ottimizzare e mettere in produzione i modelli sviluppati dal data scientist all'interno dell'infrastruttura predisposta dal data engineer.
Iniziare con l'MLOps
Come discusso in tutto l'articolo, l'MLOps è ancora un campo nascente, con molti strumenti, buone pratiche e metodologie che stanno emergendo proprio oggi. Questa sezione è dedicata ai diversi modi con cui puoi iniziare con l'MLOps, agli strumenti con cui puoi cominciare a sperimentare e alle risorse formative che puoi seguire fin da subito.
Strumenti da considerare per l'MLOps
-
Kubeflow: Kubeflow è una suite di strumenti per eseguire workflow di Machine Learning su cluster Kubernetes. L'obiettivo di Kubeflow è consentire alle migliori soluzioni open-source di machine learning di girare su un cluster Kubernetes in modo semplice, portabile e scalabile. In origine Kubeflow era l'implementazione open-source di TensorFlow Extended (TFX), una piattaforma end-to-end per distribuire pipeline di machine learning in produzione. Kubeflow ha quindi permesso di semplificare l'esecuzione di job TensorFlow su KubernetesMLFlow: MLflow è uno strumento per industrializzare il processo end-to-end di sviluppo dei progetti di Machine Learning. La sua ambizione è semplificare lo sviluppo di progetti di Machine Learning in azienda facilitando monitoraggio, riproduzione, gestione e deployment dei modelli.
-
Data Version Control (DVC): DVC (Data Version Control) è un pacchetto Python che rende più semplice gestire i tuoi progetti di data science. Questo strumento è un'estensione di Git per il Machine Learning, come affermato dal suo principale contributore Dmitry Petrov in questa presentazione. DVC è sia paragonabile sia complementare a Git.
-
Pachyderm: Pachyderm è uno strumento di controllo versione per machine learning e data science simile a DVC. In più, è basato su Docker e Kubernetes, il che aiuta a eseguire e distribuire progetti di Machine Learning su qualsiasi piattaforma cloud. Inoltre, Pachyderm garantisce che tutti i dati ingeriti in un modello di machine learning siano versionati e tracciabili.
Risorse di apprendimento per l'MLOps
Fondamenti di Machine Learning
- Machine Learning For Absolute Beginners: A Plain English Introduction (Second Edition) di Oliver Theobald. Come indica il titolo, questo libro offre ai principianti un'introduzione completa al machine learning. E per principianti intendiamo veri novizi. Non è richiesta alcuna conoscenza di base di matematica o esperienza di coding. È un'introduzione di base al machine learning per chiunque sia interessato all'argomento. Il linguaggio usato è abbastanza semplice per non sommergere i lettori con gergo incomprensibile. I diversi algoritmi sono accompagnati da spiegazioni chiare e facili da seguire ed esempi visivi. Questo libro presenta anche alcune semplici nozioni di programmazione per contestualizzare meglio il machine learning.
- Machine Learning For Dummies di John Paul Mueller e Luca Massaron. Per i novizi, la collana "for dummies" è anche un buon punto di partenza. Questo libro introduce i concetti e le teorie di base del machine learning e spiega come applicarli al mondo reale. Introduce i linguaggi e gli strumenti di programmazione essenziali e spiega come trasformare un concetto relativamente esoterico in uno strumento pratico. Discute i linguaggi di programmazione Python e R, usati per insegnare alle macchine a individuare schemi e analizzare i risultati.
- Fundamentals of Machine Learning for Predictive Data Analytics: Algorithms, Worked Examples, and Case Studies di John D. Kelleher, Brian Mac Namee e Aoife D'Arcy. Questo libro copre tutte le nozioni fondamentali del machine learning, presentando sia l'aspetto teorico sia le applicazioni pratiche. Offre esempi concreti e casi di studio per trasmettere meglio le conoscenze. È consigliabile avere una conoscenza di base dell'analytics per comprendere meglio queste nozioni fondamentali. Il libro presenta i diversi approcci al machine learning e illustra ogni concetto di apprendimento con algoritmi e modelli, oltre a esempi concreti per mettere in pratica questi concetti.
- Machine Learning for Hackers di Drew Conway e John Myles White. Il termine "hackers" qui si riferisce a programmatori che creano codice per scopi specifici e progetti pratici. Questo libro è pensato per lettori che non hanno un background in matematica ma sanno programmare e usare linguaggi di programmazione. Il machine learning in genere si basa su concetti matematici poiché utilizza algoritmi per analizzare i dati, ma molti coder esperti non hanno competenze matematiche molto sviluppate. Invece di soffermarsi sulle teorie matematiche, questo libro presenta applicazioni reali basate su studi pratici. Affronta problemi classici di machine learning e spiega come risolverli utilizzando il linguaggio R. Che si tratti di confrontare senatori in base ai voti ricevuti, creare un sistema di raccomandazione per chi seguire su Twitter o individuare lo spam in base al contenuto, le possibilità del machine learning sono infinite.
- Il percorso Machine Learning Scientist di DataCamp con Python o R. Che tu sia un utente R o Python, questi due percorsi coprono a fondo il machine learning. Ogni percorso contiene dozzine di corsi interattivi che vanno dalle basi del machine learning a temi più avanzati come deep learning e feature engineering.
Fondamenti di Data Engineering
- Data Engineering Cookbook di Andreas Kretz. C'è molta confusione su come diventare data engineer. Questo è un eBook di Andreas Kertz che contiene casi di studio dettagliati, codice, podcast, interviste, casi di studio e altro. Lo considero un pacchetto completo per chiunque voglia diventare data engineer. E la ciliegina sulla torta? Questo ebook è gratuito!!! Sì, puoi iniziare a usarlo subito.
- DW 2.0 - The Architecture for the Next Generation of Data Warehousing del padre del Data Warehousing WH Inmon. Questo libro descrive il futuro del data warehousing che è tecnologicamente possibile oggi, sia a livello architetturale sia tecnologico. È strutturato con cura e copre la maggior parte degli argomenti relativi all'architettura dei dati e alle sue sfide. Come puoi utilizzare il sistema esistente e costruirci intorno un data warehouse, e le best practice per giustificare la spesa in modo molto pratico.
- Agile data warehouse design: collaborative dimensional modeling, from blackboard to star schema di Laurent Corr. È un ottimo libro. Lawrence Corr fornisce una guida completa passo dopo passo per catturare i requisiti di business intelligence e data warehousing e trasformarli in modelli ad alte prestazioni utilizzando una tecnica chiamata model storming. Inoltre, troverai un concetto chiamato BEAM, un approccio agile al dimensional modeling per migliorare la comunicazione tra i designer del data warehouse e gli stakeholder della business intelligence.
- Il Career Track Data Engineering with Python di DataCamp. Questo percorso offre dozzine di corsi che coprono a fondo la costruzione di architetture dati efficaci, la razionalizzazione dell'ingestione dei dati, la creazione di pipeline e altro.
Approfondire l'MLOps
- MLOps Fundamentals Skill Track. Questo skill track copre l'intero ciclo di vita di un'applicazione di machine learning, dalla raccolta dei requisiti di business alla progettazione, sviluppo, distribuzione, operatività e manutenzione
- MLOps: Operationalizing Data Science, di David Sweenor, Dev Kannabiran, Thomas Hill, Steven Hillion, Dan Rope e Michael O'Connell. Questi 6 esperti di data analytics forniscono un approccio in quattro fasi per creare applicazioni basate su machine learning che arrivano in produzione.
- Building Machine Learning Powered Applications di Emmanuel Ameisen. In questo libro, l'autore Emmanuel Ameisen ti insegnerà come costruire un'applicazione guidata dal machine learning dall'idea iniziale al prodotto distribuito.
- Building Machine Learning Pipelines di Hannes Hapke, Catherine Nelson. In tutto il libro, gli autori Hannes Hapke e Catherine Nelson mostrano i passaggi per automatizzare una pipeline di machine learning utilizzando l'ecosistema TensorFlow.
- Practical MLOps di Noah Gift, Alfredo Deza. Evidenziando la differenza tra DevOps e MLops, questo libro attirerà la tua attenzione su cos'è l'MLOps e su come assicura l'operatività dei tuoi modelli di machine learning. Presenta strumenti e metodi per consentirti di implementare progetti MLOps in AWS, Microsoft Azure e Google Cloud. Inoltre, non perdere il live training di Noah su Practical MLOps su DataCamp.
- Introducing MLOps di Mark Treveil & Dataiku Team. Gli autori di questo libro consentono una comprensione profonda dei concetti chiave dell'MLOps per garantire che i team di data science siano in grado di rendere operativi i modelli di Machine Learning per favorire il cambiamento aziendale e migliorare i modelli nel tempo.
- Google Cloud fornisce articoli, blog e paper che ti guidano attraverso le best practice e i processi da utilizzare per costruire modelli di machine learning efficienti. Nell'articolo selezionato, imparerai i processi MLOps e come passare da processi manuali ad automatizzati.
- Nvidia pubblica sul suo blog articoli che ti guidano nel Lifecycle dell'MLOps e presentano alcuni casi di successo nel campo.
- Ml-ops.org è stato creato dalla Dott.ssa Larysa Visengeriyeva, Anja Kammer, Isabel Bär, Alexander Kniesz e Michael Plöd. Questo sito web mira a raccogliere tutte le informazioni necessarie sull'MLOps e a mostrare ogni fase del processo end-to-end.
Speriamo che questo set di risorse ti aiuti a iniziare il tuo percorso di apprendimento dell'MLOps. Per altri articoli e risorse sull'MLOps, puoi consultare anche i seguenti articoli:
Argomenti
