Fondamenti di MLOps
IntermediateSkill Level
14 ore
Che cos’è l’MLOps?
Nel 2015, Google ha pubblicato un paper intitolato “Hidden Technical Debt in Machine Learning Systems”. In questo lavoro, Sculley et al. hanno evidenziato come il codice per i modelli predittivi di machine learning rappresenti solo una piccola parte della creazione, del deployment e della manutenzione dei sistemi di machine learning in produzione. Il paper ha scosso il settore ed è stato poi confermato da innumerevoli casi di data scientist che faticano a portare i loro modelli in produzione.
Negli ultimi anni è emersa la nuova e interessante categoria dell’MLOps (Machine Learning Operations) con l’obiettivo di risolvere le sfide di deployment affrontate dai team dati. L’MLOps, o Machine Learning Operations, è un insieme di strumenti, pratiche, tecniche e cultura che garantiscono un deployment affidabile e scalabile dei sistemi di machine learning. Man mano che la data science matura come disciplina, l’MLOps è una delle specializzazioni in più rapida crescita tra quelle a disposizione dei data scientist, se non la più rapida.
Dato quanto sia ancora agli inizi il campo dell’MLOps, non esistono molti percorsi formativi codificati. Ciononostante, le community open-source e di machine learning hanno messo a disposizione una vasta gamma di risorse gratuite, affidabili e subito utili. Ecco 10 risorse gratuite con cui puoi iniziare oggi il tuo percorso di apprendimento in MLOps.
1. Skill track MLOps Fundamentals
Lo skill track di DataCamp, MLOps Fundamentals, copre l’intero ciclo di vita di un’applicazione di machine learning, dalla raccolta dei requisiti di business alla progettazione, sviluppo, messa in produzione, operatività e manutenzione. Questo track include corsi concettuali pensati per aiutarti a espandere le tue conoscenze di data science nel mondo del software di machine learning in produzione! Al completamento del percorso, avrai acquisito una mentalità MLOps e conoscerai a fondo concetti come CI/CD e CM/CT, tracciamento degli esperimenti, registri di modelli, feature store e diverse strategie di deployment
2. Machine Learning Engineering di Andriy Burkov
Pubblicato originariamente nel 2020, questo libro è uno dei pochi a trattare i fondamenti del machine learning applicato. Invece di concentrarsi su uno strumento o concetto specifico, Burkov scompone l’arte e la scienza di costruire e mettere in produzione un progetto di machine learning end-to-end. Nel corso del libro, evidenzia le sfide più comuni che i team dati affrontano quando portano i modelli in produzione e le relative soluzioni.
Puoi accedere gratuitamente al libro, che segue il principio “leggi prima, compra dopo”, ovvero puoi leggerlo e pagare in seguito se lo hai trovato di valore.
3. ML in Production Blog
Alcune delle migliori risorse sull’MLOps si trovano nelle newsletter e nei blog di data scientist attivi oggi. Il blog e la newsletter ML in Production di Luigi Patruno ne sono tra i migliori esempi. Condivide regolarmente contenuti approfonditi sul deployment e la manutenzione dei modelli in produzione. Ecco come descrive il suo approccio alla curatela:
- Applicato—i contenuti sono incentrati su strumenti, pattern, piattaforme e sistemi già collaudati in produzione.
- Focalizzato sulle best practice—la data science e il machine learning cambiano rapidamente. C’è una carenza di persone con le competenze necessarie per mettere in produzione questi sistemi e una mancanza di best practice consolidate. La newsletter mira a diffondere queste best practice alla comunità più ampia.
- Pensato per rendere i data scientist più efficaci nel loro lavoro—tutti i contenuti curati mirano ad aiutare data scientist, ML engineer e professionisti dei dati ad acquisire e migliorare competenze ad alto impatto e spendibili sul mercato.
4. MLOps Community
Imparare l’MLOps è più efficace insieme e con la pratica. Questa è una community di professionisti a cui puoi sintonizzarti (o unirti) per imparare da altri esperti del settore. Tra blog, video e conversazioni coinvolgenti, questa risorsa è un ottimo modo per costruirti delle basi solide in questo ambito.
5. Full Stack Deep Learning
Questo corso offre contenuti di altissima qualità su come portare in produzione modelli complessi e di grandi dimensioni. Non è solo tenuto da professori affermati come ingegneri e scienziati di OpenAI e Stanford, ma include anche lezioni di ospiti che guidano alcune delle aziende di machine learning più ispiranti di oggi, come Andrej Karpathy di Tesla.
Questo corso insegna un approccio full stack al deep learning, tra cui
- Formulazione del problema e stima dei costi del progetto
- Ricerca, pulizia, etichettatura e aumento dei dati
- Scelta del framework e dell’infrastruttura di calcolo giusti
- Risoluzione dei problemi in training e garanzia di riproducibilità
- Deployment dei modelli in produzione
6. Made With ML di Goku Mohandas
Goku Mohandas ha creato un corso fenomenale e aperto sulla costruzione di sistemi di machine learning end-to-end. Made with ML è uno dei repository più popolari su GitHub e oltre 30.000 persone seguono il suo corso.
Le lezioni di Made with ML coprono le basi del machine learning fino ai dettagli del deployment, del testing e del monitoraggio dei modelli in produzione. Le lezioni di Goku spiegano l’intuizione dietro i concetti introdotti, propongono esercitazioni pratiche basate su progetti e forniscono alcune delle best practice di ingegneria del software necessarie per avere successo in un ruolo MLOps.
7. Awesome production machine learning
Questo repository GitHub altamente curato è pensato per chi vuole tuffarsi subito in pacchetti, librerie e strumenti all’avanguardia per fare pratica in autonomia. Tutti i pacchetti e gli strumenti elencati sono progettati per aiutarti a costruire, distribuire, monitorare, versionare, scalare e mettere in sicurezza i tuoi sistemi di machine learning in produzione.
Che si tratti di data labeling, orchestrazione del training dei modelli, explainability, serving, monitoraggio e altro ancora, qui troverai sicuramente almeno alcuni pacchetti con cui iniziare a sperimentare nei tuoi progetti. Presentano anche la newsletter The ML Engineer, che ti tiene aggiornato su framework, tutorial e articoli più recenti curati da professionisti del machine learning.
8. Tutorial MLOps di DVC
DVC (Data Version Control) è un sistema open-source di controllo versione per progetti di machine learning. DVC estende il controllo versione di Git a dataset e modelli. Inoltre, lo stesso team dietro DVC ha sviluppato Continuous Machine Learning (CML), uno strumento per adattare i sistemi di integrazione continua come GitHub Actions e GitLab CI al machine learning.
Questa breve serie su YouTube mette in evidenza concetti importanti all’intersezione tra DevOps e Machine Learning. Equilibra efficacemente teoria e pratica e mostra come applicare il versionamento dei dati tramite DVC.
9. Machine Learning Operations
Questa risorsa è probabilmente tra le più complete. È ricca di articoli che scompongono i diversi elementi di una pratica MLOps di successo. Machine Learning Operations presenta linee guida, framework, codici di condotta e tenta di definire uno standard per l’MLOps.
Pur essendo breve, è un ottimo punto di partenza che spiega perché l’MLOps è importante, i principi chiave di una pratica MLOps efficace, gli strumenti e i framework utilizzati in MLOps e altro ancora.
10. MLOps – Machine Learning Operations di AIEngineering
AIEngineering è probabilmente uno dei migliori, se non il migliore, canale YouTube per il machine learning applicato. Con oltre 60.000 iscritti, Srivatsan Srinivasan ha costruito un seguito parlando di tutto ciò che riguarda i dati.
Ha tantissimi video e playlist approfonditi su MLOps e sul deployment di progetti di machine learning end-to-end. Assicurati di dargli un’occhiata.
11. ML Engineering for Production ML Deployments with TFX di TensorFlow
Google ha creato uno degli strumenti più usati nel machine learning con TensorFlow. Con TensorFlow Extended (TFX) fa un ulteriore passo avanti. TensorFlow Extended è una piattaforma end-to-end per distribuire modelli di machine learning. È composta da vari pacchetti per la validazione dei dati, la trasformazione, l’analisi dei modelli e altro. TFX è progettata per consentire di progettare facilmente sistemi di machine learning senza spendere quantità assurde di tempo ed energie in lavoro di ingegneria del software.
Questa playlist YouTube è guidata dal Google Developer Advocate Robert Crowe e ti introduce ai concetti chiave e alle best practice di MLOps utilizzate in Google. Inoltre, la documentazione di TFX è una lettura eccellente da esplorare: anche solo provare a usare il pacchetto seguendo le loro guide può insegnarti moltissimo.
Approfondisci l’MLOps
Sebbene l’MLOps sia ancora agli inizi, c’è molto valore nel partire in anticipo con le ultime best practice e gli strumenti trattati nelle risorse qui sopra. Se ti interessa saperne di più sull’MLOps, puoi dare un’occhiata anche alle seguenti risorse:
Argomenti
