Come superare le sfide nella scalabilità dei progetti di data science

Siamo alla fine dell’Età dell’Informazione.

Ma agricoltura e industria non sono scomparse a metà Novecento quando l’Età dell’Informazione ha inghiottito l’Età Industriale. Allo stesso modo, l’Età dell’Informazione verrà—è già stata?—assorbita nella nuova, entusiasmante era in cui ci troviamo ora: l’Età dell’Esperienza.

Se l’Età dell’Informazione era tutta incentrata sulla raccolta di enormi quantità di dati, l’Età dell’Esperienza è tutta sull’analizzarli e scoprire cosa possono fare per noi: farli lavorare per noi.

Ed è qui che entrano in gioco data scientist come te. Sempre più organizzazioni creano team di data science per estrarre insight da flussi di dati continui. Il Bureau of Labor Statistics degli Stati Uniti stima che i lavori in data science aumenteranno del 35% entro il 2033.

Confrontalo con il tasso medio nazionale di crescita dell’occupazione del 3% in tutti i settori.

Questa statistica è interessante, ma l’elevata domanda di data scientist significa che c’è un enorme bisogno di insight data-driven, e ogni organizzazione vuole la sua fetta più grande possibile.

La pressione può essere schiacciante. Come può il tuo team tenere il passo con la domanda di insight data-driven di un’organizzazione? Come puoi scalare il numero di progetti di data science che il tuo team riesce a portare a termine senza usare risorse in eccesso?

Tutto si riduce all’organizzazione. Con un sistema ben oliato di data governance e di sprint planning, puoi fare più di quanto avresti mai immaginato.

Cos’è la Data Governance e perché è importante?

La data governance è il sistema che un team utilizza per gestire il ciclo di vita dei dati che raccoglie. Con un piano di data governance efficace, il tuo team resta organizzato e rispetta importanti normative statali, federali e globali.

Potresti chiederti: «Qual è la differenza tra data governance e data management?» Pensala così:

• Data governance definisce le policy e le procedure che regolano come acquisisci, utilizzi e metti in sicurezza i tuoi dati.
• Data management è il modo in cui poi raccogli, elabori, archivi, analizzi e interpreti quei dati.

In altre parole, la data governance imposta il framework per il data management e ne supervisiona i processi. Puoi approfondire i concetti di data governance con DataCamp.

La maggior parte delle organizzazioni ha piani di governance predefiniti a livello micro—uno per un determinato strumento di business e un altro per una funzione separata. Come data scientist, il tuo compito è razionalizzare la data governance in un’unica macchina altamente organizzata e rigidamente controllata.

Richiede molto lavoro iniziale? Sì. Ma una volta impostata, sarai pronto a gestire dataset più grandi e ad affrontare più progetti. Per apprendere rapidamente questi concetti, dai un’occhiata al Data Governance Fundamentals Cheat Sheet di DataCamp, una pratica guida per consultare concetti chiave e best practice.

Impostare un framework di Data Governance

Il processo di data governance parte dalla costruzione di un team.

Tu e gli altri data scientist della tua organizzazione dovrete collaborare per implementare un programma di data governance. I titoli e le responsabilità esatte variano in base all’organizzazione, ma in generale servirà nominare quattro ruoli:

• Data steward: gestisce il programma di governance, garantisce la sicurezza e fa da tramite tra il business e il team IT
• Data architect: progetta il sistema che elaborerà e archivierà i dati e aiuta il data steward a seguire le policy di governance
• Data custodian: sposta, archivia, protegge e supervisiona l’uso dei dati
• Data analyst: interpreta i dati e li trasforma in insight azionabili per il business

A seconda delle dimensioni della tua azienda, potresti aver bisogno di più persone per ciascun ruolo. Alcune organizzazioni hanno anche amministratori dei dati o consigli che supervisionano la creazione delle policy di data governance.

Costruire una strategia completa è fondamentale, e il modulo di DataCamp su Creare una strategia di Data Governance può offrirti un approccio strutturato a questo processo.

Definire una policy di data governance

Una volta formato il team, potete collaborare per definire le policy di data governance che tutti dovranno seguire.

Pensa a queste domande:

• In che modo la tua azienda utilizzerà e gestirà i dati secondo le best practice di data governance?
• Chi prenderà decisioni sull’uso dei dati man mano che la tecnologia evolve rapidamente?
• In che modo l’organizzazione si aspetta che gli utenti finali traggano beneficio dai dati?

Esplora le risposte e usale per creare la tua policy generale di data governance. Considerala come l’ombrello che protegge le sotto-policy che costruirai su standard, cultura dei dati e sicurezza.

Definire standard, misure di sicurezza e cultura dei dati

Ora dovrai pensare agli standard dei dati. I dati non serviranno a molto se non sono di qualità eccellente. Quali standard devono soddisfare i dati? Come filtrerà il tuo team i dati che non li rispettano? Capire e garantire la qualità dei dati è fondamentale. Approfondisci l’argomento con il Corso introduttivo sulla Data Quality di DataCamp.

Il punto successivo all’ordine del giorno è la sicurezza. Definisci:

• Come classificherai i dati—pubblici, privati, confidenziali, riservati, e così via
• Chi avrà accesso a ciascuna classificazione
• Come cripto graferai i dati per mantenerli sicuri dall’archiviazione alla trasmissione e viceversa
• Un sistema di allarme per avvisare il tuo team di violazioni della sicurezza
• Una policy su come gestirai eventuali violazioni
• Un calendario di test e audit per assicurarti che il programma funzioni come previsto

Infine, una delle cose più importanti che il tuo team di data governance può fare è tenere informata l’intera organizzazione su come i dati possono aiutarla. Mantenere le persone informate aiuta a creare una cultura in cui i dati sono valorizzati e curati, come l’asset che sono.

Quindi, come puoi rendere qualcosa di apparentemente noioso come i dati interessante per tutta l’organizzazione?

Facendoli “vivere”, ecco come.

Mostra all’organizzazione esattamente come i dati rendono il loro lavoro più semplice. Organizza presentazioni trimestrali con grafici e visualizzazioni che mostrano come i dati influenzano le decisioni aziendali. Invia brief informativi o newsletter mensili sulla stessa linea. Offri corsi a livello aziendale che aiutino i dipendenti a migliorare la loro alfabetizzazione sui dati.

Un’organizzazione che tiene ai propri dati aiuterà a sostenere le policy, le procedure e gli standard che stabilisci. Questo livello di standardizzazione e struttura renderà più semplice per il tuo team di data science affrontare più progetti senza sacrificare qualità o sicurezza dei dati.

E ora sei pronto per lo sprint.

Sprint planning per i team di data science

Hai creato il framework perché i dati si muovano in modo sicuro ed efficiente all’interno della tua organizzazione. Ora è il momento di vedere come lo sprint planning può funzionare per te. Certo, lo sprint planning fa parte del sistema di project management scrum utilizzato nello sviluppo software. Ma funziona bene anche per la data governance e il data management.

Questo perché, come nello sviluppo software, il data management coinvolge milioni di pezzi in movimento. Letteralmente.

Prima di tutto, cos’è uno sprint.

Uno sprint è un intervallo di tempo predefinito durante il quale il tuo team lavora su task per raggiungere un obiettivo chiave. Anche se gli sprint possono durare quanto vuoi, di solito vanno da una a quattro settimane. Spesso è tempo sufficiente per il tuo team di data science per completare progetti piccoli o medi.

Altre volte, il tuo team dovrà eseguire più sprint per completare un progetto enorme. Sai, quelli in cui devi generare un grande dataset e portarlo attraverso l’intero ciclo di vita, dalla raccolta all’interpretazione.

Prima che inizi lo sprint, il tuo team si riunirà per tracciarne la mappa.

In questo modo, quando lo sprint parte ufficialmente, tutti sanno esattamente cosa fare durante la giornata lavorativa. Secondo la metodologia Scrum, le riunioni di sprint planning non dovrebbero durare più di due ore per ogni settimana di sprint.

Mettiamo che la tua organizzazione sanitaria ti abbia affidato un progetto più piccolo. Il tuo team deve scoprire perché un pulsante call to action (CTA) sulla homepage dell’azienda ha performance scarse. Il pulsante CTA invita i pazienti a prenotare uno screening oncologico importante.

Per risolvere il problema, dovrai:

• Analizzare i dati storici che descrivono il pubblico target del pulsante CTA
• Ideare da una a due nuove varianti del pulsante CTA
• Effettuare A/B test delle varianti tra loro e rispetto all’originale
• Raccogliere, elaborare e analizzare i dati in un periodo specifico
• Fornire insight azionabili per aiutare il team marketing a scegliere il pulsante CTA giusto

Il team marketing desidera risultati entro tre settimane.

È una tempistica serrata per un A/B test, ma il tuo team è pronto. Terrai una sessione di sprint planning di tre ore per il tuo sprint di tre settimane.

Useremo questo scenario per mostrarti come può essere lo sprint planning per un team di data science.

1. Identifica l’obiettivo e la durata dello sprint

Le prime due domande da porsi durante lo sprint planning sono:

• Quale risultato vogliamo ottenere con questo sprint?
• Qual è una tempistica realistica per raggiungere questo risultato?

Il team marketing ti ha dato l’esito ideale, ossia un pulsante CTA che ottenga il doppio dei clic rispetto all’attuale.

E sai già che hai tre settimane per completare lo sprint.

Sei pronto per passare al passaggio successivo.

2. Scrivi la tua user story

Nello sviluppo software, una user story è una descrizione del prodotto finale dal punto di vista dell’utente. È un esercizio creativo scritto in linguaggio naturale e semplice. L’obiettivo è mettersi nei panni dell’utente finale e correlare i punti della storia a task concreti all’interno di uno sprint.

Puoi fare qualcosa di simile anche per il tuo progetto di data science.

Torniamo al nostro progetto fittizio sul pulsante CTA. Il reparto marketing vuole che gli utenti desiderino cliccare sul pulsante CTA per uno screening oncologico gratuito. Significa che devi metterti nei panni di chi incontra il pulsante sul sito dell’organizzazione sanitaria.

Rispondi a domande come queste mentre scrivi la tua user story:

• Chi è la persona che cliccherà il nuovo pulsante CTA?
• Quali preoccupazioni legate alla salute la tengono sveglia la notte?
• Perché trarrebbe beneficio da uno screening oncologico?
• In che modo il pulsante comunica questi benefici in modo chiaro e conciso?
• Come la fanno sentire il testo e la grafica intorno al pulsante?
• Cosa c’è nel colore, nel font e nel copy del pulsante che la spinge a cliccare?
• Perché questa persona cliccherà sul pulsante CTA?

Puoi adattare queste domande al tuo progetto. Concentrati sul risultato e procedi a ritroso finché non capisci come interagisce con l’utente e come lo avvantaggia.

Se riesci ad associare punti specifici della tua storia ai task dello sprint, ancora meglio. Ti aiuterà con il terzo passaggio del percorso di sprint planning.

3. Assegna i task dello sprint a ogni membro del team

A questo punto dovresti sapere quali task devi svolgere e perché devi farli.

È il momento di assegnare a ciascun membro del tuo team di data science un task da completare entro la durata dello sprint. Potresti dover suddividere alcuni task in parti più piccole. Dovrai anche individuare le dipendenze. Ad esempio, il tuo team non potrebbe testare nuove varianti del pulsante CTA finché non le ha realizzate.

Valuta l’uso di un software di gestione dei task per tenere traccia di chi è responsabile di ciascun task e per assicurarti che le dipendenze siano chiaramente identificate e gestite.

Abbozza una stima di quanto tempo dovrebbero richiedere ciascuna sotto-attività e ciascun task. Assegna ore di sprint a ognuno. Confrontati con il team per assicurarti che le ore sembrino ragionevoli e fattibili.

Ricorda che queste ore sono stime e che le cose possono e cambieranno. Se ti preoccupa la tempistica, comunicalo al reparto che ha richiesto il progetto. Negozia una stima più lunga se necessario. È sempre una buona idea prevedere del margine in un progetto. Il tuo team potrà usarlo per valutare i progressi e adattarsi a eventuali problemi.

Affrettare un progetto può costare più tempo e denaro in seguito—ed è proprio il problema che lo sprint planning serve ad aiutarti a evitare.

Data governance e sprint planning: l’accoppiata perfetta

Man mano che la data science diventa sempre più diffusa in questa entusiasmante Età dell’Esperienza, il tuo team lavorerà su decine di progetti in parallelo.

Rimani calmo e continua a sprintare.

Ovvero:

• Identifica le date di consegna stimate per ogni progetto
• Dividi ogni progetto in uno o più sprint
• Assegna sprint diversi a sotto-team differenti del tuo reparto OPPURE pianifica gli sprint in base a quali progetti hanno scadenze prima
• Organizza sessioni di sprint planning per ciascuno sprint/progetto

Ora puoi guardare te e il tuo team raggiungere obiettivo dopo obiettivo. Con il tuo framework di data governance in atto, gestire il flusso costante di dati sarà un processo fluido e sicuro.

E se dovessero presentarsi intoppi lungo il percorso, avrai policy e procedure pronte per gestirli senza battere ciglio.

Considerazioni finali

Mentre intraprendi il percorso per scalare i tuoi progetti di data science, ricorda che apprendimento continuo e adattamento sono la chiave del successo. Per migliorare ulteriormente competenze e conoscenze, esplora i corsi completi di DataCamp sulla data governance, come il Corso sui concetti di Data Governance, e resta un passo avanti nell’Età dell’Esperienza.