Cosa può insegnarti l’esercito USA sulla data science

Quando ho completato di recente il career track Data Scientist with Python di DataCamp, mi sentivo pronto ad affrontare sfide di data reali, ma non è così semplice. Finire i corsi su DataCamp o all’università è solo il primo passo di un lungo percorso per diventare data scientist. Le competenze che hai acquisito vanno esercitate, coltivate e trasformate in un portfolio che metta in mostra ciò che hai imparato e dimostri ai potenziali datori di lavoro che puoi essere una risorsa per il loro team.

Ma come ci arrivi?

Avere alcuni strumenti nella tua cassetta e un’idea abbastanza chiara di come usarli è una cosa; iniziare davvero può essere scoraggiante.

Quindi, come si inizia?

Questo articolo non riguarda il codice che scriveresti, ma il processo che seguiresti. Proverò a rispondere alla domanda qui sopra partendo dalla mia esperienza nell’esercito statunitense.

Civil Affairs e Civil Information Management

Prima di intraprendere la strada per diventare Data Scientist, ho trascorso vent’anni nelle Forze Armate USA, gli ultimi cinque dei quali nel ramo Civil Affairs della Riserva dell’Esercito. In breve, i Civil Affairs sono il ramo dell’Esercito responsabile di stabilizzare una regione dopo un disastro o un conflitto. Vengono impiegati in situazioni che vanno dall’epidemia di Ebola nel Corno d’Africa dal 2014 al 2016 al recupero dopo l’uragano Katrina. Sono molto utilizzati anche durante i conflitti, come la guerra in Iraq. La loro missione è riportare una data regione a quella che era la “vita normale” prima del disastro.

Ora potresti chiederti: che c’entra questo con i data scientist?

I Civil Affairs si basano sulle informazioni. Cioè sui dati. Per riportare una regione alla normalità devono sapere cosa fosse la normalità e se quella normalità basti a rendere stabile la regione. La popolazione di un’area può ritenere normale la mancanza di un sistema educativo, di sicurezza o persino di acqua potabile. Prendere decisioni su ciò che serve a una regione per essere stabile richiede enormi quantità di dati che devono essere raccolti, analizzati e messi nelle mani dei decisori.

I decisori nei Civil Affairs sono quelli che nel mondo corporate chiameresti “top management”. Sono alti funzionari militari e governativi, leader di agenzie come la Croce Rossa e l’Organizzazione Mondiale della Sanità, che prendono la decisione finale su dove investire denaro, impegno e tempo. Le loro decisioni si basano in larga misura sui risultati di buone informazioni raccolte attraverso un processo noto come Civil Information Management (CIM).

Nel mio periodo nei Civil Affairs ho guidato un team CIM, insegnato il processo CIM ad altre unità dei Civil Affairs e migliorato le tecniche che usavamo in questo processo. Ero ampiamente considerato un Subject Matter Expert sul CIM, e posso dirti che non è solo per i militari. I dati che usavamo non erano classificati. Dovevano essere fruibili da esercito, amministrazioni locali, FEMA e organizzazioni civili come la Croce Rossa e l’OMS.

Ora, il processo CIM che usavamo per raccogliere, analizzare e diffondere quelle informazioni può essere applicato alla data science e, per quanto ho visto su DataCamp, è ampiamente usato, anche se con un altro nome.

La data science va oltre la riga di comando o un Jupyter Notebook. Quando lavori con un dataset c’è quasi sempre un obiettivo finale e un cliente. Se stai esplorando un dataset per curiosità o per fare pratica, il cliente sei tu. Il cliente può essere il pubblico del tuo blog, i colleghi, il tuo responsabile o un cliente pagante.

Se accetti che ci sia sempre un cliente, devi accettare che serva sempre un prodotto, e quel prodotto deve rispondere alla “domanda” fondamentale.

La domanda

Prima di entrare nel processo CIM in sei fasi, devi sapere qual è la “Domanda”. In termini semplici, è il motivo per cui stai facendo l’analisi.

Per esempio, in Intro to Python for Data Science, la domanda è “Qual è l’altezza mediana dei portieri in FIFA?”. Nella Titanic Competition di Kaggle, la domanda è “Che tipo di persona aveva più probabilità di sopravvivere all’affondamento del Titanic?”.

C’è sempre una domanda, e spesso ci sono più domande a cui rispondere. Ora che sai qual è la “Domanda”, puoi iniziare il processo.

Il processo CIM

Raccolta

Senza dati non ci sarebbe nulla da analizzare e, in effetti, nessun motivo per i data scientist. I dataset usati su DataCamp, Kaggle, Driven Data e Data.gov devono tutti essere stati raccolti. Su Internet è disponibile una quantità quasi illimitata di dati e gran parte della raccolta può essere automatizzata tramite web scraping o altre tecniche. Quando ero nei Civil Affairs, mi affidavo molto al CIA World Factbook, ai dati censuari e a Google Maps.

Non è sempre così semplice però.

Nel novembre 2016, la città di Gatlinburg, TN è stata colpita da un devastante incendio che ha distrutto più di 2.500 case e attività. All’epoca ero assegnato a un’unità Civil Affairs nella vicina Knoxville, TN e ci chiesero di aiutare a valutare i danni. L’area intorno a Gatlinburg è rurale, montuosa, con case sparse sulle montagne, ed è quasi impossibile mantenere aggiornate le mappe. L’unico modo per raccogliere i dati su quali edifici fossero ancora in piedi era raccoglierli manualmente. Lavorando insieme a volontari locali e agenzie governative, ci siamo divisi in squadre e abbiamo percorso in auto o a piedi quelle strade rurali per individuare le abitazioni. Per ogni edificio incontrato lo segnavamo sulla mappa e annotavamo il livello di danno. Questi dati venivano poi inviati per essere collazionati dalle agenzie locali.

Un altro ottimo esempio di raccolta manuale è il dataset Scandens Beak Depth Heredity, usato in Statistical Thinking in Python Part 2. Quel dataset è stato ottenuto da oltre 40 anni di osservazioni personali!

Sono certo che non dovrai spingerti fino a tanto per procurarti dei dati su cui lavorare. Puoi iniziare con i dataset forniti all’inizio di ogni corso DataCamp e, se non trovi nulla che ti piaccia, puoi cercare tra le risorse sopra elencate o fare semplicemente una ricerca Google per i dati che cerchi.

Collazione

È una gran bella sensazione quando trovi un dataset con tutte le informazioni che cerchi, impacchettate a dovere. Purtroppo, è più l’eccezione che la regola. La maggior parte delle volte troverai i dati in pezzi che devono essere assemblati.

La collazione è il momento in cui i dati iniziano a essere organizzati dalla loro forma grezza in un insieme su cui si può lavorare.

Sebbene molti dei dati iniziali nei Civil Affairs provengano da fonti Internet, sono una piccola minoranza. La stragrande maggioranza dei dati arriva da persone sul campo. I Civil Affairs Team entrano in un’area, scattano foto, intervistano la popolazione locale e valutano edifici come aeroporti, scuole, commissariati e centrali elettriche. Tutti quei dati tornano sotto forma di rapporti scritti che devono essere collazionati in informazioni utilizzabili. Non ho partecipato alla collazione dei dati raccolti sugli incendi di cui ho parlato sopra, ma ognuna di quelle mappe segnate a mano è stata collazionata in un’unica fonte che riportasse coordinate, condizioni e descrizione della proprietà di ogni luogo ispezionato.

Come aspiranti Data Scientist, credo che gran parte di noi inizi a maneggiare i dati proprio nella fase di collazione.

Prendi i dati dello Scandens Beak Depth Heredity, per esempio. Ogni rapporto giornaliero doveva essere collazionato in un rapporto settimanale o mensile, poi in un rapporto annuale e infine in un unico dataset rappresentativo di 40 anni di dati.

Una buona collazione può far risparmiare molto lavoro più avanti, perché offre l’opportunità di pulire i dati man mano e inserirli nelle categorie corrette, più facili da gestire in seguito. Tecniche come merge, join e append danno il meglio in questa fase.

Elaborazione

Diciamolo: anche se troviamo un dataset già raccolto e collazionato con tutte le informazioni che cerchiamo, probabilmente sarà “sporco” e avrà bisogno di pulizia. L’elaborazione è dove prendiamo i “dati” e li trasformiamo in una forma utilizzabile, pronta per l’analisi. Nei Civil Affairs ho passato molto tempo a raccogliere e collazionare dati, ma è nell’elaborazione che ho davvero imparato a conoscere i dati e ho iniziato a formulare il mio piano di analisi.

Nel Team CIM facevo molte “area assessments”, ovvero un’analisi iniziale di una determinata area, prima di essere sul posto, per farsi un’idea dei problemi da prioritizzare. Dopo aver raccolto e collazionato tutti i dati rilevanti sull’area, li si elabora in informazioni fruibili, ancora prima dell’analisi. Il risultato è in genere un workbook Excel o un database con informazioni pulite e categorizzate, ricercabili o filtrabili per rispondere a domande di base che non richiedono un’analisi.

Nella data science, qui è dove mettiamo in ordine ed esploriamo i dati, svolgendo l’Exploratory Data Analysis. Puoi risparmiarti parecchi problemi nella fase di analisi se ti assicuri di categorizzare ed etichettare correttamente i dati e di verificare che abbiano il “tipo” giusto. Una corretta elaborazione ti prepara a una buona analisi.

Analisi

Riprendendo la mia area assessment, è fantastico avere un dataset interrogabile da cui ottenere risposte. Posso scoprire quanti medici ci sono in zona o quanti galloni di acqua potabile per persona all’anno ha l’area. Sono informazioni importanti, ma non sono un’analisi. L’analisi risponderebbe a domande come “come si confronta l’area con la regione circostante in termini di governo, economia, infrastrutture, sicurezza e sanità?” e “al ritmo di utilizzo attuale, tra quanto tempo l’area esaurirà l’acqua potabile?”.

L’analisi è il cuore di ciò che probabilmente molti di noi sono venuti a fare su DataCamp; è la parte più divertente per me ed è dove rispondiamo a quella domanda fondamentale. È anche un argomento trattato ampiamente in quasi tutti i corsi DataCamp, quindi non entrerò troppo nei dettagli. La chiave dell’analisi è lavorare con i dati e trarne conclusioni.

Produzione

Torniamo all’incendio di Gatlinburg. Una volta che tutti i dati sono stati raccolti, collazionati ed elaborati in un database con le coordinate di ogni edificio, la sua condizione attuale e una descrizione dei danni, determiniamo che il 60% di tutti gli edifici nell’area colpita è danneggiato oltre la possibilità di riparazione. Abbiamo risposto alla domanda “Quanto è stata colpita l’area circostante dall’incendio?”.

Possiamo fare un passo in più e stimare il valore di ogni edificio danneggiato e il costo di ricostruzione dell’intera area, suddiviso per quartiere e strada. Potremmo persino individuare i quartieri più colpiti per stabilire dove dare priorità alla ricostruzione.

L’analisi è ottima, ma non serve a nulla se non viene trasformata in un prodotto: è di questo che si occupa la fase di Produzione del processo CIM. Tutti i passaggi finora portano a questo: è qui che costruisci l’elemento da mettere in vetrina, ciò che condividerai con il cliente.

È la sintesi di tutto ciò che hai fatto con i dati. Il prodotto può essere un Jupyter Notebook, un foglio di calcolo con tabelle e grafici, una pagina web, un file PDF o del codice sorgente. Altre idee: una presentazione dal vivo, un video in cui guidi attraverso l’analisi o una presentazione con Sway o PowerPoint. In ogni caso, la scelta deve adattarsi alle esigenze del cliente. Ci sono alcuni requisiti aggiuntivi:

1. Essere chiaro, conciso e fruibile dal cliente.
2. Raccontare la storia e avere senso per il cliente.
3. Essere tarato sul livello tecnico ed educativo del cliente.

Disseminazione

La disseminazione è l’ultimo passaggio del processo CIM e, in superficie, può sembrare piuttosto semplice: basta recapitare il prodotto al cliente. Tuttavia, se ci pensi bene, è probabilmente il passaggio più importante dell’intero processo. Quando ero nel Team CIM producevamo principalmente PDF, slide PowerPoint o report Excel basati sulle nostre analisi. Perché questi metodi? Sono tutti strumenti accessibili, facili da usare, portabili e che quasi tutti sanno utilizzare.

Con le competenze che ho ora, avrei potuto produrre pagine web interattive con report, grafici Bokeh con slider e filtri e mappe interattive. Sarebbe un prodotto complesso e dinamico che quasi tutti potrebbero usare perché racchiuso in una pagina web. Indipendentemente da quanto sia valido il prodotto finale, non serve a nulla se non viene diffuso al cliente in modo:

• Accessibile: poiché ti occupi di informazioni, devono essere accessibili al cliente. Seppellire il prodotto in un luogo irraggiungibile per il pubblico previsto lo rende difficile da fruire e porta a dimenticarlo in fretta.
• Facile da usare: il metodo di consegna scelto deve essere facile da usare per l’assoluta maggioranza dei destinatari. Per esempio, consegnare uno script Python a un gruppo di altri Data Scientist può andare bene, ma inviare lo stesso script a qualcuno che non sa come eseguire “data_analysis.py” potrebbe non funzionare.
• Portabile: ammettiamolo, consumiamo sempre più informazioni su dispositivi mobili. È raro avere il tempo di sedersi alla scrivania per assorbire grandi quantità di informazioni. I prodotti dati devono essere portabili, che sia tramite applicazioni Office come PowerPoint ed Excel, PDF o via Internet.

Esistono tantissimi metodi di disseminazione a disposizione di chi legge questo articolo e non potrei nemmeno iniziare a elencarli tutti. La modalità con cui decidi di diffondere il tuo prodotto richiede qualche decisione ponderata. Chiediti sempre: “Come posso consegnare questo prodotto al cliente nel modo che meglio soddisfi le sue esigenze di accessibilità, facilità d’uso e portabilità?”

Detto ciò, se stai costruendo un portfolio, Github, Anaconda Cloud, pagine e blog personali e i social media sono ottimi punti di partenza. Non aver paura di pubblicare il tuo lavoro e condividerlo con altri appassionati.

Considerazioni finali

Se ti occupi di dati, con ogni probabilità stai già usando alcuni dei passaggi di cui ho parlato. Anche se potresti non essere coinvolto personalmente in tutte e sei le fasi, ora ne hai una comprensione migliore e conosci un processo per trasformare dati grezzi in un prodotto finito. Può sembrare strano parlare di procedure militari per la Data Science, ma quei sei passaggi mi sono stati molto utili sia in ambito militare sia nel mondo corporate americano e spero possano aiutare anche te nel tuo percorso per diventare Data Scientist.