Le organizzazioni di maggior successo oggi si affidano fortemente ai dati per prendere decisioni. Molte di queste realtà data fluent generano ogni giorno milioni di righe di dati, utilizzati e analizzati da un’ampia gamma di team. Una delle sfide principali per mettere i team nelle condizioni di accedere ai dati e lavorarci è garantire che i dati siano raccolti, affidabili, attendibili, azionabili e individuabili.
Per orientarsi in questi paesaggi dati complessi, molte organizzazioni hanno sviluppato e reso open source tecnologie interne, chiamate strumenti di data discovery.
In un webinar recente, Ramnath Vaidyanathan, VP of Product Research di DataCamp, descrive come le organizzazioni possano passare da data reactive, dove nessuno ha le competenze o l’accesso per lavorare con i dati, a data fluent, dove tutti hanno accesso e competenze per lavorare con i dati e prendere decisioni data-driven. Le organizzazioni possono aumentare la propria maturità dei dati investendo nel framework IPTOP: infrastruttura, persone, strumenti, organizzazione e processi. Man mano che le organizzazioni ampliano l’accesso ai dati grazie agli investimenti nell’infrastruttura dati, avranno bisogno di offrire una facile individuabilità dei dati con strumenti di data discovery.
I dati non sono utili se le persone non possono accedervi, se non capiscono il contesto dei dati raccolti e se non riescono a trovare ciò di cui hanno bisogno. Ecco perché gli strumenti di data discovery sono davvero fondamentali. Ramnath Vaidyanathan, VP of Product Research di DataCamp
Come le aziende data fluent utilizzano gli strumenti di data discovery
Molte aziende data-driven hanno implementato strumenti di data discovery nella propria infrastruttura dati. Vediamo le motivazioni e i driver alla base di strumenti di data discovery di rilievo come Uber Databook e Lyft Amundsen.
Sfide della data discovery da considerare
Una sfida chiave della data discovery riguarda produttività e compliance. Lyft ha evidenziato di aver affrontato queste difficoltà man mano che il volume dei dati cresceva in modo esponenziale e si prevedeva continuasse a farlo per almeno i successivi 10 anni. Durante lo sviluppo di Amundsen, hanno rilevato che circa il 25% del tempo di un analista veniva speso nella data discovery. Hanno anche riscontrato esigenze di conformità sempre più stringenti nei Paesi serviti.
Uber ha espresso preoccupazioni simili quando ha iniziato a espandersi oltre la sua funzione primaria di app di ride-sharing, verso servizi come Uber Eats, Uber Freight e Jump Bikes. Durante lo sviluppo di Databook, Uber gestiva oltre 15 milioni di corse al giorno e contava 18.000 dipendenti in team diversi. Un’ulteriore sfida era che i suoi dati esistevano in molte forme diverse, tra cui Hive, Presto e Vertica. Gli analisti dovevano poter accedere in modo efficiente e comprendere le varie fonti dati per raggiungere la data fluency.
Facebook ha costruito la sua piattaforma di data discovery Nemo per rispondere all’esigenza di dati di alta qualità e affidabili, man mano che dimensione e complessità dei dati aumentavano tra ruoli e aree geografiche. A causa delle questioni di privacy legate ai dati analizzati, Facebook ha dovuto affrontare anche importanti requisiti di compliance da gestire nell’offerta di tabelle a specifici analisti.
John Bodley di Airbnb ha dichiarato in un intervento a una conferenza del 2017: “Man mano che Airbnb cresce, crescono anche le sfide relative al volume, alla complessità e all’oscurità dei dati.” Questo significa che i dipendenti spesso trovavano i dati “a silos, inaccessibili e privi di contesto.” Di conseguenza, i dipendenti creavano tabelle duplicate e non utilizzavano i dati se non li ritenevano affidabili. Airbnb ha sviluppato Dataportal per rendere il processo di data discovery molto più efficiente, eliminando queste barriere a un’analisi dei dati produttiva.
Queste sfide sono diffuse, indipendenti dal settore e si applicano a qualsiasi organizzazione che voglia scalare le decisioni guidate dai dati. La necessità di dati facilmente individuabili diventerà fondamentale man mano che le organizzazioni puntano a diventare data fluent.
I quattro obiettivi chiave degli strumenti di data discovery
Ora che abbiamo compreso le sfide della data discovery, vediamo come diversi strumenti le affrontano. Uber suddivide gli obiettivi di una piattaforma di data discovery di successo in quattro componenti:
- Estendibilità: la capacità di aggiungere facilmente metadati, storage ed entità alle tabelle
- Accessibilità: la capacità di accedere in modo programmatico a tutti i metadati
- Scalabilità: la capacità di supportare molte richieste di lettura concorrenti
- Potenza: la capacità di supportare richieste di lettura e scrittura in più data center
Il raggiungimento di questi obiettivi di data discovery aumenta man mano che le organizzazioni maturano le loro competenze sui dati. Con l’aumentare della scala dei dati, ciascuna di queste componenti diventa via via più importante.
Lyft e Airbnb forniscono metadati dettagliati
Il team di engineering di Lyft sostiene che “i metadati sono il sacro Graal delle applicazioni future.” Suddividono i metadati in due sottocategorie. La prima è un insieme descrittivo composto da contesto applicativo (cioè ciò che gli esseri umani devono sapere sui dati per operarci), comportamento (cioè chi possiede un determinato dataset e i suoi schemi d’uso comuni) e cambiamento (cioè come il dataset evolve nel tempo). La seconda componente è costituita dai dati descritti, ovvero qualsiasi dato archiviato nell’organizzazione in qualunque formato, come data store, dashboard, datastream e altro.
Nello sviluppo di Dataportal, la piattaforma di data discovery di Airbnb, i metadati sono stati una parte integrante del valore aggiunto alla pipeline dati. Prima dell’introduzione di Dataportal, molti dipendenti non si fidavano dei dati che utilizzavano per la mancanza di contesto e metadati. Airbnb sostiene che “la comprensione dell’intero ecosistema dei dati, dalla produzione di un event log al suo utilizzo in visualizzazione, fornisce più valore della somma delle sue parti.”
Fonte: Airbnb
Garantire risultati di ricerca di alta qualità con la data discovery
Una volta fornito questo contesto, la data discovery richiede una ricerca efficace. Per quanto ogni tabella sia affidabile e facile da comprendere, le piattaforme di data discovery sono utili solo se gli analisti riescono a trovare rapidamente i dati di cui hanno bisogno.
La landing page di Lyft Amundsen permette di cercare tabelle con query in linguaggio naturale e offre visibilità sulle tabelle più popolari usate nell’organizzazione per un accesso rapido. Inoltre, gli analisti possono lasciare feedback sulla tabella per migliorare i risultati di ricerca futuri.
La soluzione di data discovery di Facebook, Nemo, consente agli analisti di filtrare per utilizzo, restrizioni di privacy e freschezza dei dati, sfruttando al contempo la competenza di Facebook nell’elaborazione del linguaggio naturale consentendo agli utenti di digitare domande nella barra di ricerca per ottenere le tabelle pertinenti.
Uber Databook offre funzionalità di filtro di ricerca simili, permettendo agli analisti di filtrare per dimensioni come nome, proprietario, colonna e colonne annidate. Uber utilizza Elasticsearch per restituire risultati di ricerca in modo rapido ed efficace.
Raggiungere la democratizzazione dei dati attraverso la data discovery
Scalare la data fluency e l’individuabilità dei dati va di pari passo, poiché gli analisti devono avere un accesso semplice ai dati per prendere decisioni informate.
Le organizzazioni con bassa maturità dei dati dovrebbero concentrarsi sullo sviluppo delle competenze e della cultura dei dati e sullo scaling dell’infrastruttura dati. Tuttavia, man mano che le organizzazioni avanzano nel percorso di maturità e ampliano l’accesso ai dati, abilitare una data discovery estendibile e scalabile sarà fondamentale per diventare un’organizzazione data-driven. Per un approfondimento su tutte le leve per far crescere la maturità dei dati a livello organizzativo, guarda il nostro webinar su il percorso verso la data fluency o svolgi il data maturity assessment.
