Il data engineering continua a essere una priorità per le aziende e, nel 2021, ci saranno sviluppi interessanti nell’ambito dell’infrastruttura dati. In un webinar recente, Maksim Percherskiy, Data Engineer presso The World Bank ed ex Chief Data Officer della Città di San Diego, ha evidenziato tre tendenze da tenere d’occhio in particolare: piattaforme di orchestrazione dei dati, motori di data discovery e data lakehouse.
Piattaforme di orchestrazione dei dati
Sebbene le piattaforme di orchestrazione esistano da molti anni per gestire sistemi informatici e software, la data orchestration è un concetto relativamente nuovo che astrae l’accesso ai dati tra i sistemi di storage, virtualizza i dati e li presenta alle applicazioni data-driven. Le piattaforme di orchestrazione aiutano le aziende a diventare più data-driven combinando dati frammentati da più archivi e rendendoli utilizzabili. Tra gli esempi ci sono Apache Airflow, Prefect, Luigi e Stitch, compatibili con approcci software moderni come il version control, il DevOps e l’integrazione continua.
Il corso di DataCamp Introduction to Airflow in Python è un ottimo punto di partenza per imparare a implementare e schedulare flussi ETL e workflow di data engineering in modo semplice e ripetibile.
Motori di data discovery
È logico che, con l’aumentare dei dati, le aziende investano più tempo per consentire ai team di trovare i dati di cui hanno bisogno, documentarli e ridurre il rework. Motori di data discovery come Amundsen di Lyft e Databook di Uber mirano a migliorare la produttività degli utenti dei dati offrendo un’interfaccia di ricerca. Questi strumenti si basano sui metadati, che supportano produttività e conformità consentendo all’infrastruttura dati di scalare con la crescita dell’azienda. L’obiettivo del data discovery è rendere i dati più FAIR: findable, accessible, interoperable, reusable (rintracciabili, accessibili, interoperabili e riutilizzabili).
Data lakehouse
Esistono casi d’uso diversi per data lake e data warehouse. Ognuno è progettato per scopi e utenti finali differenti. Ad esempio, i data warehouse sono tipicamente utilizzati dagli analisti per la business intelligence: contengono file piatti esplicitamente processati per il loro lavoro. I data lake, invece, sono configurati e mantenuti dai data engineer che li integrano nelle pipeline. I data scientist lavorano più a stretto contatto con i data lake, poiché contengono dati più ampi e aggiornati.
I data lakehouse sono esattamente ciò che suggerisce il nome: una combinazione di data lake e data warehouse. Piattaforme come Snowflake e Delta Lake di Databricks hanno creato soluzioni per fornire un’unica fonte di verità che unisce i vantaggi di data lake e data warehouse. I data lakehouse implementano le strutture e le funzionalità di gestione dei data warehouse sui data lake, che sono in genere più convenienti per l’archiviazione. Allo stesso tempo, mantengono schema e versioning dei dati. Con i data lakehouse, i data scientist possono svolgere sia machine learning sia business intelligence.
Fonte: Databricks
Tutte e tre queste tendenze saranno cruciali per scalare l’infrastruttura dati nel 2021. Sono utili sia per le aziende nate attorno ai dati sia per quelle che faticano a integrare i dati in modo sostenibile nei propri workflow. Scopri di più sulle sfide che le grandi aziende affrontano per rendere operativi i dati e diventare data-driven.
