Cosa fa un data engineer?

Avrai sentito dire che il data engineering è la nuova data science, e la crescita enorme del settore lo dimostra. Le aziende riconoscono sempre più il valore di assumere data engineer per progettare, costruire e mantenere l’architettura necessaria a rendere efficaci data science e analytics. Puoi leggere di più sulle differenze tra data engineer e data scientist in un articolo separato.

Potresti però chiederti anche: cosa fa davvero un data engineer? In questo articolo, analizziamo i diversi ruoli e responsabilità dei data engineer e il possibile percorso di carriera. Infine, sbirciamo dietro le quinte di un tipico progetto di data engineering che potresti incontrare in un’organizzazione. Se cerchi informazioni su come diventare data engineer, troverai utile il nostro articolo a parte. Puoi anche leggere come scrivere una job description per data engineer se stai cercando di assumere per questo ruolo.

Ruoli nel Data Engineering

Il data engineering coinvolge un’ampia varietà di competenze, strumenti e sistemi. Esistono quattro gruppi principali di ruoli per data engineer, e ciascuno deve padroneggiare un set di competenze e strumenti per lavorare in modo efficace.

• Generalisti. Coinvolti in tutti gli aspetti della raccolta, archiviazione, analisi e movimentazione dei dati. Devono conoscere e saper usare un’ampia gamma di strumenti e competenze.
• Specialisti nello storage dei dati. Responsabili della configurazione e gestione di database relazionali e non relazionali (come SQL, NoSQL e PostgreSQL), data warehouse (come Redshift e Panoply) e sistemi big data (come Hadoop e Spark).
• Specialisti in programmazione e pipeline. Creano e gestiscono il flusso dei dati tramite script e pipeline dati. Devono conoscere alcuni linguaggi di programmazione come Python, Java e C++.
• Specialisti in analytics. Lavorano a stretto contatto con data scientist e altri professionisti dell’analisi in azienda. Devono conoscere strumenti analitici (come Power BI e Tableau), librerie di machine learning (come TensorFlow e PyTorch) e altri strumenti di supporto ai progetti analitici (come strumenti ETL e sistemi big data).

Cosa fa un Data Engineer? Il percorso di carriera

Il percorso di carriera di un data engineer può variare in base alle dimensioni dell’azienda e alla maturità dei team dati. Tuttavia, la maggior parte dei data engineer in genere segue questo percorso:

• Junior data engineer
• Mid-level data engineer
• Senior data engineer
• Ruoli manageriali senior

Junior Data Engineer

All’inizio della carriera, i junior data engineer si occupano in genere di piccoli compiti di manutenzione e supporto dei sistemi esistenti. Può trattarsi di tutto, dal test dei sistemi alla ricerca e correzione di bug, fino all’aggiunta di funzionalità a un sistema già in uso. In queste prime fasi, un junior di solito non gestisce un progetto in autonomia, ma ricopre un ruolo di supporto ai colleghi senior.

La parte più importante dei primi anni come junior data engineer è imparare e fare esperienza pratica con gli strumenti che dovranno usare più avanti nella carriera. Imparano anche come i diversi team e reparti collaborano per trovare soluzioni ai problemi e ai quesiti che emergono.

Mid-Level Data Engineer

Un data engineer può essere promosso a mid-level dopo circa 1-3 anni. In questo momento può essere esposto a più aspetti di project management e potrebbe essere richiesto di collaborare maggiormente con altri team e reparti.

Di solito gli viene affidata la responsabilità di progettare e costruire sistemi che supportino i data scientist e gli altri membri del team analitico. In questa fase può essere ancora sotto una certa supervisione da parte di un senior data engineer. Per svolgere efficacemente questo lavoro, deve sviluppare buone capacità di comunicazione e saper collaborare bene con altri team.

I data engineer possono rimanere a questo livello per circa 3-5 anni. In questo periodo avranno sviluppato le loro competenze di programmazione e dovrebbero conoscere tutti gli strumenti e i sistemi utilizzati nell’organizzazione. Sanno identificare e correggere eventuali bug o problemi che emergono e collaborano bene all’interno e tra i team.

Senior Data Engineer

Una volta raggiunto il livello senior, i data engineer assumono maggiori responsabilità manageriali. Potrebbero dover supervisionare uno o più data engineer, formandoli e assegnando loro progetti quando necessario.

A questo stadio, il data engineer è competente negli aspetti tecnici del ruolo e sa costruire sistemi e risolvere problemi con relativa facilità. Tuttavia, è ora più coinvolto nel lato business e deve pensare in modo strategico alla direzione dei progetti dati e all’efficacia a lungo termine e all’ottimizzazione dei sistemi.

Questo richiede un cambiamento nel modo di pensare, che può essere una sfida. Molti data engineer potrebbero non avere passione per le responsabilità strategiche e di business, quindi possono scegliere di non avanzare oltre in azienda.

Ruoli manageriali senior

Dopo circa sei anni o più di esperienza, i data engineer possono passare a ruoli più manageriali, se lo desiderano, come:

• Data engineering manager
• Director of data engineering
• Chief data officer

Oltre a un’elevata padronanza delle competenze tecniche acquisite ai livelli precedenti, questi ruoli richiedono al data engineer forti competenze in infrastruttura e architettura dei dati e la capacità di gestire e scalare team analitici. Devono anche saper definire i processi per sviluppare sistemi ad alte prestazioni, delineare nuovi progetti e definire e gestire le SLA per i sistemi nuovi ed esistenti.

Cosa fa un Data Engineer? Un tipico progetto di Data Engineering

Vediamo alcuni dei ruoli e delle responsabilità del data engineer. Supponiamo che tu lavori per una grande azienda che offre un servizio di consegna cibo ai clienti tramite un’app mobile. L’app funge da intermediario tra ristorante e driver. I clienti effettuano gli ordini sull’app e il ristorante viene avvisato. Una volta che il cibo è pronto, viene assegnato un driver e il cibo viene consegnato al cliente.

Come puoi immaginare, un’app del genere può generare moltissimi dati ogni giorno. Dai dati su ristoranti, driver e clienti, ai log per ogni interazione sull’app. Considera anche i dati raccolti per le chiamate al servizio clienti per reclami, complimenti o contestazioni. O persino i log degli errori che si verificano sull’app.

Se a un data scientist o a un data analyst della tua azienda viene affidato il compito di identificare tendenze negli ordini da usare poi per costruire un modello di machine learning, per farlo si rivolge a te per estrarre e preparare i dati sugli ordini aggregati per giorno. Deve anche poter suddividere i dati tra clienti alla prima esperienza e clienti abituali.

Chiarire la richiesta

Per risolvere questo problema, il data engineer deve prima chiarire la richiesta seguendo questi passaggi:

1. Identificare la granularità, per ordine, per giorno, settimana, mese, anno. In base alla richiesta sopra, i dati sugli ordini devono essere aggregati per giorno con una suddivisione per tipo di cliente (prima esperienza o abituale).
2. Verificare se applicare filtri ai dati, ad esempio per paese o modello di telefono.
3. Definire l’intervallo temporale dei dati. Per esempio, riguarda tutto il periodo o solo l’ultimo anno?
4. Identificare le fonti e/o le tabelle dei dati. Questi dati sono archiviati in un data warehouse centrale e il data engineer dovrà accedere alla tabella degli ordini e a quella dei clienti. Se servono ulteriori filtri, potrebbe essere necessario accedere ad altre tabelle.

Estrazione dei dati

Una volta chiarito il problema, il data engineer può passare all’estrazione ed esplorazione dei dati eseguendo questi passaggi:

1. Identificare quali join usare tra le tabelle ordini e clienti e quali sono le relazioni tra queste tabelle (ad esempio quali chiavi usare per il join). Questo richiede una solida conoscenza di SQL e di data modeling.
2. Creare una variabile categoriale per il tipo di cliente in base al numero di ordini effettuati da ciascun cliente. Questa variabile deve contenere le categorie "cliente alla prima esperienza" e "cliente abituale".
3. Valutare la qualità dei dati. Identificare se dati mancanti o anomali devono essere corretti.

Una volta che il data engineer ha preparato i dati richiesti da data scientist o data analyst, deve creare un endpoint API che possa essere interrogato per estrarre i dati. Questo progetto nel suo complesso può richiedere da pochi giorni a qualche mese, a seconda del volume e della complessità dei dati.

Durante tutto il processo, il data engineer può dover lavorare con molti sistemi diversi a seconda di dove sono archiviati i dati e se sono necessarie ulteriori elaborazioni.

Esempi di sistemi che si possono incontrare in questo caso sono SQL Server, Hadoop o Redshift per l’archiviazione dei dati, SQL per interrogare i dati e Python per scrivere gli script che elaborano i dati.

Considerazioni finali

Come vedi, un tipico progetto di data engineering richiede alcune competenze fondamentali cruciali per il data engineering, come costruire pipeline dati. Per accelerare l’apprendimento e prepararti a un ruolo nel data engineering, prova la skill track Python for Data Engineering su DataCamp. Per fare una prima esperienza pratica con i cloud data warehouse, prova il nostro Progetto Esplorare la rete di trasporti di Londra. Offre un’ottima opportunità per lavorare con Amazon Redshift, Google BigQuery e Snowflake direttamente nel browser. Infine, per certificare le tue competenze di data engineer, sostieni la nostra certificazione da data engineer.

Speriamo che questo articolo ti abbia dato qualche spunto sul ruolo dei data engineer e su cosa fanno realmente. Se stai pensando di iniziare una carriera nel data engineering, dovresti anche avere più familiarità con il percorso di carriera che puoi aspettarti.