Data Scientist vs Data Engineer

Data Science vs Data Engineering: responsabilità

Responsabilità dei data engineer

Il data engineer sviluppa, costruisce, testa e mantiene architetture come database e sistemi di elaborazione su larga scala. Il data scientist, invece, pulisce, trasforma e organizza i (big) data.

Potresti trovare l’uso del verbo "massaggiare" particolarmente curioso, ma evidenzia ancor di più la differenza tra data engineer e data scientist.

In generale, l’impegno richiesto a entrambe le figure per portare i dati in un formato utilizzabile è notevolmente diverso.

I data engineer lavorano con dati grezzi che contengono errori umani, di macchine o di strumenti. I dati potrebbero non essere validati e contenere record sospetti. Saranno non formattati e possono includere codici specifici di sistema.

I data engineer dovranno raccomandare e talvolta implementare modalità per migliorare l’affidabilità, l’efficienza e la qualità dei dati. Per farlo, dovranno utilizzare una varietà di linguaggi e strumenti per integrare sistemi diversi o cercare opportunità per acquisire nuovi dati da altri sistemi, in modo che, ad esempio, i codici specifici di sistema possano diventare informazioni utilizzabili per ulteriori elaborazioni da parte dei data scientist.

Strettamente legato a questi aspetti c’è il fatto che i data engineer devono garantire che l’architettura esistente supporti i requisiti dei data scientist, degli stakeholder e del business.

Infine, il team di data engineering dovrà sviluppare processi sui dataset per la modellazione, il mining e la produzione, così da consegnare i dati al team di data science.

Scopri di più su cosa fa un data engineer nel nostro articolo completo. 

Responsabilità dei data scientist

I data scientist di solito ricevono già dati che hanno superato un primo round di pulizia e manipolazione, che possono usare per alimentare programmi di analisi avanzata e metodi di machine learning e statistica per preparare i dati a modelli predittivi e prescrittivi. Naturalmente, per costruire i modelli devono fare ricerca su temi di settore e di business, e sfruttare grandi volumi di dati da fonti interne ed esterne per rispondere alle esigenze aziendali. Questo a volte implica anche esplorare ed esaminare i dati per trovare pattern nascosti.

Una volta completate le analisi, i data scientist devono presentare una storia chiara ai principali stakeholder. Quando i risultati vengono accettati, devono assicurarsi che il lavoro sia automatizzato, così che gli insight possano essere forniti agli stakeholder aziendali su base quotidiana, mensile o annuale.

È evidente che entrambe le figure devono collaborare per gestire i dati e fornire insight per decisioni critiche di business. C’è una chiara sovrapposizione di competenze, ma nel settore le due figure stanno diventando sempre più distinte: mentre il data engineer lavora con sistemi di database, API di dati e strumenti per l’ETL ed è coinvolto nella modellazione dei dati e nella configurazione di soluzioni di data warehouse, il data scientist deve conoscere statistica, matematica e machine learning per costruire modelli predittivi.

Il data scientist deve conoscere il calcolo distribuito, perché avrà bisogno di accedere ai dati elaborati dal team di data engineering. Deve anche saper riportare ai business stakeholder, quindi un focus sullo storytelling e sulla visualizzazione è essenziale.

Per quanto riguarda l’attenzione alle varie fasi del workflow di data science, lo puoi vedere nell’immagine qui sotto:

Data Science vs Data Engineering: linguaggi, strumenti e software

Ovviamente, questa differenza nelle competenze si traduce in differenze nei linguaggi, negli strumenti e nel software utilizzati. La panoramica seguente include sia alternative commerciali sia open source.

Anche se gli strumenti usati da entrambe le figure dipendono molto da come il ruolo è concepito nel contesto aziendale, i data engineer spesso lavorano con strumenti come SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, Neo4j, Hive e Sqoop.

I data scientist usano linguaggi come SPSS, R, Python, SAS, Stata e Julia per costruire modelli. Gli strumenti più popolari qui sono, senza dubbio, Python e R. Quando lavori con Python e R per la data science, spesso ricorri a pacchetti come ggplot2 per creare visualizzazioni straordinarie in R o alla libreria di manipolazione dei dati in Python, Pandas. Naturalmente, ci sono molti altri pacchetti utili nei progetti di data science, come scikit-learn, NumPy, Matplotlib, Statsmodels, ecc.

Nel settore, anche i software commerciali SAS e SPSS vanno bene, ma altri strumenti come Tableau, RapidMiner, Matlab, Excel e Gephi entrano spesso nella cassetta degli attrezzi del data scientist.

Si nota di nuovo che una delle principali distinzioni tra data engineer e data scientist, l’enfasi sulla visualizzazione dei dati e sullo storytelling, si riflette negli strumenti citati.

Come avrai già intuito, Scala, Java e C# sono strumenti, linguaggi e software in comune tra le due figure.

Questi linguaggi non sono necessariamente i più amati dai data scientist e dai data engineer. Si potrebbe sostenere che Scala sia più popolare tra i data engineer perché la sua integrazione con Spark è particolarmente utile per impostare grandi flussi ETL.

Lo stesso vale per Java: al momento la sua popolarità è in crescita tra i data scientist, ma in generale non è usato quotidianamente da tutti i professionisti. In ogni caso, vedrai questi linguaggi comparire nelle offerte di lavoro per entrambi i ruoli. Lo stesso si può dire per strumenti in comune come Hadoop, Storm e Spark.

Ovviamente, il confronto tra strumenti, linguaggi e software va calato nello specifico contesto in cui lavori e in come interpreti i ruoli di data science in questione; in alcuni casi specifici, data science e data engineering possono essere molto vicini, al punto che la distinzione tra i team è così ridotta che talvolta vengono uniti.

Se questa sia una buona idea o meno è materiale sufficiente per un’altra discussione, che esula dallo scopo del post di oggi.

Data Science vs Data Engineering: background formativo

Oltre a tutto questo, data scientist e data engineer potrebbero avere qualcosa in comune: il background in informatica. Questa area di studi è molto diffusa per entrambe le professioni. Naturalmente, vedrai anche che i data scientist spesso hanno studiato econometria, matematica, statistica e ricerca operativa. Spesso hanno un po’ più di sensibilità per il business rispetto ai data engineer. Molto spesso i data engineer provengono anche da percorsi di ingegneria; non di rado hanno una formazione in ingegneria informatica.

Tuttavia, questo non significa che non troverai data engineer che abbiano acquisito conoscenze operative e sensibilità di business da studi precedenti.

Devi considerare che, in generale, l’industria della data science è composta da professionisti con background diversi: non è raro che fisici, biologi o meteorologi confluiscano nella data science. Altri hanno cambiato carriera verso la data science provenendo da sviluppo web, amministrazione di database, ecc.

Data Science vs Data Engineering: stipendi e assunzioni

Negli Stati Uniti, lo stipendio medio annuo di un data scientist è di $123.069, con un range da $78k a $194k. In vari paesi si osserva una tendenza simile, con lo stipendio medio dei data scientist almeno del 30% superiore alla media nazionale (e in India questa percentuale è significativamente più alta!).

Lo stipendio medio annuo per i data engineer negli Stati Uniti è $125.686; in altri paesi, la media degli stipendi è molto simile a quella dei data scientist.

Entrambi i ruoli sono molto richiesti. Al momento della stesura, Indeed elenca oltre 10.000 posizioni per data scientist e oltre 5.000 per data engineer negli Stati Uniti. Aziende leader come Spotify, Meta, Amazon, Google e Microsoft assumono quasi sempre per entrambi i ruoli.

Data Science vs Data Engineering: prospettive

Come descritto in precedenza, la creazione di ruoli e titoli serve a riflettere esigenze in cambiamento, ma talvolta nasce come modo per differenziarsi dalle altre aziende che reclutano.

Oltre alla crescente attenzione per la gestione dei dati, le aziende cercano soluzioni più economiche, flessibili e scalabili per archiviare e gestire i propri dati. Vogliono spostare i dati sul cloud e, per farlo, hanno bisogno di costruire "data lake" per integrare i data warehouse già esistenti o sostituire l’Operational Data Store (ODS).

I flussi di dati dovranno essere reindirizzati e sostituiti nei prossimi anni e, di conseguenza, l’attenzione e il numero di annunci per l’assunzione di data engineer sono aumentati gradualmente nel tempo.

Il ruolo del data scientist è molto richiesto dall’inizio dell’hype, ma oggi le aziende cercano di comporre team di data science invece di assumere data scientist “unicorno” che possiedano capacità di comunicazione, creatività, ingegno, curiosità, competenze tecniche, ecc. Per i recruiter è difficile trovare persone che incarnino tutte le qualità richieste dalle aziende, e la domanda supera chiaramente l’offerta.

Si potrebbe sostenere che la "bolla dei data scientist" sia scoppiata. O forse stava per farlo finché i progressi dell’IA come GPT-3 e GPT-4 non hanno travolto il mondo.

Una cosa resterà costante in tutto questo: la domanda di esperti appassionati di temi di data science esisterà sempre. Le prospettive occupazionali per questi esperti sono molto positive. Ad esempio, il Bureau of Labor Statistics degli Stati Uniti prevede 20.800 nuove posizioni per data scientist ogni anno per il prossimo decennio, con una crescita del 36% dal 2023 al 2033, molto più rapida della media di tutte le occupazioni. Le prospettive sono altrettanto positive per le posizioni da data engineer.

Data Science vs Data Engineering: riepilogo

Iniziare con Data Engineering e Data Science

Se vuoi tracciare il tuo percorso per iniziare una carriera in uno dei due ruoli, le nostre guide sono un ottimo punto di partenza:

• Come diventare data scientist
• Come diventare data engineer

Se vuoi iniziare subito il tuo percorso di apprendimento, DataCamp ha quello che fa per te. Abbiamo molti corsi ideali se vuoi iniziare a studiare data engineering. Per esempio, i corsi di DataCamp Importare dati in Python e Importare dati in R. La nostra Certificazione Data Engineer è un’altra ottima opzione per dimostrare ai recruiter che hai le competenze richieste per un ruolo entry-level.

Per chi vuole iniziare con la data science, ci sono i corsi Analisi esplorativa dei dati, Introduzione a R per la Data Science, Machine Learning Toolbox e Introduzione a Python per la Data Science. Allo stesso modo, la nostra Certificazione Data Scientist è molto apprezzata e ti aiuterà a entrare nelle aziende leader.