Corso
Introduzione a Python
4 ore
7.1M
La data science è in continua evoluzione, e lo stesso vale per i titoli e i ruoli all'interno di qualsiasi moderno team dati. Nei primi anni della data science, molti titoli di lavoro includevano il termine “big data”.
Negli ultimi due anni, con la crescente operazionalizzazione del machine learning, MLOps ha iniziato ad apparire in diversi titoli di lavoro. E oggi, man mano che le organizzazioni crescono nella alfabetizzazione dei dati e nella maturità analitica, stiamo assistendo all'ascesa del ruolo di analytics engineer.
In poche parole, gli analytics engineer fanno da ponte tra le funzioni di engineering e quelle degli analyst. Il loro ruolo è applicare le best practice di ingegneria per fornire dataset puliti e trasformati, pronti per l'analisi.
Questo articolo ha l'obiettivo di demistificare chi è un analytics engineer e cosa fa, confrontare il ruolo con altri ruoli data comuni e fornire risorse per entrare nell'analytics engineering.
Che cos'è un Analytics Engineer?
Dataform offre un'analogia perfetta per spiegare come gli analytics engineer si inseriscono nel più ampio team dati, usando un esempio familiare: gli armadietti. Tieni a mente questa analogia mentre vediamo perché gli analytics engineer sono in crescita.
“I data engineer costruiscono l'armadietto: mettono insieme il legno e gli attrezzi e lo assemblano. Gli analytics engineer aprono l'armadietto e iniziano a metterci dentro piatti, tazze e ciotole, disponendoli in un certo ordine. Potrebbe essere per colore, forma o dimensione. I data analyst poi vanno all'armadietto e sanno dove si trova tutto perché è disposto bene. Possono quindi afferrare la piccola tazza blu che cercavano e andarsi a fare una tazza di tè!”
Josie Hall, Program Manager at Google
Prima dell'ascesa dell'analytics engineering, i data analyst usavano strumenti di visualizzazione come Tableau o Power BI per fornire insight agli stakeholder. Questi strumenti sono ottimi per presentare i dati, ma non sono i migliori per trasformarli e archiviarli.
Immagina uno scenario in cui un data engineer distribuisce una pipeline che carica dati di marketing, ma la qualità dei dati è carente. Solo i data analyst del team marketing hanno la conoscenza del dominio per trasformare e migliorare la qualità dei dati. Tuttavia, non usano lo stesso stack tecnologico del data engineer.
Nel frattempo, i data engineer non hanno la conoscenza del dominio per capire rapidamente quali trasformazioni servono e con ogni probabilità sono sommersi da attività a più alta priorità che arrivano da tutta l'azienda. Di conseguenza, gli analyst potrebbero dover trasformare i dati in Tableau o Power BI costruendo una propria tabella temporanea in un database relazionale. Questo si traduce in inefficienze e tempi più lenti per ottenere insight.
Ed ecco che entra in gioco l'analytics engineer. L'analytics engineer si colloca tra il data analyst e il data engineer. Nello scenario sopra, avrebbe le competenze tecniche per ottimizzare le trasformazioni dei dati, insieme alla conoscenza del dominio.
Lavorando a stretto contatto con il data analyst, l'analytics engineer può fornire dati puliti per l'analisi trasformando i dati con gli strumenti e le tecnologie adeguate.
In cosa gli Analytics Engineer sono diversi dagli altri ruoli data?
I confini tra i diversi ruoli sono sfumati, quindi in cosa gli analytics engineer differiscono dagli altri ruoli data e come collaborano?
Analytics Engineer vs Data Analyst
I Data Analyst sono responsabili di analizzare i dati e riportare insight derivati dalle loro analisi. Hanno una profonda comprensione del workflow di analisi e comunicano i risultati con una combinazione di strumenti a codice e senza codice. In genere sono molto esperti in SQL e in strumenti di business intelligence come Power BI o Tableau, con un uso limitato di strumenti come R o Python.
Gli analytics engineer lavorano con i data analyst per ottimizzare i modelli di dati pronti per il consumo. Sono anche responsabili di mantenere la documentazione relativa ai dati, che consente ai data analyst di trovare insight più rapidamente.
Analytics Engineer vs Data Engineer
I Data Engineer sono responsabili di far arrivare i dati giusti nelle mani delle persone giuste. Creano e mantengono l'infrastruttura e le pipeline che portano terabyte di dati grezzi provenienti da fonti diverse in un luogo centralizzato con dati puliti e rilevanti per l'organizzazione.
È vero, questa definizione ha un alto livello di sovrapposizione con il ruolo di analytics engineer. Tuttavia, tornando all'esempio degli armadietti, i data engineer sono responsabili di assicurare che gli analytics engineer abbiano le giuste sorgenti dati da organizzare e modellare per il consumo da parte dei data analyst di un team dati.
Inoltre, i data engineer sono responsabili della configurazione di API personalizzate e pipeline ETL da fonti proprietarie — mentre gli analytics engineer dedicano molto più tempo a migliorare le pipeline da API di vendor come Google Analytics.
Analytics Engineer vs Data Scientist
I Data Scientist indagano, estraggono e riportano insight significativi sui dati dell'organizzazione. Comunicano questi insight agli stakeholder non tecnici e hanno una buona comprensione dei workflow di machine learning e di come collegarli alle applicazioni di business. Lavorano quasi esclusivamente con strumenti a codice come SQL, Python e R, conducono analisi e spesso lavorano con strumenti per big data.
La relazione tra data scientist e analytics engineer è simile a quella tra data analyst e analytics engineer. Gli analytics engineer permettono ai data scientist di concentrarsi più sugli insight e meno sulla pulizia e l'ottimizzazione dei dataset.
Analytics Engineer vs Machine Learning Engineer
I Machine Learning Engineer progettano e distribuiscono sistemi di machine learning che fanno previsioni a partire dai dati dell'organizzazione. Risolvono problemi come la previsione del churn dei clienti e del loro valore nel tempo e sono responsabili della messa in produzione dei modelli per l'uso da parte dell'organizzazione. Lavorano esclusivamente con strumenti basati su codice e sono molto più focalizzati sulla tecnologia rispetto alle loro controparti.
Gli analytics engineer sono molto più focalizzati sull'abilitare data analyst e data scientist, che sono responsabili di fornire insight agli stakeholder di business.
Confronti tra ruoli di Analytics Engineer
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Analizzare i dati e riportare insight agli stakeholder Creare dashboard utilizzati dall'intera organizzazione Sfruttare l'expertise sul dominio e la conoscenza del contesto per formulare raccomandazioni |
Creare e mantenere pipeline ETL usando API di vendor e proprietarie Ottimizzare e centralizzare i dati in un data lake o warehouse Consegnare dati alle pipeline di machine learning Processare dati nel cloud |
Analizzare i dati e riportare insight agli stakeholder Progettare esperimenti come A/B test Distribuire dashboard utilizzati dall'intera organizzazione Sviluppare workflow di apprendimento supervisionato e non supervisionato Analizzare tipi di dati non standard come serie temporali, testo, dati geospaziali o immagini |
Addestrare e distribuire modelli di machine learning Monitorare e migliorare le prestazioni dei modelli di machine learning in produzione Applicare le best practice di ingegneria del software al workflow di machine learning (CI/CD) |
Ottimizzare per il consumo le pipeline costruite dai data engineer Applicare le best practice di ingegneria ai modelli di dati usati da data analyst e data scientist Sviluppare, standardizzare e migliorare la documentazione sui dati |
|
R o Python SQL, Power BI, Tableau |
R o Python SQL Git, shell e strumenti da riga di comando Strumenti big data come Airflow o Spark Strumenti cloud come AWS, Azure, GCP o Snowflake |
R o Python SQL Git, shell e strumenti da riga di comando Strumenti big data come Airflow o Spark |
R o Python SQL Git, shell e strumenti da riga di comando Strumenti big data come Airflow o Spark |
R o Python SQL Git, shell e strumenti da riga di comando Strumenti cloud come AWS, Azure, GCP, Snowflake o dbt |
Stipendi degli Analytics Engineer
Il ruolo di analytics engineer è agli inizi, il che significa che ci sono poche persone sul mercato con il giusto mix di competenze di engineering e di analytics necessario per avere successo. Questo rende il ruolo molto interessante dal punto di vista della retribuzione. Di seguito trovi alcuni intervalli salariali a cui puoi aspettarti negli Stati Uniti per ruoli di analytics engineering.
- Glassdoor: secondo Glassdoor, gli Analytics Engineer guadagnano in media 91.080 $ all'anno. Inoltre, a seconda della sede e dell'azienda, gli stipendi possono arrivare fino a 208.000 $ all'anno.
- Comparably: secondo Comparably, gli Analytics Engineer guadagnano in media 100.305 $ all'anno. Inoltre, a seconda della sede e dell'azienda, gli stipendi possono arrivare fino a 185.000 $ all'anno.
Sebbene i numeri sopra rappresentino fasce indicative per ruoli di analytics engineering lungo tutto lo spettro, vale anche la pena notare che aziende con una maturità dati molto elevata come Netflix pagano nella fascia alta del mercato della retribuzione individuale per i ruoli data. Ad esempio, secondo levels.FYI, gli Analytics Engineer di Netflix arrivano a guadagnare fino a 375.000 $ all'anno.
Come diventare un Analytics Engineer?
Man mano che i ruoli data si specializzano, anche i percorsi di upskilling diventano più mirati. A differenza di molti dei ruoli discussi sopra, gli analytics engineer richiedono un set di competenze ampio che li porta a imparare strumenti e concetti come i seguenti
SQL
SQL è probabilmente uno degli strumenti più usati in tutta l'analisi, in qualsiasi ruolo data. Per fortuna è anche uno dei più semplici da imparare e padroneggiare. Dai un'occhiata a questo articolo per vedere come imparare SQL, insieme ad altre risorse di apprendimento qui.
- Career Track: Data Analyst in SQL
- Skill Track: SQL Fundamentals
Python
Python è di fatto il linguaggio di programmazione più popolare al momento. Che tu stia entrando in ruoli di analytics engineering o in qualsiasi altro ruolo tra quelli citati sopra, Python tornerà sicuramente utile. Trova qui tutte le risorse per imparare Python e inizia con i seguenti percorsi.
- Career Track: Python Programmer
- Career Track: Data Analyst with Python
Strumenti ETL
ETL sta per “Extract, Transform, and Load”. Sono strumenti che consentono agli engineer di impostare pipeline che estraggono dati da diverse fonti, li trasformano in dati fruibili e li caricano nei database. Uno degli strumenti ETL open-source più popolari è Airflow. Guarda Airflow in azione in questo corso.
Strumenti di cloud computing
Sebbene “strumenti di cloud computing” sia certamente un termine ombrello, gli analytics engineer e gli altri ruoli data sfruttano regolarmente servizi di cloud computing come AWS, Azure, Google Cloud o Snowflake. Questi strumenti permettono ai team dati di archiviare, elaborare e distribuire dati e soluzioni data nel cloud. Lo strumento di cloud computing più diffuso è AWS. Puoi saperne di più su AWS consultando i corsi AWS di DataCamp elencati di seguito.
- Corso: AWS Cloud Concepts
- Corso: Introduction to AWS Boto in Python
Controllo di versione
Il controllo di versione è probabilmente la spina dorsale delle best practice di ingegneria del software. In poche parole, consente di tenere traccia di cosa si è fatto e quando, annullare le modifiche indesiderate e collaborare su larga scala con altri.
Strumenti da riga di comando come Git ti permettono di applicare le best practice del controllo di versione. Scopri di più su Git dando un'occhiata a questo cheat sheet!
Competenze comunicative
Sebbene ogni ruolo data richieda competenze comunicative a vari livelli, l'analytics engineering richiede lo stesso livello di comunicazione di un ruolo da data analyst, insieme alla solidità tecnica di un data engineer. Diventare un comunicatore migliore è una competenza, non un talento. Dai un'occhiata a Data Communication Concepts per migliorare le tue abilità di comunicazione tecnica.
Diventa un Analytics Engineer
L'Analytics Engineering, proprio come MLOps, è estremamente agli inizi. Per restare un passo avanti, esplora le risorse qui sotto.
