La data science è in piena espansione, ma non tutti i ruoli del settore crescono allo stesso ritmo. Il data engineering sta guadagnando rapidamente slancio. Secondo il Tech Report 2020 di DICE, il data engineering è stato il lavoro tech in più rapida crescita, superando altre posizioni tradizionali legate ai dati, come data scientist o ruoli nel cloud. La professione è stata inserita anche nel LinkedIn U.S. Emerging Jobs Report 2020 tra i 15 lavori emergenti più rilevanti degli ultimi cinque anni.
Fonte: DICE
Ma questa crescente domanda si traduce in una forte concorrenza tra le aziende per attrarre candidati di talento. I data engineer sono figure relativamente nuove e sono ancora scarse sul mercato del lavoro.
Come assicurarti che la tua azienda assuma un candidato solido? Le job description possono fare una grande differenza. Una job description ben scritta stabilisce un set chiaro di aspettative che i datori di lavoro possono comunicare ai candidati, aumentando così le probabilità di trovare il giusto match.
Continua a leggere per una guida completa alle best practice per scrivere una job description per data engineer che abbia impatto. Che tu stia cercando il candidato giusto o sperando di diventare un data engineer, questo articolo ti aiuterà a capire cosa richiede questo ruolo.
Ruoli e responsabilità del Data Engineer
I data engineer sono responsabili di gettare le basi per l'acquisizione, l'archiviazione, la trasformazione e la gestione dei dati in un'organizzazione. Si occupano di sviluppare e mantenere l'architettura dei database e i sistemi di elaborazione dei dati. Questa infrastruttura è fondamentale per garantire che lo sviluppo di applicazioni data-driven di alto livello, come la visualizzazione dei dati, e il deployment di modelli di machine learning avvengano in modo fluido, sicuro ed efficace.
A causa della complessità di questi compiti, i data engineer sono professionisti altamente tecnici, al crocevia tra data science e sviluppo software. Abbiamo dedicato un intero articolo a cosa fa un data engineer, ma qui includiamo alcune note sintetiche.
Sebbene responsabilità e tecnologie utilizzate dai data engineer varino tra le aziende, il loro lavoro si muove fondamentalmente tra le seguenti attività:
- Processi ETL. ETL comprende un insieme di processi e routine per estrarre, trasformare e caricare dati da più fonti e spostarli tra diversi ambienti. I data engineer si assicurano che l'elevato volume di dati raccolti da fonti differenti diventi una materia prima accessibile per altri professionisti dei dati, come data analyst e data scientist. I processi ETL sono spesso eseguiti tramite le cosiddette data pipeline, che consentono di automatizzare, programmare e scalare le diverse attività.
- Pulizia dei dati. In generale, la probabilità di errori nei dati aumenta con il numero di fonti richieste da un'azienda per le proprie attività. Non sorprende quindi che i data engineer trascorrano gran parte del loro tempo a pulire i dati, ovvero correggere o rimuovere dati errati, corrotti, formattati in modo non corretto, duplicati o incompleti.
- Monitoraggio dei dati. Tra la fase di ideazione e quella di produzione di un modello di machine learning c'è un lungo percorso pieno di potenziali ostacoli. I data engineer si occupano anche del monitoraggio e dell'ottimizzazione dell'architettura dei dati e dei sistemi di elaborazione.
Se ti interessa diventare un data engineer, un ottimo modo per iniziare è il nostro Percorso Data Engineer con Python.
Cosa includere nella job description per Data Engineer
In questa sezione vedremo gli elementi da includere nelle diverse parti di una job description per data engineer.
Descrizione
Questa sezione introduce la posizione. Dovresti includere una breve descrizione dell'azienda e il motivo per cui sta cercando un nuovo data engineer. Aggiungi anche il tipo di attività e progetti di cui si occuperà la persona selezionata, oltre ad alcuni requisiti tecnici del ruolo. Infine, indica il livello di esperienza richiesto dalla tua azienda. Questo aiuterà chi cerca lavoro a decidere rapidamente se investire più tempo ed energie nella preparazione della candidatura formale.
Responsabilità del Data Engineer
Il data engineer è uno dei profili più tecnici nell'industria della data science, che combina conoscenze e competenze di data science, sviluppo software e gestione di database.
Sebbene le responsabilità specifiche possano variare a seconda del ruolo, ci sono alcune attività che ogni data engineer dovrebbe essere in grado di svolgere. Di seguito trovi le più importanti:
- Progettazione dell'architettura. Sebbene progettare l'architettura dei dati di un'azienda sia talvolta compito di un data architect, in molti casi è il data engineer a occuparsene. Ciò richiede familiarità con diversi tipi di database, data warehouse e sistemi analitici.
- Processi ETL. Raccogliere dati da diverse fonti, elaborarli e archiviare il tutto in un formato pronto all'uso nel data warehouse dell'azienda è una delle attività più comuni dei data engineer.
- Gestione delle data pipeline. Le data pipeline sono le migliori alleate dei data engineer. L'obiettivo finale è automatizzare il più possibile i processi sui dati, e qui le pipeline sono fondamentali. I data engineer devono saper sviluppare, mantenere, testare e ottimizzare le data pipeline.
- Deployment di modelli di machine learning. Mentre i data scientist sono responsabili dello sviluppo dei modelli di machine learning, i data engineer sono responsabili di portarli in produzione.
- Gestione del cloud. I servizi cloud stanno diventando rapidamente l'opzione preferita per molte aziende che vogliono sfruttare al massimo la propria infrastruttura dati. Poiché un numero crescente di attività sui dati avviene nel cloud, i data engineer devono saper lavorare con strumenti cloud ospitati presso provider come AWS, Azure e Google Cloud.
- Monitoraggio dei dati. Garantire la qualità dei dati è cruciale per far funzionare senza intoppi ogni processo. I data engineer sono responsabili del monitoraggio di ogni processo e routine e dell'ottimizzazione delle prestazioni.
Esperienza
Il data engineering è un ruolo relativamente nuovo nella data science. Di conseguenza, poche università offrono corsi dedicati esclusivamente al data engineering. I data engineer hanno generalmente un background in data science, ingegneria del software, matematica o ambiti business-affini.
Per aumentare il bacino di candidati, potresti anche considerare chi, pur avendo un percorso formativo diverso, può dimostrare le proprie competenze con diversi anni di esperienza lavorativa rilevante.
Qualifiche minime
Essendo un ruolo altamente tecnico, i data engineer devono saper usare molti strumenti. Tuttavia, è molto difficile redigere un elenco dettagliato e completo di strumenti e tecnologie necessari per avere successo in qualsiasi ruolo di data engineering, perché l'ecosistema della data science evolve rapidamente e compaiono costantemente nuove tecnologie e sistemi.
Dato che conoscerli tutti è impossibile, dovresti includere solo software, tecnologie e strumenti necessari per il lavoro o che si prevede di adottare in futuro. Quando prepari questa sezione della job description per data engineer, assicurati di inquadrare le qualifiche in modo specifico per i data engineer, invece di elencare competenze generiche di data science. Per farlo, confrontati con i membri del team con cui la persona selezionata lavorerà.
Oltre alle competenze tecniche, in questa sezione dovresti includere anche le soft skill richieste dal ruolo.
Ecco un elenco non esaustivo di qualifiche e competenze da includere nella tua job description:
- Competenze avanzate in SQL e gestione di database relazionali
- Linguaggi di programmazione orientati agli oggetti, come Python, Java e Scala.
- Esperienza con framework di calcolo distribuito, come Hadoop o Spark
- Data pipeline e strumenti di gestione dei workflow (ad es. Airflow)
- Soluzioni basate su cloud (ad es. AWS, Azure, Google Cloud)
- Ottime capacità di project management e organizzazione.
- Eccellenti capacità di problem solving, comunicazione e organizzazione.
- Comprovata capacità di lavorare in autonomia e in team.
Consigli extra per scrivere una job description per Data Engineer efficace
Anche con un set di descrizioni e aspettative perfettamente curate, l'enorme volume di annunci può far finire il tuo fuori dal radar dei candidati. Per mantenere la tua job description interessante e cliccabile, considera quanto segue:
- Includi la fascia retributiva. Uno studio di SMART Recruit Online ha rilevato che quando gli annunci includono una fascia salariale, ricevono oltre il 30% in più di candidature. Fornisci una fascia di retribuzione per data engineer coerente con requisiti e seniority per assicurarti il candidato ideale.
- Indica i benefit. I candidati sono sempre più attenti alle condizioni di lavoro e all'equilibrio tra vita privata e lavoro. Assicurati di includerli per rendere l'offerta più attraente.
- Offri uno sguardo sulla cultura aziendale. Condividi dettagli sul team, la cultura e i valori del luogo di lavoro. Aiuterà i candidati a immaginarsi al tuo fianco e a verificare l'allineamento con i tuoi valori.
- Definisci il processo di selezione con le risorse umane. I candidati vogliono sapere come si svolgerà il processo di selezione per potersi preparare a colloqui e incontri.
