Data science groeit hard, maar niet elke rol in de sector ontwikkelt zich in hetzelfde tempo. Data engineering wint snel aan momentum. Volgens het DICE Tech Report 2020 was data engineering de snelst groeiende techfunctie, vóór traditionele datarollen zoals data scientists of cloudgerelateerde functies. De functie stond ook in het LinkedIn U.S. Emerging Jobs Report 2020 bij de 15 opvallendste opkomende banen van de afgelopen vijf jaar.
Bron: DICE
Maar de toenemende vraag leidt tot felle concurrentie tussen bedrijven om talent aan te trekken. Data engineers zijn relatief nieuwe functies en nog steeds schaars op de arbeidsmarkt.
Hoe zorg je ervoor dat je bedrijf een sterke kandidaat aanneemt? Vacatureteksten kunnen een groot verschil maken. Een goed geschreven vacaturetekst schept duidelijke verwachtingen voor werkgevers om met kandidaten te delen, waardoor de kans op een goede match toeneemt.
Lees verder voor een uitgebreide gids met best practices voor het schrijven van een vacaturetekst voor een data engineer die echt impact heeft. Of je nu op zoek bent naar de juiste kandidaat of hoopt om data engineer te worden, dit artikel helpt je te begrijpen wat er in deze rol gevraagd wordt.
Rollen en verantwoordelijkheden van een data engineer
Data engineers leggen de basis voor het verzamelen, opslaan, transformeren en beheren van data binnen een organisatie. Ze zijn verantwoordelijk voor het ontwikkelen en onderhouden van de database-architectuur en dataverwerkingssystemen. Deze infrastructuur is essentieel om de ontwikkeling van geavanceerde data-applicaties, zoals datavisualisatie, en de uitrol van machinelearningmodellen soepel, veilig en effectief te laten verlopen.
Vanwege de complexiteit van deze taken zijn data engineers zeer technische dataprofessionals, op het snijvlak van data science en softwareontwikkeling. We hebben een volledig artikel geschreven over wat data engineers doen, maar we geven hier alvast een korte samenvatting.
Hoewel verantwoordelijkheden en gebruikte technologieën per bedrijf verschillen, draait hun werk in de kern om de volgende taken:
- ETL-processen. ETL omvat een set processen en routines om data uit meerdere bronnen te extraheren, te transformeren en te laden, en deze tussen verschillende omgevingen te verplaatsen. Data engineers zorgen ervoor dat de grote hoeveelheid data uit verschillende bronnen toegankelijk ruwe grondstof wordt voor andere dataprofessionals, zoals data-analisten en data scientists. ETL-processen worden vaak uitgevoerd via zogenaamde data pipelines, waarmee we de verschillende taken kunnen automatiseren, inplannen en opschalen.
- Data opschonen. Over het algemeen neemt de kans op fouten in data toe naarmate er meer databronnen nodig zijn voor de bedrijfsactiviteiten. Het is dan ook niet verrassend dat data engineers een groot deel van hun tijd besteden aan het opschonen van data: het herstellen of verwijderen van onjuiste, beschadigde, verkeerd geformatteerde, dubbele of onvolledige data.
- Datamonitoring. Tussen de conceptfase en de productiefase van een machinelearningmodel ligt een lang traject vol mogelijke obstakels. Data engineers houden zich ook bezig met het monitoren en optimaliseren van de data-architectuur en dataverwerkingssystemen.
Als je data engineer wilt worden, is onze Data Engineer With Python Track een geweldige manier om te beginnen.
Wat hoort er in een vacaturetekst voor een data engineer
In dit onderdeel bekijken we welke elementen je in de verschillende delen van een vacaturetekst voor een data engineer moet opnemen.
Omschrijving
Dit onderdeel geeft een introductie van de functie. Neem een korte beschrijving op van het bedrijf en waarom er een nieuwe data engineer wordt gezocht. Vermeld ook de soorten taken en projecten waar de succesvolle kandidaat mee aan de slag gaat, evenals enkele technische vereisten van de baan. Geef tot slot aan naar welk ervaringsniveau je bedrijf op zoek is. Dit helpt werkzoekenden snel te beslissen of ze meer tijd en energie willen investeren in een formele sollicitatie.
Verantwoordelijkheden van een data engineer
Een data engineer is een van de meest technische profielen binnen de data science-sector, met kennis en vaardigheden uit data science, softwareontwikkeling en databasemanagement.
Hoewel de specifieke verantwoordelijkheden per baan kunnen verschillen, zijn er bepaalde taken die elke data engineer moet kunnen uitvoeren. Hieronder vind je de belangrijkste:
- Architectuurontwerp. Hoewel het ontwerpen van de data-architectuur van een bedrijf soms door een data-architect wordt gedaan, is in veel gevallen de data engineer de verantwoordelijke. Dit vereist dat je vaardig bent met verschillende soorten databases, datawarehouses en analytische systemen.
- ETL-processen. Het verzamelen van data uit verschillende bronnen, deze verwerken en opslaan in een direct bruikbaar formaat in het datawarehouse van het bedrijf zijn enkele van de meest voorkomende activiteiten van data engineers.
- Beheer van data pipelines. Data pipelines zijn de beste vrienden van data engineers. Het uiteindelijke doel is om zoveel mogelijk dataprocessen te automatiseren, en daarbij zijn data pipelines cruciaal. Data engineers moeten vaardig zijn in het ontwikkelen, onderhouden, testen en optimaliseren van data pipelines.
- Uitrol van machinelearningmodellen. Terwijl data scientists verantwoordelijk zijn voor het ontwikkelen van machinelearningmodellen, zijn data engineers verantwoordelijk voor het in productie brengen ervan.
- Cloudbeheer. Cloudservices worden snel de standaardoptie voor veel bedrijven die het maximale uit hun datainfrastructuur willen halen. Nu steeds meer data-activiteiten in de cloud plaatsvinden, moeten data engineers kunnen werken met cloudtools bij aanbieders zoals AWS, Azure en Google Cloud.
- Datamonitoring. Het waarborgen van datakwaliteit is cruciaal om elk dataproces soepel te laten verlopen. Data engineers zijn verantwoordelijk voor het monitoren van alle processen en routines en het optimaliseren van de prestaties.
Ervaring
Data engineering is een relatief nieuwe rol binnen data science. Daarom bieden slechts enkele universiteiten en hogescholen zuivere data-engineeringopleidingen aan. Data engineers hebben doorgaans een achtergrond in data science, software-engineering, wiskunde of een bedrijfskundig domein.
Om de vijver met kandidaten te vergroten, kun je ook overwegen om kandidaten toe te laten die, ondanks een andere opleidingsachtergrond, hun competenties kunnen aantonen met meerdere jaren relevante werkervaring.
Minimale kwalificaties
Als zeer technische rol moeten data engineers met veel tools overweg kunnen. Toch is het lastig om een gedetailleerde en volledige lijst te maken van tools en technologieën die voor elk data-engineeringtraject nodig zijn, omdat het data science-ecosysteem snel evolueert en er voortdurend nieuwe technologieën en systemen verschijnen.
Omdat het onmogelijk is om ze allemaal te kennen, moet je alleen de software, technologieën en tools opnemen die nodig zijn voor de functie of die je in de toekomst wilt gaan gebruiken. Zorg er bij het opstellen van dit onderdeel voor dat je de kwalificaties specifiek voor data engineers formuleert, en niet in algemene data science-termen. Raadpleeg hiervoor de teamleden met wie de succesvolle kandidaat gaat samenwerken.
Naast technische vaardigheden moet je in dit onderdeel ook de benodigde soft skills opnemen.
Hier is een niet-uitputtende lijst met kwalificaties en vaardigheden die je in je vacaturetekst kunt opnemen:
- Gevorderde SQL-vaardigheden en relationeel databasemanagement
- Objectgeoriënteerde programmeertalen, zoals Python, Java en Scala.
- Ervaring met distributed computing-frameworks, zoals Hadoop of Spark
- Data pipelines en workflowmanagementtools (bijv. Airflow)
- Cloudoplossingen (bijv. AWS, Azure, Google Cloud)
- Sterke projectmanagement- en organisatorische vaardigheden.
- Uitstekende probleemoplossende, communicatieve en organisatorische vaardigheden.
- Aantoonbare vaardigheid om zowel zelfstandig als in teamverband te werken.
Extra tips voor het schrijven van een overtuigende vacaturetekst voor een data engineer
Zelfs met een perfect samengestelde set functieomschrijvingen en verwachtingen kan het grote volume aan vacatures jouw advertentie aan het zicht van kandidaten onttrekken. Om je vacatureteksten aantrekkelijk en klikbaar te houden, overweeg het volgende:
- Voeg het salarisbereik toe. Een onderzoek van SMART Recruit Online toont aan dat vacatures met een salarisindicatie meer dan 30% meer sollicitanten krijgen. Geef een salarisbereik voor data engineers dat past bij de vereisten en senioriteit om je ideale kandidaat binnen te halen.
- Neem secundaire arbeidsvoorwaarden op. Kandidaten worden kritischer over arbeidsomstandigheden en werk-privébalans. Noem deze om de vacature aantrekkelijker te maken.
- Geef inzicht in de werkcultuur. Deel details over het team, de cultuur en de waarden op de werkvloer. Dit helpt kandidaten zich voor te stellen hoe het is om bij jullie te werken en te beoordelen of ze bij jullie cultuur passen.
- Definieer het wervingsproces met HR. Kandidaten willen graag weten hoe het wervingsproces eruitziet, zodat ze zich kunnen voorbereiden op gesprekken en meetings.
