Cursus
Introductie tot Python
4 uur
7.1M
Data science is voortdurend in ontwikkeling, en datzelfde geldt voor functietitels en rollen binnen elk modern datateam. In de begindagen van data science bevatten veel functietitels de term “big data”.
In de afgelopen twee jaar, naarmate machine learning steeds meer geoperationaliseerd werd, dook MLOps op in verschillende functietitels. En vandaag, nu organisaties groeien in hun datageletterdheid en analytics-volwassenheid, zien we de opkomst van de rol van analytics engineer.
Kort gezegd slaan analytics engineers een brug tussen engineering- en analistenfuncties. Hun rol is om best practices uit engineering toe te passen om schone, getransformeerde datasets te leveren die klaar zijn voor analyse.
Dit artikel heeft als doel te verduidelijken wat een analytics engineer is en doet, de rol te vergelijken met andere veelvoorkomende datarollen, en bronnen te bieden om in analytics engineering aan de slag te gaan.
Wat is een Analytics Engineer?
Dataform gebruikt een fantastische analogie om te laten zien hoe analytics engineers in het bredere datateam passen, met een herkenbaar voorbeeld—keukenkastjes. Houd deze analogie in gedachten terwijl we bekijken waarom analytics engineers in opkomst zijn.
“Data engineers bouwen het kastje, ze verzamelen het hout en het gereedschap en zetten het in elkaar. De analytics engineers doen het kastje open en beginnen de borden, mokken en kommen erin te zetten en ze op een bepaalde manier te ordenen. Dat kan op kleur, vorm of grootte zijn. Data-analisten lopen vervolgens naar het kastje en weten waar alles ligt omdat het netjes is ingedeeld. Dan kunnen ze die kleine blauwe mok pakken waar ze naar zochten en een kop thee maken!”
Josie Hall, Program Manager at Google
Voor de opkomst van analytics engineering gebruikten data-analisten visualisatietools zoals Tableau of Power BI om inzichten te leveren aan stakeholders. Deze tools zijn uitstekend om data te presenteren, maar niet de beste manier om data te transformeren en op te slaan.
Stel je een scenario voor waarin een data engineer een datapijplijn uitrolt die marketingdata laadt, maar de datakwaliteit laat te wensen over. Alleen de data-analisten binnen het marketingteam hebben de domeinkennis om de data te transformeren en de kwaliteit te verbeteren. Zij gebruiken echter niet dezelfde technologiestack als de data engineer.
Tegelijkertijd hebben data engineers niet de domeinkennis om snel te begrijpen welke transformaties nodig zijn, en ze worden waarschijnlijk overspoeld met taken met hogere prioriteit vanuit de hele organisatie. Daardoor moeten analisten de data mogelijk transformeren in Tableau of Power BI door hun eigen tijdelijke tabel in een relationele database te bouwen. Dit leidt tot inefficiënte, tragere time-to-insight.
Enter de analytics engineer. De analytics engineer zit tussen de data-analist en de data engineer in. In het bovenstaande scenario heeft diegene zowel de technische skills om datatransformaties te optimaliseren als de nodige domeinkennis.
Door nauw samen te werken met de data-analist kan de analytics engineer schone data opleveren door de data te transformeren met de juiste tools en technologieën, zodat de analist ermee aan de slag kan.
Hoe verschillen Analytics Engineers van andere datarollen?
De grenzen tussen de verschillende rollen zijn vaag, dus hoe verschillen analytics engineers van andere datarollen, en werken ze samen?
Analytics Engineer vs Data Analyst
Data-analisten zijn verantwoordelijk voor het analyseren van data en het rapporteren van inzichten uit hun analyse. Ze hebben een diep begrip van de data-analyseworkflow en rapporteren hun inzichten met een combinatie van tools met en zonder code. Data-analisten zijn doorgaans zeer bedreven in SQL en business intelligence-tools zoals Power BI of Tableau, met beperkt gebruik van tools als R of Python.
Analytics engineers werken met data-analisten om datamodellen te optimaliseren die klaar zijn voor gebruik. Ze zijn ook verantwoordelijk voor het bijhouden van documentatie over de data, zodat data-analisten sneller inzichten kunnen vinden.
Analytics Engineer vs Data Engineer
Data engineers zorgen ervoor dat de juiste data bij de juiste mensen terechtkomt. Ze creëren en onderhouden de infrastructuur en datapijplijnen die terabytes aan ruwe data uit verschillende bronnen naar één centrale locatie brengen met schone, relevante data voor de organisatie.
Toegegeven, deze definitie overlapt sterk met de rol van analytics engineer. Maar, verwijzend naar het kastjesvoorbeeld, zijn data engineers verantwoordelijk voor het zorgen dat analytics engineers de juiste databronnen hebben om te ordenen en te modelleren voor gebruik door de data-analisten van een datateam.
Bovendien zijn data engineers verantwoordelijk voor het opzetten van aangepaste API’s en ETL-pijplijnen vanuit propriëtaire bronnen — terwijl data engineers veel meer tijd besteden aan het verbeteren van pijplijnen vanaf leveranciers-API’s zoals Google Analytics.
Analytics Engineer vs Data Scientist
Data scientists onderzoeken, extraheren en rapporteren betekenisvolle inzichten uit de data van de organisatie. Ze communiceren deze inzichten naar niet-technische stakeholders en hebben goed begrip van machine learning-workflows en hoe ze die koppelen aan zakelijke toepassingen. Ze werken bijna uitsluitend met tools die codering vereisen, zoals SQL, Python en R, voeren analyses uit en werken vaak met big data-tools.
De relatie tussen data scientists en analytics engineers is vergelijkbaar met die tussen data-analisten en analytics engineers. Analytics engineers stellen data scientists in staat om zich meer op inzichten te richten en minder op het opschonen en optimaliseren van datasets.
Analytics Engineer vs Machine Learning Engineers
Machine learning engineers ontwerpen en implementeren machine learning-systemen die voorspellingen doen op basis van de data van de organisatie. Ze lossen problemen op zoals het voorspellen van klantverloop en klantwaarde en zijn verantwoordelijk voor het uitrollen van modellen voor gebruik binnen de organisatie. Ze werken uitsluitend met tools op basis van codering en zijn veel technologiegerichter dan hun tegenhangers.
Analytics engineers richten zich veel meer op het ondersteunen van data-analisten en data scientists, die verantwoordelijk zijn voor het leveren van inzichten aan business-stakeholders.
Vergelijking van functies: Analytics Engineer
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Analyseert data en rapporteert inzichten aan stakeholders Bouwt dashboards die door de hele organisatie worden gebruikt Benut vakinhoudelijke expertise en domeinkennis voor aanbevelingen |
Bouwt en onderhoudt ETL-datapijplijnen met leveranciers- en propriëtaire API’s Optimaliseert en centraliseert data in een datalake of -warehouse Levert data aan machine learning-pijplijnen Verwerkt data in de cloud |
Analyseert data en rapporteert inzichten aan stakeholders Ontwerpt experimenten zoals A/B-tests Implementeert dashboards die door de hele organisatie worden gebruikt Ontwikkelt workflows voor supervised en unsupervised learning Analyseert niet-standaard datatypen zoals tijdreeksen, tekst, geospatiale of beelddata |
Trained en implementeert machine learning-modellen Monitort en verbetert de prestaties van machine learning-modellen in productie Past best practices uit software-engineering toe op de machine learning-workflow (CI/CD) |
Optimaliseert pijplijnen die door data engineers zijn gebouwd voor consumptie Past engineeringbest practices toe op datamodellen die door data-analisten en -scientists worden gebruikt Ontwikkelt, standaardiseert en verbetert documentatie over data |
|
R of Python SQL, Power BI, Tableau |
R of Python SQL Git, shell- en command-line-tools Big data-tools zoals Airflow of Spark Cloudtools zoals AWS, Azure, GCP of Snowflake |
R of Python SQL Git, shell- en command-line-tools Big data-tools zoals Airflow of Spark |
R of Python SQL Git, shell- en command-line-tools Big data-tools zoals Airflow of Spark |
R of Python SQL Git, shell- en command-line-tools Cloudtools zoals AWS, Azure, GCP, Snowflake of dbt |
Salarissen voor Analytics Engineers
De rol van de analytics engineer is pril, wat betekent dat er weinig mensen op de markt zijn met precies de juiste mix van engineering- en analyticsvaardigheden om in deze rol te slagen. Dit maakt de rol van analytics engineer vanuit beloningsperspectief zeer aantrekkelijk. Hieronder vind je een indicatie van salarisranges voor analytics engineering-rollen in de Verenigde Staten.
- Glassdoor: Volgens Glassdoor verdienen analytics engineers gemiddeld $91.080 per jaar. Afhankelijk van locatie en bedrijf kunnen salarissen oplopen tot $208.000 per jaar.
- Comparably: Volgens Comparably verdienen analytics engineers gemiddeld $100.305 per jaar. Afhankelijk van locatie en bedrijf kunnen salarissen oplopen tot $185.000 per jaar.
Hoewel de bovenstaande cijfers ruwe ranges weergeven voor analytics engineering-rollen over de hele linie, is het ook vermeldenswaard dat zeer volwassen datagedreven bedrijven zoals Netflix aan de bovenkant van de individuele beloningsmarkt voor datarollen betalen. Volgens levels.FYI verdienen Netflix Analytics Engineers bijvoorbeeld tot $375.000 per jaar.
Hoe word je een Analytics Engineer?
Naarmate datarollen specialiseren, worden ook de paden om je bij te scholen nauwer. In tegenstelling tot veel van de hierboven besproken datarollen hebben analytics engineers een brede skillset nodig, waarbij ze tools en concepten moeten leren zoals de volgende
SQL
SQL is waarschijnlijk een van de meest gebruikte tools binnen analytics, ongeacht de datarol. Gelukkig is het ook een van de makkelijkste om te leren en te beheersen. Bekijk dit artikel om te zien hoe je SQL leert, samen met extra leermaterialen hier.
- Career Track: Data Analyst in SQL
- Skill Track: SQL Fundamentals
Python
Python is op dit moment de de facto populairste programmeertaal. Of je nu instroomt in analytics engineering of in een van de andere genoemde datarollen, Python zal zeker van pas komen. Vind hier alle resources die je nodig hebt om Python te leren en begin met de volgende tracks.
- Career Track: Python Programmer
- Career Track: Data Analyst with Python
ETL-tools
ETL staat voor “Extract, Transform, and Load”. Dit zijn tools waarmee engineers datapijplijnen kunnen opzetten die data uit verschillende bronnen extraheren, transformeren tot bruikbare data en in databases laden. Een van de populairste open-sourcetools voor ETL is Airflow. Bekijk Airflow in actie in deze cursus.
Cloudcomputingtools
Hoewel de term “cloudcomputingtools” zeker een parapluterm is, maken analytics engineers en andere datarollen regelmatig gebruik van clouddiensten zoals AWS, Azure, Google Cloud of Snowflake. Met deze tools kunnen datateams data en datasolutions in de cloud opslaan, verwerken en uitrollen. De populairste cloudtool is AWS. Je kunt meer over AWS leren via de onderstaande AWS-cursussen van DataCamp.
- Cursus: AWS Cloud Concepts
- Cursus: Introduction to AWS Boto in Python
Versiebeheer
Versiebeheer is waarschijnlijk de ruggengraat van best practices in software-engineering. Kort gezegd stelt het je in staat bij te houden wat je wanneer hebt gedaan, wijzigingen ongedaan te maken die je niet wilt, en op schaal samen te werken met anderen.
Command-line-tools zoals Git laten je best practices voor versiebeheer toepassen. Leer meer over Git met deze cheat sheet!
Communicatievaardigheden
Hoewel elke datarol in zekere mate communicatievaardigheden vereist, vraagt analytics engineering om hetzelfde niveau van communicatieskills als een data-analistenrol, naast de technische vaardigheden van een data engineer. Een betere communicator worden is een skill, geen talent. Bekijk Data Communication Concepts om je technische communicatieskills te verbeteren.
Word een Analytics Engineer
Analytics engineering is, net als MLOps, nog erg pril. Om voor te blijven, bekijk de onderstaande resources.
Onderwerpen
