Data Scientist vs Data Engineer

Data Science vs Data Engineering: Verantwoordelijkheden

Verantwoordelijkheden van data engineers

De data engineer ontwikkelt, bouwt, test en onderhoudt architecturen zoals databases en grootschalige verwerkingssysteem. De data scientist daarentegen maakt (big) data schoon, bewerkt en ordent deze.

Misschien vind je het gebruik van het werkwoord "masseren" wat exotisch, maar het benadrukt juist nog meer het verschil tussen data engineers en data scientists.

Algemeen gesteld verschillen de inspanningen die beide partijen moeten leveren om data in een bruikbaar formaat te krijgen aanzienlijk.

Data engineers werken met ruwe data die menselijke, machine- of instrumentfouten bevat. De data is mogelijk niet gevalideerd en bevat verdachte records. Ze is onopgemaakt en kan systeem-specifieke codes bevatten.

Data engineers moeten manieren aanbevelen en soms implementeren om de betrouwbaarheid, efficiëntie en kwaliteit van data te verbeteren. Daarvoor zetten ze verschillende talen en tools in om systemen met elkaar te verbinden of kansen op te sporen om nieuwe data uit andere systemen te verwerven, zodat bijvoorbeeld de systeem-specifieke codes kunnen worden omgezet in informatie voor verdere verwerking door data scientists.

Nauw verwant hieraan is dat data engineers moeten zorgen dat de bestaande architectuur de vereisten van de data scientists, stakeholders en het bedrijf ondersteunt.

Tot slot ontwikkelt het data engineering-team dataprocessen voor modellering, mining en productie om de data aan het data science-team te leveren.

Lees meer over wat een data engineer doet in ons volledige artikel. 

Verantwoordelijkheden van data scientists

Data scientists krijgen meestal data die al een eerste ronde van opschoning en bewerking heeft doorlopen, waarmee ze geavanceerde analysesoftware en machine learning- en statistische methoden kunnen voeden om data voor te bereiden voor gebruik in voorspellende en voorschrijvende modellen. Uiteraard moeten ze voor het bouwen van modellen onderzoek doen naar sector- en bedrijfsvragen, en grote hoeveelheden data uit interne en externe bronnen benutten om aan zakelijke behoeften te voldoen. Dit houdt soms ook in dat ze data verkennen en onderzoeken om verborgen patronen te vinden.

Nadat data scientists de analyses hebben uitgevoerd, moeten ze een helder verhaal presenteren aan de belangrijkste stakeholders. Wanneer de resultaten worden geaccepteerd, moeten ze zorgen dat het werk wordt geautomatiseerd zodat de inzichten dagelijks, maandelijks of jaarlijks bij de business stakeholders terechtkomen.

Het is duidelijk dat beide partijen moeten samenwerken om de data te temmen en inzichten te leveren voor bedrijfskritische beslissingen. Er is duidelijke overlap in vaardigheden, maar de twee rollen worden in de sector geleidelijk onderscheidender: waar de data engineer werkt met databasesystemen, data-API’s en tools voor ETL-doeleinden en betrokken is bij datamodellering en het opzetten van datawarehouse-oplossingen, moet de data scientist kennis hebben van statistiek, wiskunde en machine learning om voorspellende modellen te bouwen.

De data scientist moet op de hoogte zijn van gedistribueerd rekenen, omdat hij toegang moet krijgen tot de data die door het data engineering-team is verwerkt. Hij of zij moet ook kunnen rapporteren aan business stakeholders, dus een focus op storytelling en visualisatie is essentieel.

Wat dit betekent qua focus op de stappen van de data science-workflow, zie je in de afbeelding hieronder:

Data Science vs Data Engineering: Talen, Tools & Software

Natuurlijk vertaalt dit verschil in vaardigheden zich in verschillen in talen, tools en software die beide gebruiken. Het volgende overzicht bevat zowel commerciële als open-source alternatieven.

Hoewel de tools die beide partijen gebruiken sterk afhangen van hoe de rol binnen het bedrijf wordt ingevuld, werken data engineers vaak met tools zoals SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, Neo4j, Hive en Sqoop.

Data scientists gebruiken talen zoals SPSS, R, Python, SAS, Stata en Julia om modellen te bouwen. De populairste tools hier zijn zonder twijfel Python en R. Als je met Python en R voor data science werkt, grijp je vaak naar pakketten zoals ggplot2 om geweldige datavisualisaties in R te maken of de Python-bibliotheek voor datamanipulatie, Pandas. Natuurlijk zijn er nog veel meer pakketten die van pas komen bij data science-projecten, zoals scikit-learn, NumPy, Matplotlib, Statsmodels, enz.

In de sector doen commerciële SAS en SPSS het ook goed, maar andere tools zoals Tableau, RapidMiner, Matlab, Excel en Gephi vinden ook hun weg naar de toolbox van de data scientist.

Je ziet opnieuw dat een van de belangrijkste onderscheidingen tussen data engineers en data scientists, de nadruk op datavisualisatie en storytelling, terugkomt in de genoemde tools.

Zoals je misschien al vermoedde, zijn Scala, Java en C# tools, talen en software die beide partijen gemeen hebben.

Deze talen zijn niet per se populair bij data scientists en engineers. Je zou kunnen stellen dat Scala populairder is bij data engineers omdat de integratie met Spark vooral handig is voor het opzetten van grote ETL-stromen.

Hetzelfde geldt voor de taal Java: op dit moment is de populariteit onder data scientists in opkomst, maar over het algemeen wordt ze niet dagelijks breed ingezet door professionals. Hoe dan ook, je ziet deze talen terugkomen in vacatures voor beide rollen. Hetzelfde geldt voor tools die beide partijen gemeen kunnen hebben, zoals Hadoop, Storm en Spark.

De vergelijking van tools, talen en software moet natuurlijk worden bekeken in de specifieke context waarin je werkt en hoe je de betreffende data science-rollen interpreteert; in sommige specifieke gevallen liggen data science en data engineering dicht bij elkaar, waarbij het onderscheid tussen de teams zo klein is dat ze soms worden samengevoegd.

Of dat een goed idee is of niet, is voer voor een andere discussie en valt buiten de scope van deze blog van vandaag.

Data Science vs Data Engineering: Opleidingsachtergrond

Naast dit alles hebben data scientists en data engineers mogelijk ook iets gemeen: hun achtergrond in informatica. Dit studiegebied is erg populair voor beide beroepen. Natuurlijk zie je ook vaak dat data scientists econometrie, wiskunde, statistiek en operations research hebben gestudeerd. Ze hebben vaak iets meer zakelijk inzicht dan data engineers. Data engineers komen ook vaak uit technische richtingen; vaker wel dan niet hebben ze eerder een opleiding in computer engineering gevolgd.

Dit betekent echter niet dat je geen data engineers zult vinden die kennis van operations en zakelijk inzicht uit eerdere studies hebben opgedaan.

Je moet je realiseren dat de data science-sector in het algemeen bestaat uit professionals met verschillende achtergronden: het is niet ongebruikelijk dat natuurkundigen, biologen of meteorologen hun weg naar data science vinden. Anderen zijn overgestapt naar data science vanuit webdevelopment, databasebeheer, enz.

Data Science vs Data Engineering: Salarissen & Werving

In de VS bedraagt het gemiddelde jaarlijkse salaris van een data scientist $123.069, met een bereik van $78k tot $194k. In verschillende landen zie je een vergelijkbare trend, met het gemiddelde salaris van data scientists dat minstens 30% hoger ligt dan het nationale gemiddelde (en in India ligt dit cijfer aanzienlijk hoger!).

Het gemiddelde jaarsalaris voor data engineers in de VS is $125.686; in andere landen is het gemiddelde salaris zeer vergelijkbaar met dat van een data scientist.

Beide rollen zijn enorm in trek. Op het moment van schrijven vermeldt Indeed 10.000+ functies voor data scientists en 5.000+ voor data engineers in de VS. Toonaangevende bedrijven zoals Spotify, Meta, Amazon, Google en Microsoft werven bijna altijd voor beide rollen.

Data Science vs Data Engineering: Baanperspectief

Zoals eerder beschreven, worden functies en titels gecreëerd om veranderende behoeften te weerspiegelen, maar soms ook om zich te onderscheiden van andere wervende bedrijven.

Naast de toegenomen interesse in datamanagement zoeken bedrijven naar goedkopere, flexibele en schaalbare oplossingen om hun data op te slaan en te beheren. Ze willen hun data naar de cloud verplaatsen, en daarvoor moeten ze "data lakes" bouwen als aanvulling op de datawarehouses die ze al hebben, of ter vervanging van de Operational Data Store (ODS).

Datastromen zullen de komende jaren moeten worden omgeleid en vervangen, en als gevolg daarvan is de focus op en het aantal vacatures voor data engineers in de loop der jaren geleidelijk toegenomen.

De rol van data scientist is sinds het begin van de hype in trek, maar tegenwoordig willen bedrijven datateams samenstellen in plaats van unicorn data scientists aan te nemen die beschikken over communicatieve vaardigheden, creativiteit, slimheid, nieuwsgierigheid, technische expertise, enz. Voor recruiters is het lastig mensen te vinden die alle kwaliteiten belichamen waar bedrijven naar zoeken, en de vraag overtreft duidelijk het aanbod.

Je zou kunnen stellen dat de "data scientist-bubbel" is gebarsten. Of misschien stond die op barsten totdat AI-doorbraken zoals GPT-3 en GPT-4 de wereld veroverden. 

Eén ding zal in dit alles constant blijven: de vraag naar experts met een passie voor data science zal altijd bestaan. Het baanperspectief voor deze experts is zeer positief. Zo voorspelt het US Bureau of Labor Statistics 20.800 vacatures voor data scientists per jaar voor het komende decennium, met een groei van 36 procent tussen 2023 en 2033, veel sneller dan het gemiddelde voor alle beroepen. Het vooruitzicht is evenzeer positief voor vacatures voor data engineers.

Data Science vs Data Engineering: Samenvatting

Aan de slag met Data Engineering en Data Science

Wil je je pad uitstippelen naar een carrière in een van beide rollen? Onze gidsen zijn een goed startpunt:

• Hoe je data scientist wordt
• Hoe je data engineer wordt

Wil je meteen met je leerreis beginnen? Bij DataCamp ben je aan het juiste adres. We hebben veel ideale cursussen als je wilt beginnen met data engineering leren. Bijvoorbeeld DataCamps Importing Data in Python en de cursus Importing Data in R. Onze Data Engineer Certification is een andere goede optie om aan hiring managers te bewijzen dat je de vereiste vaardigheden voor een instapfunctie hebt.

Voor wie wil beginnen met data science zijn er de cursussen Exploratory Data Analysis, Introduction to R for Data Science, Machine Learning Toolbox en Introduction to Python for Data Science. Evenzo is onze Data Scientist Certification zeer gewaardeerd en helpt je binnen te komen bij toonaangevende bedrijven.