Wat betekent data-engineering?

Door de grote vraag maakt DataCamp zich klaar om een Data Engineering-track op te zetten. Zoals bij de meeste termen in het steeds groter wordende data-science-universum is er veel onduidelijkheid over de definitie van “data-engineering”. Sommige data-engineers doen veel reporting en bouwen dashboards. Anderen besteden het grootste deel van hun tijd aan datapijplijnen. Weer anderen nemen Python-code van data scientists en optimaliseren die zodat hij in Java of C kan draaien.

Om met het ontwikkelen van cursussen te beginnen, moeten we één definitie van “data-engineer” kiezen als uitgangspunt. Na veel wikken en wegen hebben we ervoor gekozen om de Amerikaanse televisieshow “Law and Order” te parafraseren:

Data-engineers vs data-analisten vs data scientists

In de wereld van data science wordt data vertegenwoordigd door drie afzonderlijke maar even belangrijke beroepen:

• De data-engineers, die programmeertalen gebruiken om schone, betrouwbare en performante toegang tot data en databases te garanderen
• De data-analisten, die programmeertalen, spreadsheets en business intelligence-tools gebruiken om de bestaande data te beschrijven en te categoriseren
• De data scientists, die algoritmen gebruiken om toekomstige data te voorspellen op basis van bestaande informatie

Voorbeelden

Stel bijvoorbeeld dat een bedrijf veel verschillende soorten sofa’s verkoopt op zijn website. Elke keer dat een bezoeker op een bepaalde sofa klikt, wordt er een nieuw datapunt gecreëerd. Een data-engineer bepaalt hoe deze data verzameld worden, welke metadata aan elke klik moeten worden toegevoegd en hoe de data in een gemakkelijk toegankelijk formaat worden opgeslagen. Een data-analist maakt visualisaties om sales en marketing te helpen bij het volgen van wie welke sofa koopt en hoeveel omzet het bedrijf maakt. Een data scientist neemt de data over welke klanten welke sofa kochten en gebruikt die om de perfecte sofa voor elke nieuwe bezoeker van de website te voorspellen.

Wat is een data-engineer?

Voor veel organisaties zijn data-engineers de eerste aanwinsten voor het datateam. Voordat verzamelde data kunnen worden geanalyseerd en met voorspellende methoden kunnen worden benut, moeten ze worden geordend en opgeschoond. Data-engineers beginnen dit proces door een overzicht te maken van welke data zijn opgeslagen, een zogenoemd dataschema. Vervolgens kiezen ze een betrouwbare, eenvoudig toegankelijke locatie om de data op te slaan, een datawarehouse. Voorbeelden van datawarehousing-systemen zijn Amazon Redshift of Google Cloud. Tot slot maken data-engineers ETL-processen (Extract, Transform, Load) om ervoor te zorgen dat de data in het datawarehouse terechtkomen.

Naarmate een organisatie groeit, zijn data-engineers verantwoordelijk voor het integreren van nieuwe databronnen in het data-ecosysteem en het doorsturen van de opgeslagen data naar verschillende analysetools. Wanneer het datawarehouse erg groot wordt, moeten data-engineers nieuwe manieren vinden om analyses performanter te maken, zoals het parallel uitvoeren van analyses of het creëren van kleinere subsets voor snel queryen.

De relatie tussen de drie beroepen

Binnen het data-science-universum is er altijd overlap tussen de drie beroepen. Data-engineers zijn vaak verantwoordelijk voor eenvoudige data-analyseprojecten of voor het omzetten van algoritmen die door data scientists zijn geschreven naar robuustere formaten die parallel kunnen draaien. Data-analisten en data scientists moeten basisvaardigheden in data-engineering leren, vooral als ze werken bij een vroege start-up waar engineeringcapaciteit schaars is.

Leer data-engineering met DataCamp!

Bij DataCamp zijn we enthousiast om ons aanbod aan data-engineeringcursussen uit te breiden. We weten wat we willen doceren en we beginnen met het werven van docenten om deze cursussen te ontwerpen. Ben je geïnteresseerd? Bekijk dan onze aanmelding en de lijst met cursussen die we momenteel prioriteren.