Auf vielfachen Wunsch bereitet DataCamp einen Lernpfad für Data Engineering vor. Wie bei vielen Begriffen im stetig wachsenden Data-Science-Kosmos gibt es auch hier viel Unklarheit rund um die genaue Definition von „Data Engineering“. Manche Data Engineers erstellen vor allem Reports und Dashboards. Andere beschäftigen sich hauptsächlich mit Datenpipelines. Wieder andere übernehmen Python-Code von Data Scientists und optimieren ihn für Java oder C.
Um mit der Kurserstellung zu starten, brauchen wir eine einheitliche Arbeitsdefinition von „Data Engineer“. Nach reiflicher Überlegung haben wir uns entschieden, die US-Serie „Law and Order“ sinngemäß zu paraphrasieren:
Data Engineers vs. Data Analysts vs. Data Scientists
Im Data-Science-Umfeld spiegeln sich Daten in drei eigenständigen, aber gleich wichtigen Berufsprofilen wider:
- Die Data Engineers, die mit Programmiersprachen sauberen, zuverlässigen und performanten Zugriff auf Daten und Datenbanken sicherstellen
- Die Data Analysts, die mit Programmiersprachen, Tabellenkalkulationen und Business-Intelligence-Tools vorhandene Daten beschreiben und einordnen
- Die Data Scientists, die mithilfe von Algorithmen aus vorhandenen Informationen Vorhersagen für zukünftige Daten treffen
Beispiele
Stell dir vor, ein Unternehmen verkauft auf seiner Website viele verschiedene Sofamodelle. Jedes Mal, wenn jemand auf ein bestimmtes Sofa klickt, entsteht ein neuer Datensatz. Ein Data Engineer definiert, wie diese Daten erfasst werden, welche Metadaten an jedes Klickevent gehören und wie die Daten in einem leicht zugänglichen Format gespeichert werden. Ein Data Analyst erstellt Visualisierungen, damit Vertrieb und Marketing nachvollziehen können, wer welche Sofas kauft und wie viel Umsatz entsteht. Ein Data Scientist nutzt die Kaufdaten, um für neue Website-Besucher das passende Sofa vorherzusagen.
Was macht ein Data Engineer?
Für viele Organisationen sind Data Engineers die ersten Einstellungen im Datenteam. Bevor gesammelte Daten analysiert und für Vorhersagen genutzt werden können, müssen sie strukturiert und bereinigt werden. Data Engineers starten diesen Prozess, indem sie festhalten, welche Daten wo liegen – das sogenannte Datenschema. Anschließend wählen sie einen zuverlässigen, leicht zugänglichen Speicherort – ein Data Warehouse – für die Ablage der Daten. Beispiele für Data-Warehousing-Systeme sind Amazon Redshift oder Google Cloud. Abschließend richten Data Engineers ETL-Prozesse (Extract, Transform, Load) ein, damit die Daten ins Data Warehouse gelangen.
Wächst eine Organisation, integrieren Data Engineers neue Datenquellen ins Ökosystem und leiten die gespeicherten Daten in unterschiedliche Analysetools weiter. Wird das Data Warehouse sehr groß, müssen sie Analysen wieder performant machen – etwa durch Parallelisierung oder durch kleinere Teildatensätze für schnelle Abfragen.
Das Zusammenspiel der drei Berufsprofile
Im Data-Science-Kosmos gibt es immer Überschneidungen zwischen den drei Rollen. Data Engineers übernehmen häufig einfache Analyseprojekte oder überführen von Data Scientists entwickelte Algorithmen in robustere, parallel ausführbare Formate. Data Analysts und Data Scientists sollten sich grundlegende Data-Engineering-Kompetenzen aneignen – besonders in frühphasigen Start-ups mit knappen Engineering-Ressourcen.
Lerne Data Engineering mit DataCamp!
Bei DataCamp freuen wir uns darauf, unsere Data-Engineering-Kurse auszubauen. Wir wissen, welche Themen wir vermitteln wollen, und beginnen damit, Dozentinnen und Dozenten für die Kursentwicklung zu gewinnen. Wenn du Interesse hast, schau dir unsere Bewerbung und die Liste der Kurse mit höchster Priorität an.
