Was macht ein Data Engineer?

Vielleicht hast du schon gehört, dass Data Engineering das neue Data Science ist – das starke Wachstum in diesem Bereich spricht für sich. Unternehmen erkennen zunehmend den Wert von Data Engineers, die die Architektur entwerfen, aufbauen und betreiben, die Data Science und Analytics erst erfolgreich macht. Mehr zu den Unterschieden zwischen Data Engineers und Data Scientists findest du in einem separaten Artikel.

Aber was macht ein Data Engineer eigentlich genau? In diesem Artikel beleuchten wir die verschiedenen Rollen und Aufgaben eines Data Engineers und den typischen Karriereweg. Außerdem geben wir dir einen Einblick hinter die Kulissen eines typischen Data-Engineering-Projekts in einem Unternehmen. Wenn du wissen willst, wie du Data Engineer wirst, hilft dir unser separater Beitrag weiter. Und falls du für diese Rolle rekrutierst, lies auch, wie du eine gute Stellenbeschreibung für Data Engineers schreibst.

Rollen im Data Engineering

Data Engineering umfasst eine Vielzahl von Kompetenzen, Tools und Systemen. Es gibt vier zentrale Gruppen von Data-Engineer-Rollen, und jede davon muss ein eigenes Set an Fähigkeiten und Werkzeugen meistern, um effektiv zu arbeiten.

• Generalisten. Sie sind in alle Aspekte der Datenerfassung, -speicherung, -analyse und -bewegung eingebunden und brauchen einen breiten Werkzeug- und Kompetenzmix.
• Fachleute für Datenspeicherung. Sie richten relationale und nicht-relationale Datenbanken (wie SQL, NoSQL und PostgreSQL), Data Warehouses (wie Redshift und Panoply) sowie Big-Data-Systeme (wie Hadoop und Spark) ein und betreiben sie.
• Fachleute für Programmierung und Pipelines. Sie erstellen und steuern den Datenfluss über Skripte und Datenpipelines und sind mit Sprachen wie Python, Java und C++ vertraut.
• Fachleute für Analytics. Sie arbeiten eng mit Data Scientists und anderen Analytics-Teams zusammen und kennen Analysewerkzeuge (wie Power BI und Tableau), Machine-Learning-Bibliotheken (wie TensorFlow und PyTorch) sowie weitere Tools zur Unterstützung analytischer Projekte (wie ETL-Tools und Big-Data-Systeme).

Was macht ein Data Engineer? Der Karriereweg

Der Karriereweg eines Data Engineers hängt von der Unternehmensgröße und der Reife der Datenteams ab. In der Regel verläuft er jedoch so:

• Junior Data Engineer
• Mid-Level Data Engineer
• Senior Data Engineer
• Führungsrollen auf Senior-Level

Junior Data Engineer

Am Anfang übernehmen Junior Data Engineers meist kleinere Aufgaben zur Wartung und Unterstützung bestehender Systeme. Das reicht von Tests und Bugfixes bis hin zum Ergänzen neuer Features in vorhandenen Systemen. In dieser frühen Phase leiten Juniors in der Regel keine eigenen Projekte, sondern unterstützen Senior-Kolleginnen und -Kollegen.

Das Wichtigste in den ersten Jahren ist das Lernen und Sammeln praktischer Erfahrung mit den Tools, die später im Job benötigt werden. Außerdem lernen sie, wie Teams und Abteilungen zusammenarbeiten, um Probleme zu lösen und Fragen zu beantworten.

Mid-Level Data Engineer

Nach etwa ein bis drei Jahren folgt häufig der Schritt ins Mid-Level. In dieser Phase kommen mehr Aspekte des Projektmanagements hinzu, und die Zusammenarbeit mit anderen Teams und Abteilungen nimmt zu.

Oft übernehmen sie die Verantwortung für das Design und den Aufbau von Systemen, die Data Scientists und andere Analytics-Rollen unterstützen. Häufig arbeiten sie noch unter der Anleitung eines Senior Data Engineers. Um in dieser Rolle erfolgreich zu sein, sind gute Kommunikationsfähigkeiten und die Fähigkeit zur teamübergreifenden Zusammenarbeit entscheidend.

Data Engineers bleiben auf diesem Level oft drei bis fünf Jahre. In dieser Zeit vertiefen sie ihre Programmierpraxis, kennen alle im Unternehmen eingesetzten Tools und Systeme, beheben zuverlässig Bugs und Probleme und arbeiten reibungslos innerhalb und zwischen Teams.

Senior Data Engineer

Auf Senior-Level kommen mehr Führungsaufgaben hinzu. Senior Data Engineers leiten oft ein oder mehrere Teammitglieder, geben Wissen weiter und verteilen Projekte.

Technisch sind sie in ihrem Bereich sehr versiert, können Systeme aufbauen und Probleme zügig lösen. Gleichzeitig rücken Geschäftsziele stärker in den Fokus: Sie denken strategisch über die Ausrichtung von Data-Projekten sowie die langfristige Wirksamkeit und Optimierung ihrer Systeme nach.

Das erfordert ein Umdenken, was herausfordernd sein kann. Nicht alle Data Engineers haben eine Leidenschaft für Strategie und Business-Themen und entscheiden sich daher bewusst gegen weitere Karriereschritte im Management.

Führungsrollen auf Senior-Level

Mit rund sechs oder mehr Jahren Erfahrung können Data Engineers – wenn sie möchten – in weiterführende Führungsrollen wechseln, zum Beispiel als:

• Data Engineering Manager
• Director of Data Engineering
• Chief Data Officer

Neben exzellenten technischen Fähigkeiten aus den vorherigen Stufen benötigen diese Rollen stark ausgeprägte Kompetenzen in Dateninfrastruktur und Datenarchitektur und die Fähigkeit, Analytics-Teams zu führen und zu skalieren. Sie definieren außerdem Prozesse für leistungsstarke Systeme, stecken neue Projekte ab und legen SLAs für neue und bestehende Systeme fest und verantworten deren Einhaltung.

Was macht ein Data Engineer? Ein typisches Data-Engineering-Projekt

Schauen wir uns typische Aufgaben und Verantwortlichkeiten an: Angenommen, du arbeitest in einem großen Unternehmen, das einen Food-Delivery-Service per Mobile App anbietet. Die App vermittelt zwischen Restaurant und Fahrerin oder Fahrer. Kundinnen und Kunden bestellen in der App, das Restaurant wird benachrichtigt. Sobald das Essen fertig ist, wird ein Fahrer oder eine Fahrerin zugewiesen und liefert aus.

Wie du dir denken kannst, entstehen dabei täglich enorme Datenmengen: Stammdaten zu Restaurants, Fahrerinnen und Fahrern, Kundinnen und Kunden, plus Logs zu jeder Interaktion in der App. Dazu kommen Daten aus dem Kundenservice – etwa zu Beschwerden, Lob oder Streitfällen – sowie Fehlerprotokolle aus der App.

Nun soll ein Data Scientist oder Data Analyst im Unternehmen Bestelltrends identifizieren, um darauf ein Machine-Learning-Modell zu bauen. Dafür bittet er oder sie dich, tagesaggregierte Bestelldaten zu extrahieren und aufzubereiten. Zusätzlich soll die Aufteilung nach Erst- und Bestandskundschaft möglich sein.

Klarheit schaffen

Um das Problem zu lösen, verschafft sich der Data Engineer zunächst Klarheit – zum Beispiel so:

1. Granularität festlegen: pro Bestellung, pro Tag, Woche, Monat, Jahr. Laut Anforderung müssen die Bestelldaten tagesweise aggregiert und nach Kundentyp (Erst- oder Bestandskunde) aufgeteilt werden.
2. Filter klären: Sollen Daten gefiltert werden, etwa nach Land oder Handymodell?
3. Zeitraum definieren: Geht es um den gesamten Zeitraum oder nur um das letzte Jahr?
4. Datenquellen und/oder Tabellen bestimmen: Die Daten liegen in einem zentralen Data Warehouse. Benötigt werden die Orders-Tabelle und die Customer-Tabelle. Falls zusätzliche Filter nötig sind, kommen weitere Tabellen dazu.

Datenextraktion

Mit der geklärten Anforderung geht es an Extraktion und Exploration der Daten, typischerweise in diesen Schritten:

1. Festlegen, wie Orders- und Customers-Tabellen zu joinen sind und welche Beziehungen bestehen (z. B. welche Keys für den Join genutzt werden). Das setzt solides Wissen in SQL und Datenmodellierung voraus.
2. Erstellen eines kategorialen Features für den Kundentyp basierend auf der Anzahl der Bestellungen pro Kunde. Dieses Feature enthält die Kategorien "Erstkunde" und "Bestandskunde".
3. Bewertung der Datenqualität. Prüfen, ob fehlende oder auffällige Werte bereinigt werden müssen.

Sind die Daten für Data Scientist oder Data Analyst aufbereitet, erstellt der Data Engineer einen API-Endpunkt, über den die Daten abgefragt werden können. Je nach Datenvolumen und Komplexität kann das gesamte Projekt von wenigen Tagen bis zu mehreren Monaten dauern.

Währenddessen arbeitet der Data Engineer je nach Speicherort und notwendiger Verarbeitungsschritte mit unterschiedlichen Systemen.

Beispiele hierfür sind SQL Server, Hadoop oder Redshift für die Speicherung, SQL für die Abfragen und Python für die Skripte zur Datenverarbeitung.

Fazit

Wie du siehst, vereint ein typisches Data-Engineering-Projekt einige Kernkompetenzen, die in diesem Feld entscheidend sind – etwa das Erstellen von Datenpipelines. Um dein Lernen zu beschleunigen und dich auf eine Rolle im Data Engineering vorzubereiten, probiere den Python for Data Engineering Skill Track auf DataCamp. Für erste Praxiserfahrung mit Cloud-Data-Warehouses empfehlen wir unser Exploring London’s Travel Network Project. Dort arbeitest du direkt im Browser mit Amazon Redshift, Google BigQuery und Snowflake. Und um deine Expertise offiziell nachzuweisen, mach unsere Data Engineer Certification.

Hoffentlich hat dir dieser Artikel einen guten Einblick in die Rolle von Data Engineers gegeben – und was sie konkret tun. Wenn du darüber nachdenkst, eine Karriere im Data Engineering zu starten, kennst du jetzt auch den typischen Karriereweg.