Grundlagen von Data Engineering

In diesem Kapitel erfährst du, was Data Engineering ist und warum die Nachfrage danach steigt. Du lernst, Data Engineering in den Data-Science-Lifecycle einzuordnen und Data Engineers von Data Scientists zu unterscheiden. Außerdem bekommst du eine Einführung in deine erste vollständige Datenpipeline.

Nun geht es um das Thema Datenspeicherung – eine der Hauptaufgaben von Data Engineers. In diesem Kapitel erfährst du, wie Data Engineers verschiedene Datenstrukturen verwalten, wie sie mithilfe von SQL arbeiten (die bevorzugte Programmiersprache zum Abfragen und Speichern von Daten) und wie sie geeignete Datenspeicherlösungen mit Data Lakes und Data Warehouses implementieren.

Data Engineers erleichtern Data Scientists die Arbeit, indem sie die Rohdaten in verschiedenen Schritten mit unterschiedlichen Verarbeitungstechniken für die Analyse vorbereiten. Diese Schritte müssen kombiniert werden, um Pipelines zu erstellen. Hier kommt die Automatisierung ins Spiel. Und schließlich nutzen Data Engineers die parallele Datenverarbeitung und Cloud-Computing, um den reibungslosen Datenfluss in den Pipelines zu gewährleisten.