Kurs
Einführung in Python
4 Std.
7M
Data Science entwickelt sich ständig weiter – und damit auch die Jobtitel und Aufgaben in modernen Datenteams. In den frühen Tagen der Data Science enthielten viele Jobtitel den Begriff „Big Data“.
In den vergangenen zwei Jahren, als Machine Learning mehr und mehr in den Betrieb überführt wurde, tauchte MLOps in verschiedenen Jobtiteln auf. Und heute, da Organisationen in ihrer Datenkompetenz und Analytics-Reife wachsen, entsteht die Rolle des Analytics Engineers.
Kurz gesagt: Analytics Engineers schlagen die Brücke zwischen Engineering und Analyse. Ihre Aufgabe ist es, Engineering-Best-Practices anzuwenden, um saubere, transformierte Datensätze bereitzustellen, die direkt für Analysen bereitstehen.
Dieser Artikel erklärt, was ein Analytics Engineer ist und was er tut, vergleicht die Rolle mit anderen gängigen Datenfunktionen und zeigt Ressourcen, mit denen du in das Analytics Engineering einsteigen kannst.
Was ist ein Analytics Engineer?
Dataform liefert eine treffende Analogie dafür, wie sich Analytics Engineers in das größere Datenteam einfügen – mit einem Bild aus dem Alltag: Küchenschränke. Behalte dieses Bild im Kopf, während wir uns ansehen, warum Analytics Engineers im Kommen sind.
„Data Engineers bauen den Schrank, sie besorgen Holz und Werkzeuge und setzen ihn zusammen. Die Analytics Engineers öffnen den Schrank und räumen Teller, Tassen und Schalen ein – ordentlich sortiert. Das kann nach Farben, Formen oder Größen sein. Data Analysts gehen dann an den Schrank und wissen dank der Ordnung genau, wo alles steht. Sie können sich gezielt die kleine blaue Tasse schnappen und sich einen Tee machen!“
Josie Hall, Program Manager at Google
Bevor Analytics Engineering aufkam, nutzten Data Analysts Visualisierungstools wie Tableau oder Power BI, um Stakeholdern Insights zu liefern. Diese Tools eignen sich hervorragend zur Darstellung von Daten, aber weniger gut für deren Transformation und Speicherung.
Stell dir vor, ein Data Engineer setzt eine Datenpipeline auf, die Marketingdaten lädt, aber die Datenqualität lässt zu wünschen übrig. Nur die Data Analysts im Marketingteam haben das nötige Domänenwissen, um die Daten zu transformieren und ihre Qualität zu erhöhen. Sie nutzen jedoch nicht denselben Technologiestack wie der Data Engineer.
Gleichzeitig fehlt Data Engineers das Domänenwissen, um schnell zu erkennen, welche Transformationen nötig sind, und sie sind oft mit wichtigeren Aufgaben aus dem gesamten Unternehmen ausgelastet. In der Folge müssen Analysts die Daten in Tableau oder Power BI transformieren oder sich in einer relationalen Datenbank temporäre Tabellen bauen. Das führt zu Ineffizienzen und längeren Zeiten bis zur Insight-Gewinnung.
Hier kommt der Analytics Engineer ins Spiel. Er sitzt zwischen Data Analyst und Data Engineer. Im obigen Szenario bringt er die technischen Fähigkeiten mit, um Datentransformationen zu optimieren – kombiniert mit Domänenwissen.
In enger Zusammenarbeit mit dem Data Analyst liefert der Analytics Engineer saubere Daten, indem er sie mit den passenden Tools und Technologien transformiert.
Worin unterscheiden sich Analytics Engineers von anderen Datenrollen?
Die Grenzen zwischen den Rollen sind fließend. Wie unterscheiden sich Analytics Engineers also von anderen Datenfunktionen – und wie arbeiten sie zusammen?
Analytics Engineer vs. Data Analyst
Data Analysts analysieren Daten und berichten ihre Erkenntnisse an Stakeholder. Sie kennen den Analyse-Workflow in- und auswendig und kommunizieren ihre Insights mit einer Mischung aus Code- und No-Code-Tools. Typischerweise sind sie sehr versiert in SQL und Business-Intelligence-Tools wie Power BI oder Tableau und setzen R oder Python eher selektiv ein.
Analytics Engineers arbeiten mit Data Analysts zusammen, um Datenmodelle für die Nutzung zu optimieren. Außerdem pflegen sie die Dokumentation rund um die Daten, damit Analysts schneller zu Erkenntnissen gelangen.
Analytics Engineer vs. Data Engineer
Data Engineers sorgen dafür, dass die richtigen Daten bei den richtigen Personen ankommen. Sie bauen und betreiben die Infrastruktur und Datenpipelines, die Terabytes an Rohdaten aus unterschiedlichen Quellen in einen zentralen Ort überführen – mit bereinigten, relevanten Daten für die Organisation.
Zugegeben, diese Definition überschneidet sich stark mit der Rolle des Analytics Engineers. Greifen wir jedoch die Schrank-Analogie auf: Data Engineers stellen sicher, dass Analytics Engineers die passenden Datenquellen haben, um sie für die Data Analysts eines Datenteams zu strukturieren und modellieren.
Darüber hinaus setzen Data Engineers benutzerdefinierte APIs und ETL-Pipelines aus proprietären Quellen auf – während Analytics Engineers deutlich mehr Zeit darauf verwenden, Pipelines aus Anbieter-APIs wie Google Analytics zu verbessern.
Analytics Engineer vs. Data Scientist
Data Scientists untersuchen Daten, extrahieren und berichten aussagekräftige Insights. Sie vermitteln diese Erkenntnisse an nicht-technische Stakeholder und verstehen ML-Workflows und deren Bezug zu Business-Anwendungen. Sie arbeiten fast ausschließlich mit Coding-Tools wie SQL, Python und R, führen Analysen durch und nutzen häufig Big-Data-Tools.
Das Verhältnis zwischen Data Scientists und Analytics Engineers ähnelt dem zwischen Data Analysts und Analytics Engineers. Analytics Engineers ermöglichen es Data Scientists, sich stärker auf Insights und weniger auf das Säubern und Optimieren von Datensätzen zu konzentrieren.
Analytics Engineer vs. Machine Learning Engineer
Machine Learning Engineers entwerfen und betreiben ML-Systeme, die aus Unternehmensdaten Vorhersagen ableiten. Sie lösen Aufgaben wie die Prognose von Churn oder Customer Lifetime Value und sind dafür verantwortlich, Modelle für die Nutzung im Unternehmen bereitzustellen. Sie arbeiten ausschließlich mit codebasierten Tools und sind deutlich technologieorientierter als andere Rollen.
Analytics Engineers fokussieren sich stärker darauf, Data Analysts und Data Scientists zu befähigen – also jene, die Insights für Business-Stakeholder liefern.
Jobvergleich: Analytics Engineer
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Daten analysieren und Insights an Stakeholder berichten Dashboards bauen, die im gesamten Unternehmen genutzt werden Domänenwissen für fundierte Empfehlungen einsetzen |
ETL-Datenpipelines mit Anbieter- und proprietären APIs aufbauen und betreiben Daten in einem Data Lake oder Warehouse optimieren und zentralisieren Daten in Machine-Learning-Pipelines einspeisen Daten in der Cloud verarbeiten |
Daten analysieren und Insights an Stakeholder berichten Experimente wie A/B-Tests konzipieren Dashboards bereitstellen, die im gesamten Unternehmen genutzt werden Workflows für überwachtes und unüberwachtes Lernen entwickeln Nicht-standardisierte Datentypen wie Zeitreihen, Text, Geodaten oder Bilddaten analysieren |
Machine-Learning-Modelle trainieren und deployen ML-Modelle in Produktion überwachen und ihre Performance verbessern Software-Engineering-Best-Practices auf den ML-Workflow anwenden (CI/CD) |
Von Data Engineers gebaute Pipelines für die Nutzung optimieren Engineering-Best-Practices auf Datenmodelle für Analysts und Scientists anwenden Dokumentation zu Daten entwickeln, standardisieren und verbessern |
|
R oder Python SQL, Power BI, Tableau |
R oder Python SQL Git, Shell und Kommandozeilentools Big-Data-Tools wie Airflow oder Spark Cloud-Tools wie AWS, Azure, GCP oder Snowflake |
R oder Python SQL Git, Shell und Kommandozeilentools Big-Data-Tools wie Airflow oder Spark |
R oder Python SQL Git, Shell und Kommandozeilentools Big-Data-Tools wie Airflow oder Spark |
R oder Python SQL Git, Shell und Kommandozeilentools Cloud-Tools wie AWS, Azure, GCP, Snowflake oder dbt |
Gehälter für Analytics Engineers
Die Rolle des Analytics Engineers ist noch jung – entsprechend gibt es nur wenige Fachkräfte mit genau der Mischung aus Engineering- und Analytics-Kompetenzen, die für den Erfolg nötig ist. Das macht die Position auch aus Vergütungssicht sehr attraktiv. Nachfolgend findest du grobe Gehaltsspannen für Analytics-Engineering-Rollen in den USA.
- Glassdoor: Laut Glassdoor verdienen Analytics Engineers im Schnitt 91.080 $ pro Jahr. Je nach Standort und Unternehmen können die Gehälter bis zu 208.000 $ pro Jahr erreichen.
- Comparably: Laut Comparably verdienen Analytics Engineers im Schnitt 100.305 $ pro Jahr. Je nach Standort und Unternehmen sind bis zu 185.000 $ pro Jahr möglich.
Während die obigen Zahlen grobe Spannen über verschiedene Analytics-Engineering-Rollen hinweg darstellen, lohnt sich auch der Blick auf sehr reife Datenunternehmen wie Netflix, die im oberen Bereich des Marktes für Datenrollen zahlen. So verdienen laut levels.FYI Netflix Analytics Engineers bis zu 375.000 $ pro Jahr.
Wie wird man Analytics Engineer?
Mit der Spezialisierung der Datenrollen werden auch die Weiterbildungswege fokussierter. Anders als viele der oben genannten Funktionen benötigen Analytics Engineers ein breites Kompetenzspektrum und sollten Tools und Konzepte wie die folgenden beherrschen:
SQL
SQL ist wahrscheinlich das am weitesten verbreitete Werkzeug in der Analytics – rollenübergreifend. Zum Glück ist es auch eines der einfachsten, um es zu lernen und zu meistern. Sieh dir an, wie du SQL lernen kannst – mit zusätzlichen Lernressourcen hier.
- Career Track: Data Analyst in SQL
- Skill Track: SQL Fundamentals
Python
Python ist derzeit die de-facto beliebteste Programmiersprache. Ob du ins Analytics Engineering oder in eine der anderen genannten Datenrollen einsteigst – Python wird dir sicher nützen. Finde hier alle Ressourcen, um Python zu lernen, und starte mit den folgenden Tracks.
- Career Track: Python Programmer
- Career Track: Data Analyst with Python
ETL-Tools
ETL steht für „Extract, Transform, Load“. Solche Tools ermöglichen es, Datenpipelines aufzusetzen, die Daten aus verschiedenen Quellen extrahieren, in konsumierbare Form transformieren und in Datenbanken laden. Eines der beliebtesten Open-Source-ETL-Tools ist Airflow. Sieh dir Airflow in Aktion in diesem Kurs an.
Cloud-Computing-Tools
„Cloud-Computing-Tools“ ist ein Überbegriff, doch Analytics Engineers und andere Datenrollen nutzen regelmäßig Dienste wie AWS, Azure, Google Cloud oder Snowflake. Diese Werkzeuge ermöglichen es Datenteams, Daten und Datenlösungen in der Cloud zu speichern, zu verarbeiten und bereitzustellen. Das populärste Cloud-Angebot ist AWS. Mehr über AWS erfährst du in den folgenden DataCamp-Kursen.
- Course: AWS Cloud Concepts
- Course: Introduction to AWS Boto in Python
Versionskontrolle
Versionskontrolle ist gewissermaßen das Rückgrat von Software-Engineering-Best-Practices. Kurz gesagt ermöglicht sie, Änderungen nachzuvollziehen, ungewollte Anpassungen rückgängig zu machen und in großem Maßstab zusammenzuarbeiten.
Kommandozeilentools wie Git helfen dir, Best Practices der Versionskontrolle anzuwenden. Erfahre mehr über Git mit diesem Cheat Sheet!
Kommunikationskompetenzen
Kommunikation ist in jeder Datenrolle wichtig. Im Analytics Engineering ist sie ebenso zentral wie beim Data Analyst – zusätzlich zu den technischen Fähigkeiten eines Data Engineers. Eine bessere Kommunikation ist erlernbar. Sieh dir Data Communication Concepts an, um deine technische Kommunikation zu verbessern.
Werde Analytics Engineer
Analytics Engineering ist – wie auch MLOps – noch sehr jung. Um die Nase vorn zu behalten, schau dir die folgenden Ressourcen an.