Als ich kürzlich den Career Track Data Scientist with Python von DataCamp abgeschlossen hatte, fühlte ich mich bereit für echte Datenherausforderungen – ganz so einfach ist es aber nicht. Kurse auf DataCamp oder an der Uni zu absolvieren, ist nur der erste Schritt auf einem langen Weg zum Data Scientist. Die erworbenen Kompetenzen müssen geübt, ausgebaut und in ein Portfolio überführt werden, das zeigt, was du kannst, und potenzielle Arbeitgeber überzeugt, dass du ihr Team bereichern kannst.
Aber wie kommst du dahin?
Ein paar Werkzeuge im Kasten zu haben und zu wissen, wie man sie nutzt, ist das eine – der Start ist oft die größte Hürde.
Also: Wie legst du los?
In diesem Artikel geht es nicht um den Code, den du schreiben würdest, sondern um den Prozess, den du durchläufst. Ich beantworte die Frage aus meiner Erfahrung in der US-Armee.
Civil Affairs und Civil Information Management
Bevor ich meinen Weg Richtung Data Scientist eingeschlagen habe, war ich zwanzig Jahre beim US-Militär, die letzten fünf davon in der Civil-Affairs-Einheit der US Army Reserve. Civil Affairs ist kurz gesagt der Arm der Armee, der Regionen nach Katastrophen oder Konflikten stabilisiert. Sie werden in Einsätzen von der Ebola-Epidemie am Horn von Afrika (2014–2016) bis zur Katastrophenhilfe nach Hurrikan Katrina eingesetzt. Auch in Konflikten wie dem Irakkrieg spielen sie eine große Rolle. Ihre Mission: Eine Region wieder in den Zustand vor der Katastrophe zurückführen – zu einem funktionierenden Alltagsleben.
Und was hat das mit Data Science zu tun?
Civil Affairs basiert auf Informationen – sprich: Daten. Um eine Region zu stabilisieren, musst du wissen, was dort zuvor „normal“ war – und ob dieses „Normal“ genügt, um Stabilität zu erreichen. In manchen Regionen gilt es als normal, dass es kein Bildungssystem, keine Sicherheit oder nicht einmal sauberes Trinkwasser gibt. Entscheidungen darüber, was eine Region für Stabilität braucht, verlangen enorme Datenmengen, die erhoben, analysiert und den Entscheidern bereitgestellt werden müssen.
Entscheider in Civil Affairs entsprechen in etwa dem „Top-Management“ in der Wirtschaft. Es sind hochrangige Militärs und Regierungsvertreter, Führungskräfte von Organisationen wie dem Roten Kreuz und der WHO, die letztlich über Geld, Einsatz und Zeit entscheiden. Ihre Beschlüsse stützen sich stark auf gute Informationen, die über einen Prozess namens Civil Information Management (CIM) erhoben werden.
Meine Zeit in Civil Affairs verbrachte ich damit, ein CIM-Team zu leiten, den CIM-Prozess in anderen Einheiten zu schulen und unsere Methoden weiterzuentwickeln. Ich galt weithin als Subject Matter Expert für CIM – und ich kann dir sagen: Das ist nicht nur fürs Militär relevant. Unsere Daten waren nicht geheim. Sie mussten für Militär, lokale Behörden, FEMA sowie zivilgesellschaftliche Organisationen wie das Rote Kreuz und die WHO nutzbar sein.
Der CIM-Prozess, mit dem wir Informationen sammeln, analysieren und verbreiten, lässt sich direkt auf Data Science übertragen – und nach allem, was ich auf DataCamp gesehen habe, wird er dort weitgehend praktiziert, nur ohne den Namen.
Data Science ist mehr als die Kommandozeile oder ein Jupyter Notebook. Wenn du mit einem Datensatz arbeitest, gibt es fast immer ein Ziel und einen „Kunden“. Wenn du aus Neugier oder zum Üben arbeitest, bist du selbst der Kunde. Ansonsten können es Blogleser, Kolleginnen, dein Vorgesetzter oder zahlende Kunden sein.
Wenn du akzeptierst, dass es immer einen Kunden gibt, musst du auch akzeptieren, dass es immer ein Produkt braucht – und dieses Produkt muss die zentrale „Frage“ beantworten.
Die Frage
Bevor du in den sechsstufigen CIM-Prozess einsteigst, musst du wissen, was „die Frage“ ist. Kurz gesagt: der Grund, warum du die Analyse machst.
In Intro to Python for Data Science lautet die Frage zum Beispiel: „Wie groß ist die mediane Körpergröße der Torhüter in FIFA?“. In Kaggles Titanic-Wettbewerb ist es: „Welche Personengruppe hatte die höchste Überlebenswahrscheinlichkeit beim Untergang der Titanic?“.
Es gibt immer eine Frage – oft sogar mehrere. Sobald du die „Frage“ kennst, kannst du den Prozess starten.
Der CIM-Prozess
Erhebung
Ohne Daten gibt es nichts zu analysieren – und keinen Grund für Data Scientists. Die Datensätze auf DataCamp, Kaggle, DrivenData und Data.gov mussten alle erst erhoben werden. Im Internet gibt es nahezu unbegrenzt Daten, und vieles lässt sich per Web Scraping oder anderen Automatisierungstechniken sammeln. In Civil Affairs habe ich stark auf das CIA World Factbook, Volkszählungsdaten und Google Maps gesetzt.
So einfach ist es aber nicht immer.
Im November 2016 wurde die Stadt Gatlinburg (Tennessee) von einem verheerenden Waldbrand getroffen, der mehr als 2.500 Häuser und Geschäfte zerstörte. Ich war damals einer Civil-Affairs-Einheit im nahegelegenen Knoxville (TN) zugeteilt und wir wurden gebeten, die Schäden zu beurteilen. Das Gebiet um Gatlinburg ist ländlich, bergig, mit verstreut liegenden Häusern – Karten aktuell zu halten ist fast unmöglich. Die einzige Möglichkeit festzustellen, welche Gebäude noch standen, war die manuelle Datenerhebung. Gemeinsam mit Freiwilligen und Behörden teilten wir uns in Teams auf und fuhren oder liefen die Bergstraßen ab, um Häuser zu finden. Jedes Gebäude markierten wir auf der Karte und hielten den Schadensgrad fest. Diese Daten wurden anschließend an die lokalen Behörden zur Zusammenführung übermittelt.
Ein weiteres gutes Beispiel für manuelle Datenerhebung ist der Datensatz zur Vererbung der Schnabelltiefe bei Scandens-Finken, der in Statistical Thinking in Python Part 2 verwendet wurde. Diese Daten stammen aus über 40 Jahren persönlicher Beobachtungen!
So weit musst du vermutlich nicht gehen, um an Daten zu kommen. Starte mit den Datensätzen zu Beginn jedes DataCamp-Kurses. Wenn dich dort nichts anspricht, nutze die oben genannten Quellen – oder suche gezielt mit Google nach passenden Daten.
Zusammenführung
Es ist ein gutes Gefühl, einen Datensatz zu finden, der alles enthält, was du brauchst – hübsch verpackt. Leider ist das eher die Ausnahme. Meist liegen Daten in Einzelteilen vor, die zusammengefügt werden müssen.
Bei der Zusammenführung wird Rohdata in einen bearbeitbaren Datensatz überführt.
Während anfangs vieles aus dem Internet kommt, ist das in Civil Affairs nur ein kleiner Teil. Der Großteil stammt von Leuten vor Ort. Civil-Affairs-Teams gehen in Gebiete, machen Fotos, befragen die Bevölkerung und beurteilen Einrichtungen wie Flughäfen, Schulen, Polizeistationen oder Kraftwerke. All diese Informationen kommen als Berichte zurück und müssen zu nutzbaren Daten zusammengeführt werden. Bei den Waldbränden, die ich oben erwähnte, war ich zwar nicht in die Zusammenführung eingebunden – aber jede handbeschriebene Karte musste am Ende in eine zentrale Quelle mit Koordinaten, Zustand und Objektbeschreibung jedes erhobenen Standorts überführt werden.
Als angehender Data Scientist ist die Zusammenführung oft der Punkt, an dem du erstmals intensiver mit Daten arbeitest.
Nimm den Scandens-Datensatz: Jeder Tagesbericht musste in Wochen- oder Monatsberichte, dann in Jahresberichte und schließlich in einen einzigen Datensatz überführt werden, der 40 Jahre umfasst.
Gute Zusammenführung spart später viel Arbeit: Du kannst Daten direkt bereinigen und in passende Kategorien bringen, mit denen du später leichter arbeitest. Techniken wie Merge, Join und Append zahlen sich hier aus.
Aufbereitung
Seien wir ehrlich: Selbst wenn wir einen erhobenen, zusammengeführten Datensatz mit allen Infos finden, ist er oft „unschön“ und braucht Reinigung. In der Aufbereitung verwandeln wir „Daten“ in eine nutzbare Form, bereit für die Analyse. In Civil Affairs habe ich viel erhoben und zusammengeführt, aber in der Aufbereitung habe ich die Daten wirklich kennengelernt und meinen Analyseplan entwickelt.
In meinem CIM-Team haben wir häufig sogenannte „Area Assessments“ gemacht – also eine erste Bestandsaufnahme eines Gebiets, bevor wir vor Ort sind. So erkennen wir, welche Themen wir dort priorisieren müssen. Nach Erhebung und Zusammenführung der relevanten Daten werden sie bereits vor der Analyse zu konsumierbaren Informationen aufbereitet. Das Ergebnis ist meist eine Excel-Mappe oder Datenbank mit bereinigten, kategorisierten Informationen, die du durchsuchen oder filtern kannst, um grundlegende Fragen ohne tiefe Analyse zu beantworten.
In Data Science ist das die Phase des Ordnens und Explorierens, also der Exploratory Data Analysis. Wer Daten sauber kategorisiert, korrekt beschriftet und die richtigen Datentypen sicherstellt, spart sich später viel Mühe. Sorgfältige Aufbereitung ist die Grundlage für eine starke Analyse.
Analyse
Zurück zum Area Assessment: Es ist großartig, einen Datensatz zu haben, den ich abfragen kann. Ich kann herausfinden, wie viele Ärztinnen und Ärzte es gibt oder wie viele Gallonen Frischwasser pro Person und Jahr zur Verfügung stehen. Das sind wichtige Informationen – aber noch keine Analyse. Die Analyse beantwortet Fragen wie: „Wie schneidet das Gebiet im Vergleich zur Umgebung in den Bereichen Regierung, Wirtschaft, Infrastruktur, Sicherheit und Gesundheitsversorgung ab?“ und „Bei aktuellem Verbrauch: Wann geht dem Gebiet das Frischwasser aus?“.
Analyse ist der Kern dessen, weshalb viele von uns zu DataCamp kommen. Es macht mir am meisten Spaß – und hier beantworten wir die alles entscheidende Frage. Da fast jeder DataCamp-Kurs dieses Thema ausführlich behandelt, spare ich mir Details. Entscheidend ist: mit den Daten arbeiten und fundierte Schlüsse ziehen.
Produktion
Zurück zum Waldbrand in Gatlinburg: Nachdem alle Daten erhoben, zusammengeführt und in eine Datenbank überführt wurden – mit Koordinaten, Zustand jedes Gebäudes und Schadensbeschreibung –, stellen wir fest: 60 % aller Gebäude im betroffenen Gebiet sind Totalschäden. Damit beantworten wir die Frage: „Wie groß ist die betroffene Fläche?“.
Wir können weitergehen, den Wert jedes beschädigten Gebäudes ermitteln und die Wiederaufbaukosten für das gesamte Gebiet nach Viertel und Straße aufschlüsseln. Wir könnten sogar identifizieren, welche Viertel am stärksten betroffen sind, um die Prioritäten beim Wiederaufbau festzulegen.
Eine Analyse ist großartig, aber sie bringt nichts, wenn sie nicht in ein Produkt überführt wird – genau darum geht es in der Produktionsphase des CIM-Prozesses. Alles zielt auf diesen Schritt: Hier entsteht das Schaukasten-Stück, das du dem Kunden präsentierst.
Es ist die Summe deiner Arbeit mit den Daten. Das Produkt kann ein Jupyter Notebook, eine Tabelle mit Diagrammen, eine Webseite, ein PDF oder Quellcode sein. Denkbar sind auch eine persönliche Präsentation, ein Video-Walkthrough oder eine Folienpräsentation mit Sway oder PowerPoint. Egal wofür du dich entscheidest: Es muss zum Bedarf des Kunden passen. Zudem gilt:
- Sei klar, prägnant und für den Kunden gut konsumierbar.
- Erzähl eine stimmige Geschichte, die der Kunde versteht.
- Orientier dich am technischen und fachlichen Niveau des Kunden.
Verbreitung
Die Verbreitung ist der letzte Schritt im CIM-Prozess und klingt zunächst simpel: Bring das Produkt zum Kunden. Denkst du genauer darüber nach, ist es vermutlich der wichtigste Schritt. In meinem CIM-Team haben wir meist PDFs, PowerPoint-Folien oder Excel-Reports erstellt. Warum diese Formate? Weil sie zugänglich, leicht zu bedienen und portabel sind – und fast jeder weiß, wie man sie nutzt.
Mit meinen heutigen Kompetenzen hätte ich interaktive Webseiten mit Berichten, Bokeh-Grafiken mit Reglern und Filtern sowie interaktive Karten bauen können. Ein komplexes, dynamisches Produkt, das dank Weboberfläche für nahezu jeden nutzbar wäre. Egal wie gut das Endprodukt ist – es nützt nichts, wenn es nicht so verbreitet wird, dass es:
- Zugänglich ist: Informationen müssen für die Zielgruppe erreichbar sein. Ein Produkt zu „vergraben“, macht den Konsum schwer und führt dazu, dass es schnell in Vergessenheit gerät.
- Einfach zu nutzen ist: Der Auslieferungsweg muss für die große Mehrheit deiner Zielgruppe leicht bedienbar sein. Ein Python-Skript an Data-Science-Kollegen zu schicken, kann passen – an jemanden ohne Erfahrung mit „
data_analysis.py“ eher nicht. - Portabel ist: Wir konsumieren immer mehr Inhalte mobil. Selten setzen wir uns in Ruhe an den Schreibtisch, um lange Inhalte zu lesen. Datenprodukte müssen portabel sein – ob via Office-Anwendungen wie PowerPoint und Excel, als PDF oder über das Internet.
Es gibt unzählige Wege der Verbreitung – mehr, als ich hier aufzählen kann. Die Wahl erfordert Abwägung. Frag dich immer: „Wie bringe ich dieses Produkt so zum Kunden, dass es seinen Bedarf an Zugänglichkeit, Bedienbarkeit und Portabilität am besten erfüllt?“
Wenn du ein Portfolio aufbaust, sind Github, Anaconda Cloud, persönliche Webseiten und Blogs sowie Social Media ein guter Start. Hab keine Scheu, deine Arbeit zu zeigen und mit Gleichgesinnten zu teilen.
Zum Schluss
Wenn du mit Daten arbeitest, nutzt du vermutlich bereits einige der beschriebenen Schritte. Auch wenn du nicht alle sechs persönlich abdeckst, verstehst du sie nun besser – ebenso einen möglichen Prozess, um Rohdaten in ein fertiges Produkt zu verwandeln. Es mag ungewöhnlich wirken, militärische Verfahren auf Data Science zu übertragen – doch diese sechs Schritte haben mir im Militär wie in der Wirtschaft gute Dienste geleistet. Ich hoffe, sie helfen auch dir auf deinem Weg zum Data Scientist.