Python-Setup: Der ultimative Leitfaden

Für Entwicklerinnen und Entwickler macht eine sauber eingerichtete Workstation den Alltag deutlich leichter. Dazu gehören Installation und Konfiguration der passenden Tools sowie alles, was hilft, beim Entwickeln das Beste herauszuholen. Für Data Scientists gilt das genauso: Ein stimmiges Setup ist entscheidend, um besondere Software zu bauen – von Visualisierungstools bis zu Ingestionsprozessen. In diesem Tutorial erkläre ich die Grundlagen eines Computer-Setups für Data Science. Die Anleitung ist aber auch für alle hilfreich, die mit der Programmiersprache Python Software entwickeln möchten. Legen wir los!

Scope

Python ist für eine Vielzahl von Betriebssystemen verfügbar. In diesem Tutorial siehst du Beispiele unter Linux Ubuntu, die aber weitgehend auch für andere UNIX-basierte Systeme und macOS gelten. Für MS Windows gibt es kleinere Unterschiede, auf die wir an den entsprechenden Stellen hinweisen.

Python: das Herzstück

tl;dr Nutze die Python-3-Implementierung von der offiziellen Website

Den Python-Interpreter als Herzstück jeder auf dieser Sprache basierenden Anwendung zu betrachten, liegt auf der Hand. Aber genau hier kann die Frage aufkommen, welchen Interpreter du am besten verwendest. Zudem liest man häufig von zwei unterschiedlichen Sprachversionen – die richtige Version und den passenden Interpreter zu wählen, ist deshalb die erste wichtige Entscheidung.

Python, Anaconda, Jython, WinPython, IronPython ... zu viele Schlangen für einen Käfig

Aufgrund der Popularität der Sprache gibt es zahlreiche Interpreter-Implementierungen. Manche lassen sich direkt auf deinem Rechner installieren, andere sind noch früh in der Entwicklung und richten sich eher an deren Entwickler oder experimentierfreudige Programmierer. Das offizielle Python-Wiki listet einige verfügbare Interpreter und ihre Besonderheiten. Wie wir in diesem Tutorial sehen werden, bringt die Python-Distribution von der offiziellen Website alles mit, was du brauchst, um ohne Einschränkungen durch alternative Implementierungen mit Python zu entwickeln.

Python 2 oder Python 3? Welche Version solltest du verwenden?

Obwohl Python 3 schon vor zehn Jahren veröffentlicht wurde, lief der Umstieg von Python 2 nicht gerade reibungslos. Ein Hauptgrund für die zögerliche Adoption waren Syntaxunterschiede, durch die viele bestehende Bibliotheken zunächst nicht für die neue Version verfügbar waren. Gerade die enorme Bibliotheksvielfalt ist jedoch eine der großen Stärken von Python. In dieser Übergangszeit entstanden Tools und Bibliotheken wie 2to3 oder six, um bestehende Software leichter zu migrieren. Inzwischen steht die überwältigende Mehrheit der Bibliotheken für Python-3-Anwendungen bereit. Die Entscheidung fällt daher klar aus: Nutze Python 3. Außerdem endete der Lebenszyklus von Python 2 im Jahr 2020. Auf der PyCon 2020 gab es sogar Pläne für eine „Celebration of Life“-Party – schließ dich an und sag Python 2 danke für die gute Zeit!

Python auf deinem Rechner installieren

Den Python-Interpreter gibt es für die meisten Betriebssysteme, häufig sogar als Pakete, die die Installation erleichtern. Unter Ubuntu sind Python 2 und Python 3 in Desktop-Umgebungen sogar parallel vorinstalliert. Beachte, dass der python-Alias oft noch auf Python 2 zeigt. Du kannst den Alias ändern oder dir bei Bedarf einen Alias in deiner ~/.bashrc definieren. Wie oben erwähnt, wird in den kommenden Jahren voraussichtlich nur noch eine Python-Version installiert sein. Meine Empfehlung: Installiere die aktuellste Python-Version. Wenn Python 3 bereits installiert ist, prüfe, ob deine Version neuer als 3.5 ist. Ist sie älter, solltest du aktualisieren, um die neuesten Sprachfeatures zu nutzen.

$ python --version
Python 3.5.2

Unter Windows ist die Installation des Interpreters ebenfalls unkompliziert. Auf der offiziellen Download-Seite findest du einen Installer, der dich in wenigen Klicks durch die Einrichtung führt.

Projektabhängigkeiten mit pip verwalten

Fürs grundlegende Entwickeln reicht der installierte Python-Interpreter, um loszulegen. Das Python-Bundle bringt neben dem Interpreter auch Werkzeuge mit, die das Verwalten von Anwendungen erleichtern. Eines davon ist pip. Damit installierst du Drittanbieterbibliotheken aus dem PyPI (Python Package Index) oder aus anderen öffentlichen bzw. privaten Repositories.

Unser erstes Python-Projekt: Jupyter Notebooks

Denk an ein erstes Data-Science-Projekt: Ein Jupyter Notebook, das Daten aufbereitet und eindrucksvoll visualisiert. Die erste Bibliothek, die du dafür brauchst, ist Jupyter. Die Installation ist simpel:

$ pip install --user jupyter

Beachte: Mit der Option --user wird die Bibliothek nur für die ausführende Nutzerin bzw. den Nutzer installiert. Für eine systemweite Installation entfernst du die Option, benötigst dafür aber in der Regel erhöhte Rechte. Neben der Installation kann pip Bibliotheken herunterladen, die aktuelle Konfiguration abfragen, Pakete aktualisieren und wieder entfernen. Die folgende Tabelle zeigt nützliche Befehle für die Abhängigkeitsverwaltung:

Auf die oben genannten Befehle kommen wir später zurück, wenn es um das Verwalten von Projektabhängigkeiten geht. Merke dir einfach: pip ist dein Abhängigkeitsmanager. Wichtig: pip installiert nicht nur die angeforderten Bibliotheken, sondern auch deren Abhängigkeiten – du musst dich also nicht mit komplizierten Installationsabläufen herumschlagen. pip install ist der richtige Weg!

Virtuelle Umgebungen: Projekte sauber trennen

Stell dir vor, während du an deinem Notebook-Projekt arbeitest, entdeckst du eine neue, spannende Bibliothek, die du erst ausprobieren willst, bevor du sie fest in die Projektkonfiguration übernimmst. Diese Bibliothek benötigt jedoch eine andere Version der Jupyter Notebooks. Du hast nun zwei Möglichkeiten:

• Du installierst das neue Paket ohne seine Abhängigkeiten. Die Bibliothek wird vermutlich fehlerhaft laufen, es sei denn, du änderst ihren Code.
• Du installierst das Paket inklusive Abhängigkeiten. Dann beeinflusst das dein aktuelles Projekt, du musst die Konfiguration aktualisieren und Anpassungen vornehmen.

Solche Situationen treten schnell auf, wenn du parallel an zwei Projekten arbeitest. Denk an noch komplexere Szenarien mit mehreren Projekten oder Python-Anwendungen, die auf unveränderte Bibliotheken angewiesen sind. Das kann schnell zur Nervenprobe werden. Zum Glück gibt es in Python einen Mechanismus, um Projektkonfigurationen gegeneinander abzuschotten: Virtuelle Umgebungen. Sie gab es bereits zu Python-2-Zeiten neben anderen Ansätzen und sind seit Version 3.6 ein Bestandteil der Standardbibliothek (installiere am besten diese Version oder neuer!). Ältere Interpreter als 3.6 können die Bibliothek mit pip nachrüsten:

$ pip install -U venv

Wer Python 2 nutzt (besser wäre ein Upgrade), verwendet die Bibliothek virtualenv. Installation identisch:

$ pip install -U virtualenv

Unter Ubuntu gibt es virtualenv auch als Systempaket, installierbar via apt-get:

$ sudo apt-get install python3-venv

Eine neue virtuelle Umgebung erstellst du ganz einfach. Gib folgenden Befehl ein, um im Verzeichnis new_venv eine Umgebung anzulegen.

$ python -m venv new_venv

Empfehlung: Führe den Befehl in deinem Workspace-Verzeichnis aus. So hast du Quellcode und die virtuelle Umgebung, in der alle Projektslibs landen, beieinander. Ist die Umgebung erstellt, aktivierst du sie über das Skript new_venv/bin/activate.

source new_venv/bin/activate
(new_venv) $ ...

Unter Windows führst du das activate-Skript im Ordner Scripts aus.

new_venv/Scripts/activate
(new_venv) $ ...

Nach dem Aktivieren siehst du den Namen der Umgebung in Klammern in deiner Shell. Eine virtuelle Umgebung enthält im Kern:

• Einen Python-Interpreter: Genau die Version, mit der du die Umgebung erstellt hast. Wenn der python-Alias nicht angepasst ist, rufst du ggf. explizit python3 oder python3.6 auf, falls mehrere Python-3-Versionen installiert sind.
• Den Paketmanager pip. Er installiert alle Bibliotheken in lib/pythonX.Y/site/packages. Der Interpreter löst Abhängigkeiten über dieses Verzeichnis auf.
• Aktivierungs-/Deaktivierungsskripte. Damit lädst du die Projektumgebung und kehrst danach wieder zur Standardkonfiguration zurück. Mit aktivierter Umgebung installierst du Pakete so:

$ pip install requests

Dieser Befehl installiert die Bibliothek requests in der virtuellen Umgebung. Sie kann dann vom Python-Interpreter im bin-Verzeichnis der Umgebung geladen werden. Admin-Rechte brauchst du dafür nicht. Prüfe die Installation mit pip show (pip show requests). Bist du fertig, deaktivierst du die Umgebung mit deactivate.

(new_venv) $ deactivate
$

So simpel, so mächtig, so hilfreich. Virtuelle Umgebungen retten den Tag! :D

Tipp: Den Installationspfad der Pakete findest du über die Variable sys.prefix. Probier es einmal in einer aktivierten Umgebung und einmal ohne.

>>> import sys
>>> print(sys.prefix)

Projektgerüst: Kinderleicht mit Cookiecutter!

Die meisten von uns haben mit einem einfachen Skript angefangen (wahrscheinlich „Hello World“). Kombiniert mit den eben besprochenen Konzepten ergibt sich folgende Workspace-Struktur:

• Ein Verzeichnis für deinen Workspace mit
• einem Verzeichnis für die virtuelle Umgebung und
• einem einfachen Skript für deine Hello-World-Anwendung.

Python-Projekte brauchen zwar kein festes Layout, aber eine sinnvolle Struktur aus Quellcode, Tests sowie hilfreichen Skripten und Konfigurationsdateien erleichtert einen vollständigen Entwicklungszyklus erheblich. Eine minimalistische Struktur könnte so aussehen:

$ tree -L 1
.
├── requirements.txt     ---> Projektabhängigkeiten
├── src                  ---> Quellcode
├── tests                ---> Testcode
└── venv                 ---> Virtuelle Umgebung

Über die Datei requirements.txt haben wir im Abschnitt zu pip gesprochen. Sie enthält die Projektabhängigkeiten, die du mit pip freeze festhalten kannst. In src und tests liegen Business-Logik und die zugehörigen Tests. Und im Ordner venv (so heißt er häufig) liegt die Konfiguration der virtuellen Umgebung.

Projektgerüste bequem erstellen: Cookiecutter

Mit wachsender Erfahrung willst du dein Grundgerüst vermutlich um Tools erweitern, die den Entwicklungsprozess vereinfachen. Projektgerüste von Hand aufzusetzen, ist mühsam. Eine bessere Option ist, ein Referenzprojekt zu kopieren und Inhalte anzupassen. Das funktioniert, ist aber fehleranfällig: Übersieht man etwas, endet es schnell in Inkonsistenzen. Neue Projekte setzt du mit dem Tool cookiecutter ganz einfach auf. Cookiecutter nimmt ein Projekttemplate, ersetzt anhand abgefragter Parameter Dateinamen und Inhalte und legt daraus deine Projektstruktur an. Das Tool ist in Python geschrieben und per pip installierbar.

$ pip install -U cookiecutter

Zur Erinnerung: Die Option -U installiert das Tool in deinem Userspace. Ohne diese Option brauchst du Root-/sudo-Rechte. Unter Ubuntu gibt es cookiecutter auch als Paket für apt-get:

$ sudo apt-get install cookiecutter

In der einfachsten Form rufst du cookiecutter so auf:

$ cookiecutter <TEMPLATE_LOCATION>

Das Template kann lokal liegen oder als GIT-URL angegeben werden. Letzteres ist ideal für Teams und Organisationen, die ihre Vorlagen pflegen und weiterentwickeln möchten.

Um zu verstehen, wie cookiecutter arbeitet, schau dir ein Beispielprojekt an. Die zentrale Datei in jedem Cookiecutter-Template heißt cookiecutter.json und listet die Werte, die beim Erstellen abgefragt werden. Sie ist im JSON-Format gehalten und enthält ein Dictionary aus Schlüssel-Wert-Paaren, wobei die Werte Standardvorgaben sind, falls Eingaben übersprungen werden.

{
    "full_name": "Steven Loria",
    "email": "sloria1@gmail.com",
    "github_username": "sloria",
    "project_name": "My Flask App",
    "app_name": "myflaskapp",
    "project_short_description": "A flasky app.",
    "use_pipenv": ["no", "yes"]
}

Anhand der Eingaben ersetzt cookiecutter im Template Datei- und Verzeichnisnamen mit doppelten geschweiften Klammern {{...}}.

Wenn du eigene Archetypen bauen willst, starte mit einem Cookiecutter-Projekt und pack alles hinein, was dir beim Entwickeln hilft. Wer sofort loslegen möchte, findet zahlreiche fertige Cookiecutter-Templates, die nur darauf warten, instanziiert zu werden. Du suchst ein Template, das zu deinen Anforderungen passt? Probier die Cookiecutter-Suchmaschine aus! Und noch besser: Das Tool eignet sich nicht nur für Python-Projekte, sondern für beliebige Projekttypen.

Alles zusammenbringen: Ein Entwicklungszyklus für Projekte

Nachdem wir Paketverwaltung, virtuelle Umgebungen und Projektgerüste besprochen haben, hier ein möglicher Workflow, wie du deinen Rechner nach diesem Tutorial einrichtest und arbeitest:

1. Nutze Python 3 als Interpreter. Noch besser: Steig direkt auf Python 3.6 ein.
2. Erstelle ein neues Projekt, in dem deine Module und Abhängigkeiten liegen.
   • Am einfachsten geht das mit cookiecutter und einem passenden Referenztemplate.
3. Lege innerhalb des Projektordners eine virtuelle Umgebung an und aktiviere sie, sobald du mit dem Coden beginnst.
4. Schreibe die beste App deines Lebens und nutze bei Bedarf Drittanbieterbibliotheken.
   • Vergiss nicht, die Abhängigkeiten mit requirements.txt über pip freeze festzuhalten.
5. [Optional] Lade dein Projekt in ein Versionskontrollsystem wie Git. Den Inhalt der virtuellen Umgebung solltest du nicht einchecken – du kannst sie jederzeit wie unten beschrieben neu erstellen.

Wenn Code und Abhängigkeitsdatei vorliegen, rekonstruierst du die Projektumgebung jederzeit so:

1. Kopiere Code und requirements-Datei in einen Workspace-Ordner (mit Git klonst du das Repository).
2. Erstelle im Projektordner eine virtuelle Umgebung und aktiviere sie, um die Abhängigkeiten zu installieren.
3. Installiere die Abhängigkeiten mit pip install -r requirements.txt.
4. Arbeite an Verbesserungen oder Fixes. Vergiss nicht, neue Abhängigkeiten per pip freeze in der requirements-Datei zu vermerken.

Noch ein Hinweis zum Schluss: Wir haben bewusst keine IDEs für die Python-Entwicklung besprochen. Such dir die IDE aus, die zu dir passt, und richte sie nach deinen Bedürfnissen ein.

Viel Spaß beim Python-Coden!

Wenn du mehr über Python lernen möchtest, starte mit DataCamps kostenlosem Kurs Intro to Python for Data Science.