Configuration Python : le guide ultime

Pour les développeurs, une station de travail bien configurée facilite grandement le quotidien. Cela passe par l’installation et le paramétrage des meilleurs outils, ainsi que la mise en place de tout ce qui permet de donner le meilleur de soi lors de la création d’un logiciel. Les data scientists n’y échappent pas : une configuration solide est essentielle pour créer des logiciels performants, des outils de visualisation aux processus d’ingestion. Dans ce tutoriel, nous allons passer en revue les bases d’une configuration machine pour la data science, utile également à toute personne souhaitant développer des logiciels en Python. C’est parti !

Périmètre

Python est disponible sur une grande variété de systèmes d’exploitation. Ce tutoriel montre quelques extraits sous Linux Ubuntu, mais ils s’appliquent largement aux autres systèmes basés sur UNIX ainsi qu’à macOS. Pour Microsoft Windows, de légères différences existent ; nous les mentionnerons lorsqu’elles s’appliquent.

Python : la pièce maîtresse

En bref : utilisez l’implémentation Python 3 depuis le site officiel

Considérer l’interpréteur Python comme le cœur d’une application développée dans ce langage paraît évident. Pourtant, on peut vite hésiter au moment de choisir le meilleur interpréteur. Vous avez sans doute aussi lu qu’il existe deux grandes versions du langage ; choisir la bonne version et l’implémentation adéquate est donc une première décision importante.

Python, Anaconda, Jython, WinPython, IronPython… trop de serpents pour une seule cage

Avec la popularité du langage, de nombreuses implémentations de l’interpréteur ont vu le jour. Certaines s’installent très facilement, d’autres sont encore en phase précoce et leur installation est plutôt réservée à leurs développeurs ou aux plus téméraires. Le wiki officiel de Python recense plusieurs interpréteurs disponibles et leurs particularités. Comme nous le verrons, la distribution Python proposée sur le site officiel inclut tout ce qu’il faut pour démarrer sans rien sacrifier par rapport aux autres implémentations.

Python 2 ou Python 3 ? Quelle version choisir ?

Bien que Python 3 soit sorti il y a plus de dix ans, la transition depuis Python 2 n’a pas été de tout repos. L’une des principales raisons : des différences de syntaxe rendant de nombreuses bibliothèques existantes indisponibles pour la dernière version. Or, vous le constaterez vite, la richesse de l’écosystème de bibliothèques est l’un des grands atouts de Python. Entre-temps, des outils comme 2to3 ou six ont facilité la migration. À l’heure où ce tutoriel a été rédigé, la grande majorité des bibliothèques est disponible pour Python 3 ; le choix de version est donc simple : Python 3. De plus, le cycle de vie de Python 2 a pris fin en 2020. Certain·e·s ont même prévu une fête d’adieu à PyCon 2020. N’hésitez pas à les rejoindre pour remercier Python 2 de bons et loyaux services !

Installer Python sur votre ordinateur

L’interpréteur Python est disponible pour la plupart des OS, avec parfois des paquets qui simplifient l’installation. Sous Ubuntu, Python 2 et Python 3 coexistent par défaut sur les environnements desktop. Pensez à vérifier l’alias python, qui pointe encore vers Python 2 au lieu de 3, ou définissez un alias dans votre fichier ~/.bashrc si besoin. Comme indiqué plus haut, il est attendu que seule la version Python 3 subsiste. Notre recommandation : installez la version la plus récente. Si Python 3 est déjà présent, vérifiez qu’il est supérieur à 3.5. Si votre version est plus ancienne, mettez-la à jour pour profiter des dernières fonctionnalités.

$ python --version
Python 3.5.2

Sur Windows, l’installation de l’interpréteur Python est tout aussi simple. La page de téléchargement officielle fournit un installeur qui vous guide en quelques clics.

Gérer les dépendances avec pip

Pour un développement de base, l’interpréteur Python suffit pour commencer à coder. La distribution Python inclut l’interpréteur et des outils qui facilitent la gestion d’applications. L’un d’eux, pip, sert à installer des bibliothèques tierces disponibles sur PyPI (Python Package Index) ou d’autres dépôts publics ou privés.

Notre premier projet Python : Jupyter Notebooks

Prenons un premier projet de data science : un notebook Jupyter pour préparer des données et produire de superbes visualisations. La première bibliothèque nécessaire sera donc Jupyter. Son installation est on ne peut plus simple :

$ pip install --user jupyter

Notez que l’option --user installe la bibliothèque uniquement pour l’utilisateur courant. Une installation globale est possible en l’omettant, mais peut nécessiter des droits administrateur. Au-delà de l’installation, pip permet de télécharger des bibliothèques, interroger la configuration, mettre à niveau et désinstaller un paquet si vous n’en avez plus besoin. Le tableau ci-dessous récapitule quelques commandes utiles pour gérer les besoins de votre application :

Nous réutiliserons ces commandes pour gérer les dépendances du projet. Retenez surtout que pip est le gestionnaire de dépendances de votre application. Enfin, sachez que pip installe non seulement les bibliothèques demandées, mais aussi leurs dépendances ; inutile donc de gérer des procédures d’installation complexes. Un simple pip install et c’est réglé !

Environnements virtuels : isolez la configuration de vos projets

Imaginez qu’en travaillant sur votre projet de notebooks, vous découvriez une nouvelle bibliothèque prometteuse à tester avant de l’intégrer. Elle nécessite toutefois une autre version de Jupyter. Vous avez alors deux options :

• Installer le nouveau paquet sans ses dépendances. La bibliothèque risque de mal fonctionner, sauf à modifier son code.
• Installer le nouveau paquet avec ses dépendances. Votre projet actuel sera impacté ; vous devrez mettre à jour sa configuration et ajuster certains éléments.

Ce type de situation arrive souvent lorsqu’on mène deux projets en parallèle. Imaginez avec davantage de projets, ou plusieurs applications Python dépendant d’une même bibliothèque que vous ne pouvez pas modifier… Bonjour le casse-tête. Heureusement, Python propose un mécanisme pour isoler la configuration d’un projet des autres : les environnements virtuels. Présents depuis Python 2 via d’autres approches, ils sont intégrés nativement depuis Python 3.6 (nous vous recommandons vivement cette version ou plus récente). Pour les interpréteurs antérieurs à 3.6, installez la bibliothèque via pip :

$ pip install -U venv

Pour celles et ceux qui utilisent encore Python 2 (à moins de migrer), la bibliothèque s’appelle virtualenv et s’installe de la même façon.

$ pip install -U virtualenv

Sous Ubuntu, virtualenv est également disponible en paquet système et peut s’installer avec apt-get :

$ sudo apt-get install python3-venv

Créer un nouvel environnement virtuel est simple. En ligne de commande, tapez :

$ python -m venv new_venv

Conseil : exécutez cette commande depuis votre répertoire de travail. Vous aurez ainsi un dossier autonome regroupant votre code source et l’environnement virtuel où seront stockées les bibliothèques requises. Une fois créé, activez l’environnement en chargeant le script activate dans new_venv/bin/activate.

source new_venv/bin/activate
(new_venv) $ ...

Sur Windows, exécutez le script activate présent dans le dossier Scripts.

new_venv/Scripts/activate
(new_venv) $ ...

Une fois l’environnement virtuel activé, l’invite de commande change et affiche son nom entre parenthèses. En un coup d’œil, un environnement virtuel contient :

• Un interpréteur Python : identique à celui utilisé pour créer l’environnement. À moins d’avoir modifié l’alias python, utilisez explicitement python3 ou python3.6 si plusieurs versions de Python 3 coexistent.
• Le gestionnaire de paquets pip, qui installe toutes les bibliothèques dans le répertoire lib/pythonX.Y/site/packages. L’interpréteur Python utilise ce répertoire pour résoudre les dépendances.
• Des scripts d’activation/désactivation, pour charger l’environnement du projet puis revenir à la configuration par défaut. Une fois l’environnement activé, vous pouvez installer n’importe quelle bibliothèque :

$ pip install requests

Cette commande installe la bibliothèque requests dans l’environnement virtuel, utilisable par l’interpréteur situé dans le dossier bin de celui-ci. Notez qu’aucun droit administrateur n’est requis. Vous pouvez vérifier l’installation avec pip show (pip show requests), qui fournit des détails sur le paquet. Enfin, lorsque vous avez terminé, désactivez l’environnement avec la commande deactivate.

(new_venv) $ deactivate
$

Simple, puissant, indispensable. Vive les environnements virtuels !

Astuce : l’emplacement d’installation des paquets peut être vérifié via la variable sys.prefix. Essayez dans un environnement activé, puis sans.

>>> import sys
>>> print(sys.prefix)

Générer l’ossature d’un projet : facile avec Cookiecutter !

Comme beaucoup, vous avez sans doute commencé avec un script simple (probablement un Hello World). En reprenant cette idée et les concepts vus plus haut, on obtient la structure de travail suivante :

• Un répertoire de travail qui contient
• Un dossier d’environnement virtuel, et
• Un script simple pour votre application Hello World.

Un projet Python n’impose pas de structure, mais il est recommandé d’organiser votre code, sa suite de tests et les scripts/fichiers de configuration utiles à un cycle de développement complet. La version la plus simple pourrait ressembler à ceci :

$ tree -L 1
.
├── requirements.txt     ---> Dépendances du projet
├── src                  ---> Code source
├── tests                ---> Code de tests
└── venv                 ---> Fichiers de l’environnement virtuel

Nous avons évoqué le fichier requirements.txt dans la section pip. Il listera les dépendances du projet, récupérées via pip freeze. Les dossiers src et tests contiendront la logique métier et les tests associés. Le répertoire venv (nom usuel) stocke la configuration de l’environnement virtuel.

Créer l’ossature facilement : Cookiecutter

Si cette approche suffit pour débuter, vous aurez vite envie d’une ossature plus évoluée avec des outils qui facilitent le développement. Créer ces squelettes à la main peut être fastidieux. Une meilleure option consiste à maintenir un projet de référence et à en adapter le contenu pour chaque nouveau projet. Cela peut fonctionner, mais c’est source d’erreurs et d’incohérences si vous oubliez certains réglages. La création de nouveaux projets est grandement simplifiée avec l’outil cookiecutter. Il prend en entrée un modèle de projet et en génère une copie en remplaçant noms de fichiers/dossiers et contenus selon des paramètres saisis par l’utilisateur. Écrit en Python, il s’installe via pip.

$ pip install -U cookiecutter

Rappel : l’option -U installe l’outil dans l’espace utilisateur. Vous pouvez l’omettre, mais il faudra alors des droits administrateur (root/sudo). Sous Ubuntu, il existe aussi en paquet apt-get :

$ sudo apt-get install cookiecutter

Dans sa forme la plus simple, exécutez cookiecutter ainsi :

$ cookiecutter <TEMPLATE_LOCATION>

Le modèle peut être local ou référencé par une URL Git. Cette dernière option est pratique pour les développeurs et organisations qui maintiennent et font évoluer leurs templates.

Pour comprendre le fonctionnement, consultez un exemple de projet cookiecutter. Le fichier central de tout projet cookiecutter est cookiecutter.json ; il contient les valeurs que l’utilisateur doit renseigner pour générer l’ossature. Écrit en JSON, il s’agit d’un dictionnaire de paires clé-valeur, les valeurs servant de défaut si l’utilisateur valide sans saisir.

{
    "full_name": "Steven Loria",
    "email": "sloria1@gmail.com",
    "github_username": "sloria",
    "project_name": "My Flask App",
    "app_name": "myflaskapp",
    "project_short_description": "A flasky app.",
    "use_pipenv": ["no", "yes"]
}

À partir de ces valeurs, cookiecutter remplace dans le template les noms de fichiers et de répertoires contenant des doubles accolades {{...}}.

Si vous souhaitez créer vos propres archétypes, lancez-vous avec un projet cookiecutter et ajoutez-y tout ce qui vous semble utile au développement. Si vous avez hâte de démarrer, de nombreux templates cookiecutter sont prêts à l’emploi. Vous cherchez celui qui vous convient ? Essayez ce moteur de recherche cookiecutter ! Bonne nouvelle : l’outil ne se limite pas aux projets Python, il est générique.

Mettre le tout ensemble : le cycle de vie d’un projet

Maintenant que nous avons abordé la gestion des paquets, les environnements virtuels et l’ossature de projet, voici comment organiser votre travail après avoir configuré votre machine :

1. Utilisez Python 3 comme interpréteur. C’est encore mieux si vous passez à Python 3.6.
2. Créez un nouveau projet pour stocker vos modules Python et dépendances.
   • Générez-le facilement avec cookiecutter à partir d’un template de référence.
3. Créez un environnement virtuel dans le dossier de l’application et activez-le quand vous êtes prêt à coder.
4. Développez la meilleure application de votre vie, en tirant parti des bibliothèques tierces si besoin.
   • N’oubliez pas de déclarer les dépendances dans un fichier requirements.txt avec la commande pip freeze.
5. [Optionnel] Publiez votre projet dans un système de gestion de code comme Git. Mais n’ajoutez pas le contenu de l’environnement virtuel. Vous pourrez le recréer à tout moment comme expliqué ci-dessous.

Une fois le code et le fichier de dépendances enregistrés, vous pouvez reconstituer la structure du projet très facilement :

1. Copiez le code et le fichier de dépendances dans un dossier de travail (ou clonez le dépôt Git).
2. Créez un environnement virtuel dans le dossier de l’application et activez-le pour installer les dépendances.
3. Installez les dépendances avec pip install -r requirements.txt.
4. Poursuivez les améliorations ou correctifs. N’oubliez pas de mettre à jour les dépendances avec pip freeze.

Une dernière chose avant de conclure. Même si nous n’avons pas évoqué les IDE disponibles pour coder en Python, à vous de choisir celui qui vous convient et de le personnaliser selon vos besoins.

Bon code Python !

Pour aller plus loin, suivez le cours gratuit de DataCamp : Intro to Python for Data Science.