Le passé, le présent et l'avenir du notebook en data science

Les notebooks se sont imposés en data science depuis près de 10 ans et tous les data scientists en utilisent. Ils permettent d'expérimenter rapidement et de partager des insights grâce à la création instantanée d'environnements, à des sorties interactives et à des blocs de code exécutables dans n'importe quel ordre. 

Les entreprises ont massivement investi dans la data science et l'analytics, notamment dans des outils qui permettent de travailler efficacement et d'expérimenter rapidement. Les notebooks sont au cœur de cette dynamique et constituent un pilier de nombreuses innovations que l'on retrouve aujourd'hui dans le modern data stack. Plus important encore, ils donnent les moyens aux citizen data scientists de démocratiser l'accès aux insights. 

Cet article revient sur le passé, le présent et l'avenir des notebooks, et montre comment ils font tomber les silos dans les activités data et la collaboration.

L'histoire du notebook en data science

Presque tous les data scientists utilisent aujourd'hui un notebook, le plus répandu étant les Jupyter Notebooks. Pourtant, les notebooks ont une histoire riche, antérieure à la data science : elle remonte au début des années 1980.

L'essor de la programmation lettrée

Présentée en 1984 par Donald Knuth, la programmation lettrée se voulait une méthode pour écrire des programmes lisibles par des humains. L'idée était de rédiger la logique du programme en langage naturel, avec des extraits de code et des macros insérés sous forme de commentaires distincts, appelés « WEB ». Les macros s'apparentent à du pseudocode utilisé pour enseigner l'informatique. 

Un préprocesseur analyse ensuite le WEB pour produire le code source (« tangle ») et la documentation (« weave »). La programmation lettrée est encore utilisée aujourd'hui, par exemple dans Axiom, mais ses principes fondateurs ont inspiré les notebooks modernes tels que nous les connaissons.

Les premiers notebooks

Les premiers notebooks emblématiques furent Wolfram Mathematica et Maple, sortis à la fin des années 1980. Ils fonctionnaient avec une interface front-end et un noyau (kernel) en back-end. L'image ci-dessous montre un tracé 3D généré avec Mathematica, avec la notation familière In[ ] et Out[ ] que l'on retrouve encore aujourd'hui. 

Les débuts de Wolfram Mathematica

Ces outils différaient sur certains détails, comme l'utilisation de Entrée plutôt que Maj + Entrée pour exécuter le code, ou la façon d'afficher certaines opérations mathématiques. Mais tous deux ont apporté des idées qui ont influencé la conception des notebooks modernes.

Le principal frein à une adoption massive restait le coût, ces outils étant onéreux et soumis à licence. Ce constat, partagé par toute l'industrie, a conduit en 1998 à la création de l'Open Source Initiative, à l'origine de nombreux outils puissants et gratuits que nous utilisons aujourd'hui (comme les Jupyter Notebooks !). 

Les fondations des notebooks modernes 

En 2001, IPython et SciPy sont sortis, suivis par Matplotlib en 2003. SciPy a rendu possibles de nombreux calculs scientifiques en Python, tandis qu'IPython a amélioré l'expérience utilisateur dans le terminal et ajouté la prise en charge du calcul distribué. Comme aujourd'hui, Matplotlib a facilité la création de visualisations de données en Python.

Ce n'est qu'en 2005 que ces briques open source (et d'autres) ont été réunies dans un même outil appelé SageMath. L'objectif était de proposer une alternative open source à Mathematica et Maple, en combinant et en étendant d'autres outils scientifiques open source, et en apportant des fonctionnalités web qui sont devenues un standard des notebooks modernes. 

En 2011, IPython a publié son notebook, avec une distinction claire entre l'application web front-end et le document notebook sous-jacent.

L'IPython Notebook

La naissance des Jupyter Notebooks

Jupyter a été dissocié d'IPython en 2014, en introduisant l'interface notebook et en reprenant d'autres composants indépendants du langage d'IPython. Son nom vient des premiers langages pris en charge : Julia, Python et R. Les Jupyter notebooks sont désormais l'outil de référence des data scientists et, de loin, l'interface de notebook la plus utilisée.

Ces dernières années, un axe clé d'innovation a consisté à séparer l'interface du noyau, de sorte que l'interface soit accessible dans le navigateur tandis que le kernel s'exécute dans des data centers cloud. DataCamp Workspace en est un excellent exemple : vous lancez une instance Jupyter Notebook directement dans votre navigateur.

JupyterLab dans DataCamp Workspace

Avec l'adoption massive des notebooks, une nouvelle vague d'interfaces modernes a émergé, permettant à chacun de travailler facilement avec les données. Dans la section suivante, nous verrons comment les notebooks modernes font sauter les verrous liés au travail et à la collaboration autour de la donnée.

Comment les notebooks modernes donnent du pouvoir aux citizen data scientists

Le concept de Citizen Data Scientist a été introduit par Gartner en 2016. Les citizen data scientists ont des compétences techniques, sans forcément avoir un parcours classique en data science, statistiques ou informatique. 

À mesure que la data science s'étend d'un domaine à une méthode au service des enjeux business, les citizen data scientists deviennent le visage des organisations véritablement pilotées par la donnée. Les notebooks leur conviennent parfaitement car ils permettent d'expérimenter vite et de partager des insights, avec peu ou pas de barrières à l'entrée. 

S'ils ont toujours été excellents pour explorer et analyser rapidement un jeu de données, les notebooks étaient historiquement moins adaptés à la collaboration et au partage d'insights. En 2022, ce n'est plus le cas : les notebooks modernes et leur écosystème comblent ces angles morts. Voici comment ils dopent la productivité, l'efficacité et la collaboration. 

Des notebooks véritablement collaboratifs 

Google Docs illustre bien ce qu'apporte un outil collaboratif moderne : plusieurs personnes éditent le même document, tout en contrôlant qui peut modifier et qui peut seulement commenter. Les changements sont enregistrés en continu pour éviter toute perte. 

Des fonctionnalités similaires existent désormais pour les notebooks avec des outils comme Deepnote et DataCamp Workspace. Plusieurs utilisateurs peuvent éditer et exécuter des notebooks et y laisser des commentaires. Toute la collaboration se fait en temps réel, ce qui fluidifie considérablement le processus.

Collaboration dans DataCamp Workspace

La collaboration est essentielle pour tous ceux qui travaillent avec des données. Réduire les freins à la collaboration, c'est aussi réduire les silos en partageant connaissances et expertise. Si, traditionnellement, collaborer via des notebooks pouvait être lent, le modern data stack rend désormais l'expérience rapide et fluide. De nombreux outils s'intègrent naturellement à l'écosystème technique existant, ce qui permet de garder ses habitudes tout en collaborant avec ses collègues.

Ils démocratisent les insights

Partager une analyse avec d'autres publics — qu'il s'agisse de parties prenantes métier ou de profils plus techniques — n'est pas toujours simple. Historiquement, on diffusait des rapports issus de notebooks par e-mail, Slack, présentations, ou via des applications web dédiées. 

Les notebooks modernes, eux, démocratisent l'accès aux insights grâce à des partages fluides. Par exemple, IPyWidgets permet d'ajouter des widgets interactifs pour manipuler des curseurs et faire évoluer les graphiques. Binder transforme un dépôt en notebooks interactifs hébergés, partageables et exécutables par tous. Voila convertit un notebook en application web hébergée, offrant une interaction complète sans exposer tout le code. DataCamp Workspace permet de partager des notebooks et de proposer des modèles pour raconter l'histoire derrière les données.

Publication de rapports dans DataCamp Workspace

Ils comblent le déficit de talents

La data science est à la fois vaste et pointue : il y a énormément à apprendre dans des domaines très variés. Être expert en NLP ne fait pas de vous un excellent data engineer, ni un spécialiste de la vision par ordinateur. 

Le lien clé entre les sous-domaines de la data science, ce sont la donnée et l'infrastructure. Sans données de qualité, les modèles performent mal. Et sans infrastructure pour soutenir le développement des modèles et le nettoyage des données, il est très difficile de démarrer.

Pour les citizen data scientists, il n'est pas nécessaire d'avoir des compétences d'ingénierie. Les notebooks modernes permettent à chacun de se lancer rapidement en s'appuyant sur l'infrastructure cloud. Les environnements et les packages sont bien gérés et facilement mis à jour ou modifiés par la plupart des utilisateurs. Résultat : inutile de combler à tout prix des lacunes en ingénierie, les praticiens peuvent se concentrer sur la production d'insights.

De plus, la plupart des techniques de data science s'intègrent pleinement aux notebooks : on peut entraîner des modèles, tracer des graphiques 3D et construire des pipelines de données. Les citizen data scientists peuvent ainsi expérimenter l'ensemble des approches et partager aisément les résultats avec les parties prenantes ou le code avec d'autres profils techniques.

Des intégrations avec le reste des outils

Nous avons vu comment les notebooks modernes cassent les silos entre équipes et abaissent la barrière d'entrée pour travailler avec la donnée. Un autre point de douleur historique concernait toutefois l'intégration limitée avec d'autres outils du flux de travail data. SQL en est un exemple clé. 

Historiquement, on configurait des connexions aux bases via des packages comme `mysql.connector` en Python ou `DBI` en R. Il fallait établir manuellement les connexions et saisir les identifiants d'accès.

Les notebooks modernes, eux, offrent un support SQL natif. Par exemple, avec DataCamp Workspace, vous pouvez configurer une connexion sécurisée directement depuis l'éditeur de notebook DataCamp vers des bases comme PostgreSQL, MySQL ou Amazon Redshift. Les données extraites peuvent ensuite être analysées en R ou en Python. 

Cellules SQL dans DataCamp Workspace

L'avenir du notebook en data science

Le notebook moderne est au cœur de la révolution data. Il permet à des profils variés d'expérimenter facilement avec les données, de partager des insights et de rapprocher les équipes métier et data. Surtout, il donne les moyens aux citizen data scientists de diffuser une véritable culture des données au sein des organisations. 

Les entreprises data-first comme Netflix sont réputées pour leurs innovations autour des notebooks, qui sont leur outil le plus utilisé pour travailler la donnée, tous profils et équipes confondus. L'avenir des notebooks sera marqué par davantage d'agilité, une meilleure intégration avec le reste du data stack, et une collaboration et un partage renforcés pour démocratiser les insights. Pour aller plus loin, consultez :

\n
• [Podcast] Donner du pouvoir au modern data analyst
\n
• [Cheat sheet] Fiche mémo Jupyter Notebooks
\n
• [Article de blog] Des notebooks pour les utilisateurs de R
\n