Last chance! 50% off DataCamp Premium
Sale ends in
Notebooks zijn al bijna 10 jaar gemeengoed in data science en elke data scientist heeft er wel eens mee gewerkt. Ze stellen data scientists in staat om snel te experimenteren en inzichten te delen dankzij het snel opzetten van omgevingen, interactieve output en codefragmenten die in willekeurige volgorde kunnen worden uitgevoerd.
Organisaties investeren flink in data science en analytics, en een belangrijk investeringsgebied zijn tools waarmee data scientists efficiënt kunnen werken en snel met data kunnen experimenteren. Notebooks staan hierin centraal en vormen een onderdeel van veel tooling-innovaties die we vandaag in de moderne data stack zien. Belangrijker nog: notebooks geven ook citizen data scientists de middelen om data-inzichten te democratiseren.
Dit artikel behandelt het verleden, het heden en de toekomst van het notebook en hoe notebooks silo’s doorbreken bij datawerk en samenwerking.
De geschiedenis van het data science-notebook
Bijna elke data scientist heeft tegenwoordig een notebook gebruikt, waarbij Jupyter Notebooks het populairst zijn. Notebooks hebben echter een rijke geschiedenis die ouder is dan data science—die teruggaat tot begin jaren tachtig.
De opkomst van literate programming
In 1984 introduceerde Donald Knuth literate programming als een methode om programma’s te maken die door mensen leesbaar zijn. Het idee was om de programmalogica in gewone taal uit te schrijven, met codefragmenten en macro’s als aparte opmerkingen, bekend als “WEB”. De macro’s lijken op pseudocode die wordt gebruikt om informatica te onderwijzen.
Een preprocessor parseert vervolgens de WEB om broncode (“tangle”) en documentatie (“weave”) te creëren. Literate programming wordt vandaag de dag nog steeds gebruikt, bijvoorbeeld in Axiom, maar de kernideeën uit literate programming hebben geleid tot de ontwikkeling van notebooks die sterk lijken op wat we nu kennen.
Vroege notebooks
De belangrijkste vroege notebooks waren Wolfram Mathematica en Maple, uitgebracht in de late jaren tachtig. Ze werkten met een front-end en een kernel in de back-end. De onderstaande afbeelding toont een 3D-plot die is gegenereerd met Mathematica, met de vertrouwde notatie In[ ] en Out[ ] die we nog steeds in notebooks zien.
Het vroege Wolfram Mathematica-notebook
Deze tools verschilden subtiel, zoals het gebruik van Enter in plaats van Shift + Enter om code uit te voeren en variaties in de weergave van wiskundige bewerkingen. Beide bevatten echter ideeën die invloed hadden op het ontwerp van moderne notebooks.
Een belangrijke belemmering voor brede adoptie waren de kosten: deze tools waren duur en vereisten een licentie. Dit was een probleem in de hele sector en leidde in 1998 tot de oprichting van het Open Source Initiative, wat heeft geleid tot veel van de krachtige, gratis tools die we vandaag gebruiken (zoals Jupyter Notebooks!).
De vroege fundamenten van moderne data science-notebooks
In 2001 werden IPython en SciPy uitgebracht, met Matplotlib in 2003. SciPy maakte een reeks wetenschappelijke berekeningen in Python mogelijk, terwijl IPython de gebruikerservaring in de terminal verbeterde en ondersteuning toevoegde voor gedistribueerd rekenen. Net als nu maakte Matplotlib het eenvoudig om datavisualisaties in Python te maken.
Pas in 2005 werden deze open-sourcetools (en andere) samengebracht in één tool, SageMath. Het doel was een open-source alternatief te bieden voor Mathematica en Maple, door andere wetenschappelijke open-sourcetools te combineren en erop voort te bouwen, en webgebaseerde functies te bieden die nu kenmerkend zijn voor moderne notebooks.
In 2011 bracht IPython zijn notebook uit, met een duidelijke scheiding tussen de webapplicatie-front-end en het onderliggende notebookdocument.
De IPython Notebook
De geboorte van Jupyter Notebooks
Jupyter werd in 2014 afgesplitst van IPython, waarbij de notebookinterface werd geïntroduceerd en andere taalonafhankelijke onderdelen van IPython werden overgenomen. De naam verwijst naar de oorspronkelijke talen die het ondersteunde: Julia, Python en R. Jupyter-notebooks zijn nu de standaard voor data scientists en zonder twijfel de meest gebruikte notebookinterface.
Een belangrijk ontwikkelgebied van de afgelopen jaren zijn apps die de front-end scheiden van de kernel, zodat de front-end door de gebruiker in een browser wordt benaderd, maar de kernel draait in cloudgebaseerde datacenters. Een goed voorbeeld van zo’n tool is DataCamp Workspace, waar je direct in je browser met een Jupyter Notebook-instance kunt werken.
JupyterLab in DataCamp Workspace
Naarmate notebooks steeds populairder werden, heeft de afgelopen jaren een golf van moderne notebookinterfaces het mogelijk gemaakt dat iedereen eenvoudig met data kan werken. In de volgende sectie bekijken we hoe moderne notebooks drempels voor dataverwerking wegnemen.
Hoe moderne data science-notebooks citizen data scientists versterken
Het idee van citizen data scientists werd in 2016 door Gartner geïntroduceerd. Citizen data scientists hebben technische vaardigheden, maar mogelijk geen traditionele achtergrond in data science, statistiek of informatica.
Nu data science zich steeds meer ontwikkelt van een vakgebied tot een methodologie om bedrijfsproblemen op te lossen, zijn citizen data scientists het gezicht van de moderne datagedreven organisatie. Notebooks zijn een uitstekende tool voor citizen data scientists omdat ze snel experimenteren en deelbare inzichten mogelijk maken met weinig tot geen instapdrempels.
Hoewel notebooks altijd al uitstekend waren om snel een dataset te verkennen en te analyseren, schortte het eerder aan zaken als samenwerken en het delen van inzichten. In 2022 is dat niet langer het geval, omdat moderne notebooks en het omliggende ecosysteem veel van deze historische blinde vlekken adresseren. Dit zijn enkele manieren waarop notebooks productiviteit, efficiëntie en samenwerking vergroten.
Moderne data science-notebooks zijn collaboratief
Een duidelijk voorbeeld van een moderne collaboratieve tool is Google Docs. Veel gebruikers kunnen documenten gebruiken en bewerken, terwijl gebruikers ook kunnen bepalen wie mag bewerken en wie alleen suggesties mag plaatsen. Wijzigingen worden regelmatig opgeslagen om problemen te voorkomen.
Vergelijkbare technologie is nu beschikbaar voor notebooks met tools zoals Deepnote en Datacamp Workspace. Meerdere gebruikers kunnen notebooks bewerken en uitvoeren en opmerkingen achterlaten. Al deze samenwerking gebeurt realtime, waardoor het hele proces veel efficiënter wordt.
Samenwerken in DataCamp Workspace
Samenwerking is essentieel voor iedereen die met data werkt. Drempels voor samenwerking verlagen betekent ook datasilo’s verkleinen door kennis en expertise te delen. Traditioneel kon samenwerken met notebooks traag zijn, maar de moderne data stack is snel en efficiënt. Veel tools integreren naadloos in een bestaande tech stack, waardoor gebruikers met hun vertrouwde tools kunnen werken en toch met collega’s kunnen samenwerken.
Ze helpen data-inzichten te democratiseren
Analyse delen met andere gebruikers kan lastig zijn—of het nu gaat om business stakeholders of technischere collega’s. Vroeger deelden practitioners notebookrapporten en inzichten via e-mail, Slack, presentaties of maatwerkwebapps.
Moderne notebooks democratiseren inzichten echter door notebooks naadloos te kunnen delen. Zo maakt IPyWidgets het mogelijk om interactieve widgets aan notebooks toe te voegen, zodat gebruikers schuifbalken kunnen bewegen om grafieken te wijzigen en meer met de inzichten kunnen interacteren. Binder verandert een repo in gehoste interactieve notebooks, waardoor een interactief notebook gedeeld en door iedereen uitgevoerd kan worden. Voila verandert een notebook in een gehoste webapp, zodat gebruikers volledig kunnen interacteren zonder alle code te zien. Datacamp Workspace laat gebruikers notebooks delen en biedt templates om verhalen aan data toe te voegen.
Rapporten publiceren in DataCamp Workspace
Ze kunnen de talentkloof overbruggen
Data science is zowel breed als diep: er is enorm veel te leren op veel verschillende gebieden. Een NLP-expert zijn maakt je nog geen goede data engineer of iemand die computer vision begrijpt.
Een belangrijke schakel tussen de verschillende deelgebieden van data science is data en infrastructuur. Zonder goede data presteren modellen niet goed. Evenzo is het zonder infrastructuur voor modelontwikkeling en datacleaning heel lastig om te beginnen.
Voor citizen data scientists zijn engineeringsvaardigheden niet vereist. Moderne notebooks stellen iedereen in staat om snel aan de slag te gaan door gebruik te maken van cloudinfrastructuur. Omgevingen en packages worden goed beheerd en kunnen door de meeste gebruikers eenvoudig worden bijgewerkt en aangepast. Zo hoeven hiaten in engineeringsvaardigheden niet te worden opgevuld en kunnen practitioners hun tijd besteden aan het leveren van inzichten.
Bovendien zijn de meeste data science-technieken volledig compatibel met notebooks—modellen kunnen worden getraind, 3D-grafieken kunnen worden geplot en datapijplijnen kunnen worden gebouwd. Zo kunnen citizen data scientists met het volledige scala aan technieken experimenteren en de resultaten eenvoudig communiceren naar stakeholders of de code delen met andere technische gebruikers.
Moderne notebooks integreren met andere tools
We hebben al gezien hoe moderne notebooks datasilo’s tussen teams afbreken en de drempel voor werken met data verlagen. Een ander pijnpunt waar notebooks historisch last van hadden, is echter het gebrek aan integratie met andere tools binnen de data science-werkstroom. Een belangrijk voorbeeld hiervan is SQL.
Vroeger zetten practitioners databaseverbindingen op met packages zoals `mysql.connector` in Python of `DBI` in R. Deze packages vereisten het handmatig opzetten van databaseverbindingen en het handmatig invoeren van relevante inloggegevens voor datatoegang.
Moderne notebooks bieden daarentegen native SQL-ondersteuning. In DataCamp Workspace kunnen gebruikers bijvoorbeeld een beveiligde verbinding rechtstreeks vanuit de DataCamp Notebook Editor opzetten met databases zoals PostgreSQL, MySQL en Amazon Redshift. Data die uit geïntegreerde databases is gehaald, kan vervolgens met R of Python worden geanalyseerd.
SQL-cellen in DataCamp Workspace
De toekomst van het data science-notebook
Het moderne notebook staat centraal in de datarevolutie. Het stelt practitioners met uiteenlopende skillsets in staat om eenvoudig met data te experimenteren, inzichten te delen en de kloof tussen de business en het datateam te overbruggen. Bovendien geven notebooks citizen data scientists de regie, wat een nieuwe golf van data-geletterdheid binnen organisaties teweegbrengt.
Data-first organisaties zoals Netflix staan bekend om hun innovatie met notebooks, omdat notebooks hun populairste tool zijn voor datagebruik over persona’s en teams heen. De toekomst van notebooks wordt bepaald door meer wendbaarheid, betere integratie met de rest van de data stack en robuuste samenwerking en deling om data-inzichten te democratiseren. Wil je meer leren over notebooks? Bekijk dan de volgende bronnen:
Onderwerpen
