Hoe we zijn overgestapt op DataLab voor onze interne analyses

Toen DataLab voor het eerst werd gelanceerd, hebben we er alles aan gedaan om de best mogelijke ervaring te bieden voor werk in data science en data-analyse. Dat betekende: een snelle, lichtgewicht editor bouwen, realtime samenwerken mogelijk maken en professionele read-only rapporten produceren.

Tegelijkertijd vertrouwden we voor onze interne analyses op tools van derden. Productstatistieken zoals het aantal gebruikers van DataLab en de tijd die ze op het platform doorbrachten, werden met andere tools bijgehouden. We realiseerden ons dat we het zelf moesten gebruiken als we DataLab serieus wilden positioneren als tool voor professioneel werk.

In dit artikel gaan we in op hoe we vroeger interne analyses uitvoerden en hoe we zijn overgestapt op DataLab. We bespreken ook de voordelen en leerpunten die de overgang ons heeft opgeleverd.

Onze analytics vóór DataLab

Voor DataLab was onze primaire tool voor interne productanalyses Metabase. Metabase is een business intelligence-tool die is verbonden met een datalake met informatie over DataLab-content en -activiteit. Met Metabase konden we snel SQL-query's draaien, rapporten genereren en zelfs dynamische dashboards maken.

Metabase werd team-breed gebruikt. We gebruikten het om te monitoren hoe betrokken gebruikers waren bij verschillende soorten content, hoeveel tijd ze in Workspace doorbrachten en hoeveel gebruikers dagelijks, wekelijks en maandelijks met DataLab interacteerden. 

DataLab inzetten voor onze analyses was op dat moment minder gebruikelijk. Dat gebeurde vooral wanneer we tegen de grenzen van SQL of de no-code visualisatieopties van Metabase aanliepen. In zulke gevallen exporteerden we de ruwe data, voegden die handmatig toe aan een nieuw werkboek en gingen dan verder met de analyse in Python. Dat proces was echter omslachtig en maakte het updaten van data een gedoe.

Waarom we overstapten op DataLab

Naarmate DataLab groeide, werden de vragen die we wilden beantwoorden over onze gebruikers en hun tijd op DataLab steeds complexer. Hoe handig Metabase ook is, veel van onze vragen vereisten de extra mogelijkheden van Python en R.

We wisten ook dat we, als we de best mogelijke gebruikservaring wilden bieden, het zelf moesten gebruiken — een praktijk die “dogfooding” wordt genoemd. Want wat is een betere manier om de beperkingen en frustraties van DataLab te begrijpen dan het zelf te gebruiken?

Om deze twee redenen stelden we ons ten doel om vanaf de zomer van 2022 het grootste deel van onze analyses van Metabase naar DataLab over te zetten.

De overgang 

De overgang begon toen we SQL-cellen in DataLab lanceerden. Vanaf dat moment konden we dezelfde data bevragen als in Metabase, maar werden de queryresultaten direct omgezet naar een DataFrame in Python of R (afhankelijk van de tool die we gebruiken). We konden eenvoudig schakelen tussen het bevragen van onze database en het analyseren van de resultaten met de tools van onze keuze. Binnen enkele weken migreerden we het merendeel van onze bestaande query's van Metabase naar DataLab.

Op het moment van schrijven hebben 141 verschillende DataCamp-gebruikers 30 minuten of meer in DataLab doorgebracht. Zoals je in de grafiek ziet, is dat gestaag toegenomen!

We blijven nieuwe DataCampers werven voor DataLab!

De voordelen van de overstap naar DataLab

Sinds de overstap naar DataLab merken we in ons dagelijks werk verschillende belangrijke voordelen:

1. Volledig aanpasbare visualisaties: Hoewel Metabase veel visualisaties en instelbare attributen biedt, zijn de mogelijkheden niet eindeloos. In DataLab worden de resultaten van onze SQL-query's teruggegeven als DataFrames. Dat betekent dat we Python-bibliotheken zoals Plotly kunnen gebruiken om grafieken te maken met annotaties, aangepaste thema's en unieke plottypen.

Een voorbeeld van een visualisatie die we in DataLab hebben gemaakt op basis van onze interne data.

1. Geavanceerde analyses: Door SQL te combineren met Python of R kunnen we onze data direct analyseren met technieken die in SQL niet mogelijk zijn. Zo konden we bijvoorbeeld gebruikers segmenteren en classificatiemodellen trainen om te voorspellen hoe gebruikers in DataLab werken.
2. Beschrijvende rapportages: Een dashboard is geweldig voor gebruikers die bekend zijn met het product. Voor nieuwkomers of mensen buiten het team kan een dashboard echter lastig te interpreteren zijn. Met DataLab kunnen we door onze rapporten heen geschreven samenvattingen opnemen die relevante stakeholders later kunnen lezen.
3. Deelbare en sociale publicaties: De mogelijkheid om een link naar een gepubliceerd werkboek te delen is enorm waardevol. Gepubliceerde analyses belandden bij onze CEO en andere executives, die vervolgens feedback geven in de vorm van opmerkingen en vragen. In combinatie met het beschrijvende karakter van gepubliceerde werkboeken kon het management de analyses op hun gemak doornemen, zonder een briefing in persoon.
4. No-code grafieken: De meeste DataCampers beheersen SQL, maar niet iedereen voelt zich even vertrouwd met Python of R. Met grafiekcellen kunnen minder technische gebruikers hun inzichten communiceren met hoogwaardige visualisaties, zonder een regel code te schrijven.

Onze no-code grafiekcellen in actie!

Wat we tot nu toe hebben geleerd 

Half oktober hebben DataCampers samen 4132 uur in DataLab doorgebracht! We hebben inmiddels alle centrale rapportages rond kwartaaldoelstellingen en productgebruik naar DataLab gemigreerd. Hieronder vind je een samenvatting van onze belangrijkste inzichten en hoe die DataLab als product hebben beïnvloed:

1. Snelheid is cruciaal: Het is frustrerend als je werkboek langer dan verwacht laadt, je code traag wordt uitgevoerd of je query laat resultaat teruggeeft. De ervaring moet minstens zo snel zijn, en idealiter sneller, dan werken in een lokaal draaiende Jupyter Notebook. Ons team heeft grote stappen gezet in het verkorten van laadtijden van notebooks en publicaties. Ook is eraan gewerkt om te zorgen dat code-uitvoering vergelijkbaar is met een lokaal notebook.
2. Niet iedereen wil de code zien: Voorheen bevatten onze publicaties grote cellen met ingewikkelde SQL-query's en dichte Python-code. Dat was nuttig voor collega's die de technische kant wilden beoordelen, maar het leidde vaak af van de daadwerkelijke inzichten. Je kon cellen en publicaties verbergen door over te schakelen naar de JupyterLab-editor in DataLab, maar dat werd niet weerspiegeld in de DataCamp Notebook-editor. Daarom hebben we een manier uitgebracht om code- en SQL-cellen in je werkboeken moeiteloos te verbergen. Zo kun je een fraai read-only rapport delen met elke stakeholder. Onze gebruikers zijn er dol op.
3. Notebooks opnieuw uitvoeren kan frustreren: Voor veel van onze tracking zijn we sterk afhankelijk van dagelijkse updates van het aantal gebruikers, activiteitsniveaus en feature-adoptie. In tegenstelling tot een dynamisch dashboard dat ververst wanneer er nieuwe data is, moeten werkboeken iedere keer opnieuw worden uitgevoerd. Op basis van onze eigen ervaringen zijn we van plan om het inplannen van werkboekuitvoering te ondersteunen. Zo bevatten rapporten altijd de meest recente inzichten.

Deze leerpunten staan los van de vele kleine tweaks die we sinds de overstap naar DataLab aan de editor hebben gedaan. De gebruikersinterface, het dashboard en functies zoals grafiekcellen worden continu verbeterd, gedreven door feedback van zowel interne als externe gebruikers.

Vooruitblik

Hoewel het gebruik van ons eigen product veel verbetermogelijkheden heeft blootgelegd, weten we dat dit maar de helft van het verhaal is. In combinatie met de interne feedback is ons team druk bezig met het interviewen van DataLab-gebruikers. Deze gesprekken vullen onze bevindingen aan en helpen ons zaken te ontdekken die we in interne tests mogelijk missen.

Ook hebben we eind september een gebruikersenquête gelanceerd als onderdeel van onze tweewekelijkse nieuwsbrief. Met die enquête konden we kwantitatieve informatie van onze gebruikers verzamelen. De resultaten helpen ons om prioriteiten voor DataLab te bepalen en te begrijpen hoe ons product wordt gebruikt. En natuurlijk is de enquêtedata geanalyseerd en gevisualiseerd met DataLab!

De belangrijkste reden die gebruikers aangaven om DataLab te gebruiken, was om snel codevoorbeelden uit te proberen. Hoe gebruik jij DataLab?

In de komende maanden willen we nog verder richting een analytics-omgeving gaan die exclusief op DataLab draait. Die overgang wordt met elke nieuwe feature en verbetering van ons engineeringteam eenvoudiger.

Ben je benieuwd naar DataLab voor je eigen interne data-analyse en data science? Lees er dan meer over hier. Of beter nog: duik direct in een leeg Python- of R-werkboek en ga meteen aan de slag!