Hoe DataCamp het beste data science-curriculum maakt
Bij DataCamp zijn we trots op ons platform en ons curriculum voor het leren van data science. Daarom steken we veel moeite in het zorgen dat elke oefening zowel doeltreffend als leuk is. Na de lancering van een cursus beschouwen we die niet als af: de lancering is slechts het begin van het verzamelen van data. Telkens wanneer een student een oefening probeert, leggen we datapunten vast zoals het aantal pogingen dat nodig was om de oefening op te lossen, en of er hulp nodig was via de hint of oplossing. Door deze data over al onze studenten te aggregeren, krijgen we een beeld van hoe moeilijk een oefening is. Daarnaast kunnen studenten oefeningen beoordelen met één tot vijf sterren en ons feedback geven, zodat we weten hoe goed een oefening wordt gewaardeerd.
Ons Content Quality-team werkt samen met de instructeurs om op basis van deze data de cursussen te verbeteren. Dat kan op allerlei manieren, omdat er bij een oefening veel mis kan gaan.
1. Ontbrekende data herstellen
Soms kunnen kleine dingen veel studenten frustreren. In Data Science Toolbox (Part 1) leren studenten hoe ze Python lambda-functies schrijven met een dataset gebaseerd op de Reisgenoten van J.R.R. Tolkien uit de boekenreeks In de ban van de ring. Helaas ontbraken Gandalf en Pippin in de dataset. Onze studenten klaagden daar terecht over, dus we hebben geluisterd en het probleem opgelost.
2. Misverstanden en verwarring voorkomen voor DataCamp-leerlingen
Door feedback over veel oefeningen te analyseren, kunnen we patronen ontdekken in misvattingen die studenten hebben. Veel data-analyses bewaren hun data in een rechthoekige vorm waarbij elke rij een record is en elke kolom een waarde die bij dat record hoort. Zo kan elke rij bijvoorbeeld overeenkomen met een persoon, en kunnen de kolommen hun naam, lengte en favoriete kleur zijn.
Een heel gebruikelijke datamanipulatietaak is het filteren van de rijen van die rechthoekige data. Een instructeur kan een instructie schrijven als:
Filter de dataset om rijen te verwijderen waar mensen korter zijn dan 170 cm.
Dat kan, maar de meeste statistische software, waaronder R's dplyr-pakket en Python's pandas-pakket, laat je datasets filteren door aan te geven wat je wilt behouden. Als de instructie op de volgende manier wordt herschreven:
Filter de dataset om rijen te behouden waar mensen langer zijn dan 170 cm.
Dan sluit de instructie aan op hoe de code werkt, en voorkomen we een punt van verwarring voor studenten. Voor gevorderde cursussen, waar studenten bekend verondersteld worden met datamanipulatie, is deze formulering minder een issue. In onze cursus Pandas Foundations zagen we dat veel studenten hiermee worstelden, en hebben we de taal aangepast.
3. Een prettige leerroute creëren met uitgebreidere en meer gedetailleerde feedback
Alle DataCamp-oefeningen worden automatisch nagekeken met software die is gebouwd door ons Content Engineering-team. Hierdoor krijgen studenten direct slimme feedback als ze een antwoord fout hebben. Het is misschien wel de grootste kracht van ons platform. Een van de lastigste onderdelen is voorspellen wat studenten fout zullen doen, zodat we ze goed advies kunnen geven over wat ze de volgende keer anders moeten doen. Dat betekent dat af en toe een correct antwoord onterecht als fout wordt gemarkeerd. Als dat gebeurt, vinden studenten dat echt vervelend. In één geval klaagde een student:
In onze cursus Cluster Analysis in R hadden veel studenten gezien dat, hoewel de voorgestelde oplossing voor een oefening de bekende functie min() gebruikte om een minimum te berekenen, er een eenvoudigere en elegantere oplossing was met de minder bekende parallelle minimumfunctie pmin().
Oorspronkelijk stond de oefening maar één oplossing toe, maar op basis van het slimme idee van de studenten worden nu beide oplossingen geaccepteerd. Een van de doelen van het Content Engineering-team bij het ontwikkelen van DataCamp's feedbacksysteem is het vergroten van de flexibiliteit van de beoordeling, zodat studenten problemen op hun eigen manier kunnen oplossen.
Een andere frustratie die studenten kunnen ervaren met onze automatische feedback is dat ze tijdens een oefening herhaaldelijk hetzelfde feedbackbericht zien. Het principe wordt weergegeven in het onderstaande diagram, waar een student wordt gevraagd een Python-array met drie elementen te maken.
Door meer gedetailleerde feedback te geven, gericht op specifieke problemen in het antwoord van een student, kunnen we een positievere leerervaring bieden. De resultaten van verbeterde feedback zijn bemoedigend. In een oefening uit onze cursus Intermediate Python for Data Science zorgde de overstap naar gedetailleerde feedback ervoor dat het percentage studenten dat meer dan eens hetzelfde feedbackbericht zag, daalde van ongeveer 65% naar onder de 10%.
Het percentage gebruikers dat meer dan eens hetzelfde feedbackbericht ziet, is een metriek die we voor alle oefeningen en cursussen monitoren. In combinatie met de populariteit van cursussen hebben we zo een datagedreven manier gecreëerd om de leerervaring op de meest impactvolle manier te blijven verbeteren.
Conclusie
Ons doel voor het einde van het jaar is dat voor de populairste helft van alle cursussen het gemiddelde percentage herhaalde feedback over alle oefeningen voor elke cursus onder de 30% ligt.
We blijven deze verbeteringen toevoegen aan alle technologieën die studenten op DataCamp kunnen leren. Intern verbeteren we ook de tools die we gebruiken om feedback te maken en inzendingen van studenten te analyseren, zodat we de leerervaring voor alle huidige en toekomstige content blijven verbeteren.
Er zijn nog veel meer dingen die mis kunnen gaan bij een oefening, maar hopelijk geeft dit je het vertrouwen dat DataCamp luistert naar feedback van studenten en continu werkt aan het verbeteren van de tevredenheid over onze cursussen.
