Dit artikel is geschreven door Richie Cotton, met bijdragen van Ramnath Vaidyanathan, Dieter De Mesmaeker en Martijn Theuwissen.
Online onderwijs is op dit moment een spannend vakgebied, omdat er voortdurend wordt geïnnoveerd. Elke organisatie in deze ruimte, inclusief DataCamp, zoekt nog steeds naar de beste manier om mensen te helpen leren. De product- en engineeringteams van DataCamp ontwikkelen continu nieuwe tools om data science effectiever te onderwijzen, die onze contentteams verwerken in onze bestaande en toekomstige content.
Vier DataCamp-instructeurs—Ben Baumer, Andrew Bray, Mine Çetinkaya-Rundel en Jo Hardin—publiceerden onlangs een paper in de Journal of Statistical Education over hun ervaring met het maken van cursussen bij DataCamp, en hun gedachten over de verschillen tussen live en online leren. Deze instructeurs waren allemaal vroege supporters van DataCamp, en we waarderen het dat ze hun ervaringen onder woorden hebben gebracht.
In deze post willen we hun feedback doornemen, praten over didactiek bij DataCamp, enkele verbeteringen laten zien die we hebben doorgevoerd sinds de auteurs hun DataCamp-cursussen maakten, en onze positie verduidelijken over bepaalde opmerkingen in het artikel.
De cursussen
De instructeurs maakten tussen 2016 en 2018 acht cursussen. Eerst kwam een reeks van vier cursussen over beschrijvende statistiek: Introduction to Data in R, Exploratory Data Analysis in R, Correlation and Regression in R, en Multiple and Logistic Regression in R, die zijn opgenomen in de Statistics Fundamentals with R-skilltrack. Deze werden gevolgd door vier cursussen over inferentiële statistiek: Foundations of Inference, Inference for Categorical Data, Inference for Numerical Data, en Inference for Linear Regression, die samen de Statistical Inference with R-skilltrack vormen.
In totaal bereikten deze cursussen meer dan 94.000 studenten. De hoogst beoordeelde cursus heeft een score van 4,55 (op 5) en de laagst beoordeelde cursus 4,33. Aangezien dit enkele van onze cursussen met het grootste bereik zijn, hebben ze in hun levensduur tot nu toe $475.000 aan royaltybetalingen opgeleverd voor de vier instructeurs.
De voordelen van DataCamp
Het artikel benadrukt veel van de sterke punten van DataCamp. Om te beginnen merken de vier academici op dat universiteiten duur zijn.
onze instellingen [...] hebben een gemiddelde jaarlijkse kostprijs van $71.156,25
Dat is elk jaar de prijs van een luxeauto, wat zeker de fantastische waarde van DataCamp benadrukt voor een kwart van de prijs van een metro-abonnement in New York. Hoewel het waar is dat we een commerciële organisatie zijn, willen we graag ons gratis programma DataCamp for the Classroom uitlichten, dat docenten en studenten onbeperkt toegang geeft tot onze volledige cursusbibliotheek. Sinds de start hebben meer dan 200.000 studenten aan dit programma deelgenomen. Dit onderscheidt ons van de hoge collegegelden van particuliere hogescholen en universiteiten, en daar zijn we trots op.
Voor lerenden merkten ze op dat video een belangrijk voordeel heeft ten opzichte van live onderwijs, omdat het meer controle over het tempo biedt.
Allereerst betekent het hebben van video’s in plaats van een docent in levenden lijve dat de student de video kan pauzeren, vertragen en/of terugspoelen. Met andere woorden: elke student kan de ideeën in zijn of haar eigen tempo tot zich nemen. Bovendien kan een student, anders dan in een standaardklaslokaal, de video pauzeren om een definitie op te zoeken of een voorbeeld in context te plaatsen.
De directe feedback via de geautomatiseerde toetsing in onze codeeroefeningen werd ook positief genoemd.
Studenten krijgen direct feedback op de DataCamp-codeeroefeningen. Dit verlaagt hun frustratie en ontlast de docent van het beantwoorden van paniekmails van studenten.
Voor docenten, L&D-managers en andere trainers werd de schaalbaarheid van DataCamp genoemd als een belangrijk kenmerk. Ons platform bevrijdt docenten van de druk en eentonigheid van het nakijken van opdrachten.
Elke extra student in je klas kost jou extra tijd en moeite om hun werk te beoordelen, ze te ontvangen tijdens spreekuren, plek voor ze te maken in het lokaal, enzovoort. Daarentegen levert DataCamp inhoud asynchroon aan een onbeperkt aantal studenten.
Wat is er nieuw?
Sinds 2016 heeft DataCamp veel verbeteringen doorgevoerd.
De assess-learn-practice-apply-cyclus
In 2016 had DataCamp één product: onze cursussen, ontworpen om lerenden te helpen nieuwe vaardigheden op te doen. In de loop van de tijd is DataCamps didactische visie samengekomen rond de cyclus van beoordelen van je huidige vaardigheden, leren van nieuwe skills, deze skills oefenen, de skills toepassen in nieuwe contexten, en dan terug naar beoordeling om te zien hoeveel je bent verbeterd. De onderstaande afbeelding toont de assess-learn-practice-apply-cyclus.
Figuur 1: De assess-learn-practice-apply-cyclus die de basis vormt voor DataCamps didactische filosofie.
Om lerenden te helpen deze cyclus te doorlopen, hebben we drie nieuwe producten toegevoegd.
Practice
In 2017 voegden we DataCamp Practice toe, met korte codeeruitdagingen die nauw aansluiten op de inhoud van cursussen om het leren te versterken. Het onderstaande voorbeeld toont een meerkeuzevraag die skills test uit de cursus Introduction to the Tidyverse.
Figuur 2: Een oefening uit DataCamp Practice waarin datavisualisatievaardigheden worden getest.
Projects
Dat jaar lanceerden we ook DataCamp Projects, waarmee studenten hun vaardigheden kunnen toepassen op nieuwe, realistische problemen in een van de populairste data science-omgevingen: Jupyter Notebooks.
Figuur 3: Een Project waarmee lerenden hun vaardigheden in SQL kunnen toepassen.
Assessments
De laatste stap in de cyclus kwam in 2019 met de lancering van DataCamp Signal, ons vaardigheidsassessment waarmee lerenden kunnen meten hoeveel ze hebben geleerd. Skill-assessments lijken conceptueel op oefenmodus onder examencondities: lerenden worden getest op inhoud gerelateerd aan bijbehorende cursussen, maar elke vraag heeft een tijdslimiet en lerenden krijgen een score op basis van hoeveel vragen ze correct beantwoorden en hun moeilijkheidsgraad. Je kunt meer lezen over Signals gebruik van adaptieve toetsing en psychometrie hier.
Figuur 4: Een Signal-vaardigheidsassessmentvraag die Python machine learning-vaardigheid test onder tijdsdruk.
Verbeteringen in cursussen
Naast de introductie van drie nieuwe producten heeft DataCamp onze cursussen verbeterd door verschillende nieuwe oefeningstypes toe te voegen. Een gebied waarin het JSE-artikel bijzonder vooruitziend was, is dat DataCamp ondersteuning nodig had voor grafische "point-and-click"-oefeningen.
Sommige didactische strategieën waren niet mogelijk met het DataCamp-platform, maar we konden zien dat het platform zich zou uitbreiden om dergelijke methoden te omvatten naarmate het geavanceerdere presentatiemogelijkheden ontwikkelt. In het bijzonder was het niet mogelijk om het DataCamp-platform te gebruiken om het gebruik van een applet stap voor stap te tonen om een bepaald concept uit te leggen.
Verkenbare oefeningen
In 2019 bedacht DataCamp een nieuw oefeningstype dat we een "explorable exercise" noemen. Hiermee kunnen dashboards, interactieve visualisaties en zelfs webgebaseerde software in oefeningen worden opgenomen. Een manier om deze oefeningen te maken, gebruikt een tool genaamd Shiny—een modernere versie van de Java-applets waar het artikel naar verwijst. (We hebben ook een reeks cursussen over het gebruik van Shiny voor lerenden die hun eigen applicaties willen maken.)
De verkenbare oefeningen zijn goed benut in DataCamps "For Everyone"-reeks cursussen, die zijn ontworpen voor mensen die data moeten begrijpen maar geen achtergrond hebben in data science of analytics. De cursus Data Visualization For Everyone maakt met name uitstekend gebruik van dashboards om lerenden te helpen verkennen hoe aanpassingen aan grafieken hun vermogen om er vragen over te beantwoorden beïnvloeden.
In het onderstaande voorbeeld kunnen lerenden onderzoeken hoe het veranderen van kleuren in een grafiek hun interpretatie van enquêteresultaten beïnvloedt.
Figuur 5: Een verkenbare oefening met een dashboard waarmee lerenden de effecten van kleurkeuzes in een gestapelde staafdiagram kunnen verkennen.
Een punt waarop DataCamp in de beginjaren kritiek kreeg, was dat hoewel onze codeeroefeningen uitstekend zijn om te leren hoe je brokken code schrijft, het voor lerenden makkelijk was om te verdwalen in de details zonder te weten hoe ze die stukken moeten combineren. Hoewel DataCamp altijd het belang inzag van het onderwijzen van workflows en instructeurs aanmoedigde die in video’s te beschrijven, hadden we een krachtiger hulpmiddel nodig. Vorig jaar implementeerden we nog een nieuw oefeningstype om precies dat te doen. Met drag-and-drop-oefeningen kunnen lerenden opdrachten oplossen door items op het scherm te verplaatsen. Er zijn verschillende varianten, maar de belangrijkste voor het onderwijzen van workflows heet een "ordering exercise".
In het onderstaande voorbeeld, afkomstig uit Introduction to Writing Functions in R, wordt lerenden gevraagd stappen in een workflow voor het omzetten van een script in een herbruikbare functie opnieuw te ordenen. Door even weg te stappen van het schrijven van code, kunnen ze focussen op het concept.
Figuur 6: Een drag-and-drop-oefening om een workflow te onderwijzen door stappen te ordenen.
Naast de verkenbare oefening en drag-and-drop-oefeningen hebben we veel meer oefeningstypes en contentmodaliteiten toegevoegd. Enkele van de opvallendste zijn:
IDE-oefeningen
De IDE-oefening gebruikt een van de populairste code-editors, genaamd Visual Studio Code. Dit oefeningstype wordt gebruikt in onze meer geavanceerde data-engineeringcontent.
Figuur 7: Een IDE-oefening, waarin "devops"-vaardigheden worden getest om code te deployen met de ontwikkelomgeving Visual Studio Code.
VM-oefeningen
En heel recent hebben we de VM-oefening gemaakt, die een Windows Virtual Machine draait met specifieke software vooraf geïnstalleerd. Deze worden vooral gebruikt in onze Tableau-content.
Figuur 8: Een VM-oefening die lerenden leert hoe ze data manipuleren in de business intelligence-tool Tableau.
Sommige suggesties in het artikel zijn lastig te implementeren voor een online platform zoals DataCamp, zoals de volgende:
In het fysieke klaslokaal delen we studenten in teams in en elk team krijgt een zakje met 20 stukjes papier, elk met de huurprijs van een bemonsterd appartement erop. Vervolgens wordt elk team gevraagd een bootstrapsteekproef van 20 appartementen uit hun zak te trekken, de mediaan te berekenen en die op het bord te noteren door een punt op de dotplot te plaatsen. Het proces geeft studenten persoonlijke ervaring met steekproeven met teruglegging om zo een bootstrapverdeling van steekproefmediaan te bouwen.
Hoewel instructeurs niet met lerenden kunnen interacteren op ons platform, zijn we het er zeker mee eens dat leuke spelvormen een belangrijk onderdeel zijn van live onderwijs. Daarom heeft een van onze engineeringteams tijdens onze laatste hackathon de creatie van DataCamp VR verkend. Hoewel dit misschien nog een paar jaar duurt, zien we innovatie als een cruciaal onderdeel van ons bedrijf (en we hadden er veel plezier in!).
Serieuzer: het is een misvatting dat online onderwijs en live instructie met elkaar concurreren. Bij DataCamp zien we ze zeker als complementair. Daarom heeft DataCamp een reeks live coding-webinars gelanceerd, waar lerenden nauwer met een instructeur kunnen interacteren. Vind onze aankomende webinars en live trainingen hier.
Continue verbetering
In tegenstelling tot andere onderwijsvormen zoals leerboeken, die in feite als afgerond worden beschouwd zodra ze zijn gepubliceerd, stopt de ontwikkeling van leermaterialen op DataCamp niet wanneer een cursus wordt gelanceerd. Instructeurs worden actief aangemoedigd om hun cursussen te verbeteren om een betere ervaring te bieden aan hun lerenden door onduidelijke instructies te herschrijven, onduidelijke concepten te verduidelijken en de inhoud up-to-date te houden in de snel veranderende wereld van data science.
Interessant genoeg vormde de reeks cursussen over inferentiële statistiek, gemaakt door de auteurs van het artikel, een grote drijfveer voor enkele van de technische en procesmatige verbeteringen die DataCamp heeft doorgevoerd. Hoewel de cursussen zeker populair waren, lieten kwantitatieve gegevens zoals cursusbeoordelingen en voltooiingspercentages zien dat er aanzienlijke ruimte voor verbetering was. Het grote probleem is dat inferentiële statistiek zowel conceptueel lastig is als matig gevorderde programmeervaardigheden vereist om die concepten bloot te leggen.
Om dit te verhelpen, werkte DataCamps Content Quality-team samen met de instructeurs om de vier cursussen volledig te herschrijven. Content Quality-analisten hielpen het tempo aan te passen om nieuwe code geleidelijker te introduceren, schreven instructies opnieuw en vereenvoudigden de code om lerenden te helpen zich te concentreren op de conceptuele aspecten. Het resultaat is dat dit nu vier geweldige cursussen zijn—voor gevorderde lerenden.
In de geest van continue verbetering is een komende uitdaging voor DataCamps Content-team om uit te vinden hoe we inferentiële statistiek aan absolute beginners kunnen onderwijzen. Houd deze ruimte in de gaten!
Verbeteringen voor Learning and Development-managers
Het JSE-artikel deed uitstekend werk in het belichten van de voor- en nadelen van lesgeven op DataCamp, maar bevatte een kleine onjuistheid toen het stelde dat
DataCamp-cursussen asynchroon en in eigen tempo zijn, dus [zijn er] geen deadlines waar de student zich zorgen over hoeft te maken.
Dit klopt voor de meerderheid van de lerenden. Als je een persoonlijk abonnement op DataCamp neemt, kun je in je eigen tempo leren en content consumeren op een manier die past bij je levensstijl. Voor onze zakelijke en academische klanten heeft DataCamp echter een set beheertools ontwikkeld om beheerders en instructeurs te helpen bij te houden hoe hun medewerkers en studenten vorderen:
- Assignments: We ondersteunen instructeurs en admins bij het instellen van cursus- of XP-opdrachten met een deadline. De groepsadmin ontvangt automatisch een export van de relevante gegevens zodra de deadline is verstreken.
- Reporting: Sinds we DataCamp voor zakelijke en academische klanten lanceerden, hebben we onze rapportagemogelijkheden sterk uitgebreid en bieden we binnen de applicatie geautomatiseerde inzichten in de betrokkenheid, adoptie, contentgebruik, gebruik van assessments, enz. van de groep.
- Low-level data: Admins kunnen low-level gegevens uit hun groepen en klassen exporteren, zodat ze desgewenst lokaal hun eigen dashboards kunnen maken.
- LMS-integraties en SSO: In 2019 hebben we onze learning management system (LMS)-integraties uitgebreid naar andere aanbieders zoals SAP SuccessFactors en Degreed, en we hebben single sign-on (SSO) toegevoegd voor extra beveiliging.
Verbeteringen voor instructeurs
Toen DataCamp voor het eerst lanceerde, haastten we ons om zoveel mogelijk cursussen te maken, omdat we zonder cursussen geen lerenden hadden. Naarmate onze cursusbibliotheek is gegroeid en onze gebruikersbasis diverser is geworden, is het dichten van curriculumgaten minder belangrijk geworden dan andere overwegingen zoals "waar past deze cursus ten opzichte van onze andere cursussen?" en "wie zal geïnteresseerd zijn in het volgen van deze cursus?"
Dat betekent dat we aan het begin van de cursusontwikkeling veel tijd besteden aan het bespreken van de doelgroep met de instructeur. De manier waarop je concepten uitlegt aan een publiek van machine learning-experts is bijvoorbeeld heel anders dan de manier waarop je concepten uitlegt aan managers van data scientists, die misschien minder technisch zijn maar wel kritisch moeten kunnen feedbacken op de resultaten van een analyse.
Het is ook duidelijk geworden dat veel van onze lerenden liever reeksen cursussen volgen via onze career tracks en skill tracks. Dat betekent dat we tijdens de ontwikkeling veel vragen stellen over wat lerenden geacht worden te weten voordat ze aan de cursus beginnen, welke andere cursussen ze vooraf zouden moeten hebben gevolgd, wat ze geacht worden te leren tegen de tijd dat ze de cursus hebben afgerond, en naar welke andere cursussen dit kan leiden. Cursussen volgen doe je niet geïsoleerd—het is een reis naar meer datageletterdheid.
Zodra de scope van de cursus is bepaald, moeten we ervoor zorgen dat lerenden ook echt iets leren! DataCamp werkt met onze instructeurs aan een set leerdoelen voor de cursus met behulp van Bloom’s taxonomie—een raamwerk om het vaardigheidsniveau bij een bepaalde taak te beschrijven. Deze leerdoelen voeden de DataCamp Signal-vaardigheidsassessments.
Natuurlijk kan dit allemaal veel zijn voor nieuwe instructeurs. Daarom biedt DataCamp veel ondersteuning tijdens het cursuscreatieproces. Elke instructeur krijgt doorgaans meer dan 80 uur begeleiding van DataCamp-medewerkers—allemaal professionele data scientists en docenten—over hoe je de cursus structureert voor een goed verhaal, hoe je goede oefeningen schrijft en technische peerreviews van hun content. Daarnaast hebben we een metacursus over hoe je DataCamp-cursussen maakt, en uitgebreide documentatie met richtlijnen over onder meer het vinden van interessante datasets en het opnemen van audio van hoge kwaliteit.
Nadat cursussen zijn gelanceerd, biedt DataCamp nog een voordeel ten opzichte van live onderwijs: instructeurs krijgen kwantitatieve feedback over hoe hun cursussen presteren. Het moeilijkheidsniveau van elke oefening wordt beoordeeld via het aandeel lerenden dat om hints en oplossingen vraagt, zodat instructeurs kunnen bepalen waar lerenden vastlopen. Foutieve antwoorden worden ook geregistreerd, zodat instructeurs kunnen achterhalen wat voor fouten lerenden maken en oefeningen kunnen bijwerken voor meer duidelijkheid. Lees meer over DataCamps aanpak om de cursuskwaliteit te verbeteren in deze blogpost.
In sommige gevallen hebben we gemerkt dat DataCamp-oefeningen lastig zijn, simpelweg omdat de onderliggende code die we willen onderwijzen moeilijk te gebruiken is. De cursussen over inferentiële statistiek in het JSE-artikel waren bijvoorbeeld gebaseerd op een R-pakket genaamd infer, en meerdere DataCamp-medewerkers hielpen mee dat pakket te ontwikkelen om het gebruiksvriendelijker te maken. Bij DataCamp zijn we erg trots op deze feedbacklus waarin onderwijs ontwikkeling inspireert. Complexe stukjes code identificeren en ontwikkelaars helpen problemen op te lossen, maakt software voor iedereen makkelijker te gebruiken.
Conclusie
We zijn blij dat onze instructeurs de tijd hebben genomen om hun ervaring met het creëren van content voor DataCamp te verwoorden. Inmiddels hebben 276 mensen het instructeurstraject doorlopen en zo bijgedragen aan onze missie om data science te democratiseren.
Online onderwijs is op dit moment uiterst relevant, nu veel mensen thuis zijn. In onze missie om datageletterdheid voor individuen en bedrijven te democratiseren, zoeken onze product-, content- en engineeringteams voortdurend naar manieren om te verbeteren hoe we datavaardigheden onderwijzen. Houd toekomstige ontwikkelingen in de gaten!
Veel leerplezier.
Appendix: DataCamps positie verduidelijken over opmerkingen in het artikel
We willen onze houding verduidelijken over enkele punten in het JSE-artikel.
- Het JSE-artikel stelde vragen bij de maximale lengte van DataCamp-video’s en stelde voor dat instructeurs "10-20 min kunnen besteden aan het bespreken van onderwerpen". De tijdslimiet die we voor video’s hanteren, is gebaseerd op een onderzoeksartikel van edX over de optimale videolengte voor studentbetrokkenheid. We hebben wat longform videomateriaal via webinaropnames, maar we vinden dat langere video’s de flow in cursussen zouden verstoren.
- Bij DataCamp ondersteunen we bijdragen aan open source. Zowel voormalige als huidige teamleden van DataCamp droegen bij aan het infer-pakket in zowel hun vrije tijd als werktijd: Chester Ismay, Nick Solomon en Richie Cotton (bron).
- Hoewel in het artikel genoemd, hebben we geen exclusieve contracten met instructeurs. Intellectueel eigendom blijft bij de instructeur.
- We erkennen dat we als commerciële organisatie beslissingen anders nemen, maar altijd in het belang van de lerende. Onze prikkels zijn volledig afgestemd op het creëren van hoogwaardig leermateriaal, wat direct de waarde voor onze klanten beïnvloedt. Daarom houden we zulke gedetailleerde statistieken bij zoals in het artikel genoemd.
- Net zoals de commerciële relatie met DataCamp werd vermeld, vinden we dat het passend was geweest om de commerciële relatie van een van de auteurs met RStudio te vermelden bij het verwijzen naar LearnR, een pakket gemaakt door het team van RStudio.
- Wat betreft het BuzzFeed-artikel waarnaar in het artikel wordt verwezen: DataCamp gaf opdracht tot een onafhankelijk onderzoek door derden naar de gebeurtenissen van oktober 2017, geleid door Anurima Bhargava, een voormalig functionaris van het Department of Justice in de Obama-regering, en Pamela Coukos van Working IDEAL. Het resulterende rapport werd openbaar gemaakt en online gedeeld via deze blogpost. Leden van de Instructor Advisory Board (de “IAB”) (waaronder een van de auteurs van het artikel) werden uitgenodigd om deel te nemen aan het onderzoek, evenals andere stakeholders, waaronder leden van onze instructeurscommunity.
