Comment DataCamp conçoit le meilleur programme de formation en data science
Chez DataCamp, nous sommes fiers de proposer la meilleure plateforme et le meilleur programme de formation pour apprendre la data science. Dans ce but, nous veillons à ce que chaque exercice soit à la fois efficace sur le plan pédagogique et agréable à suivre. Après le lancement d'un cours, nous ne le considérons pas comme achevé : le lancement marque le début de la collecte de données. À chaque tentative d'un exercice, nous enregistrons des indicateurs comme le nombre d'essais nécessaires pour le résoudre et si l'apprenant a eu besoin d'aide via l'indice ou la solution. En agrégeant ces données sur l'ensemble de nos apprenants, nous pouvons mesurer la difficulté de chaque exercice. En complément, les apprenants peuvent noter les exercices de une à cinq étoiles et nous transmettre leurs commentaires pour nous indiquer s'ils ont apprécié l'exercice.
Notre équipe Content Quality travaille avec les instructeurs pour exploiter ces données et améliorer les cours. Cela prend différentes formes, car de nombreux éléments peuvent poser problème dans un exercice.
1. Corriger les données manquantes
Parfois, de petits détails peuvent agacer beaucoup d'apprenants. Dans Data Science Toolbox (Part 1), les apprenants découvrent les fonctions lambda en Python avec un jeu de données inspiré de la Communauté de l'Anneau de J.R.R. Tolkien, tirée de la trilogie Le Seigneur des Anneaux. Malheureusement, le jeu de données ne comprenait pas Gandalf ni Pippin. Nos apprenants s'en sont légitimement plaints, nous les avons écoutés et avons corrigé le problème.
2. Éviter les idées reçues et les confusions chez les apprenants DataCamp
L'analyse des retours sur de nombreux exercices peut révéler des schémas récurrents de méconceptions chez les apprenants. Beaucoup d'analyses de données reposent sur des tableaux rectangulaires où chaque ligne correspond à un enregistrement et chaque colonne à une variable de cet enregistrement. Par exemple, chaque ligne peut représenter une personne, et les colonnes son nom, sa taille et sa couleur préférée.
Une pratique très courante consiste à filtrer les lignes de ce tableau. Un·e instructeur·rice pourrait formuler une consigne ainsi :
Filtrez le jeu de données pour supprimer les lignes où les personnes mesurent moins de 170 cm.
Cela fonctionne, mais la plupart des logiciels statistiques, dont le package dplyr de R et la bibliothèque Pandas de Python, invitent à filtrer en spécifiant ce que vous souhaitez conserver. Si l'on réécrit la consigne de la façon suivante :
Filtrez le jeu de données pour ne conserver que les lignes où les personnes mesurent plus de 170 cm.
La consigne correspond alors mieux au fonctionnement du code et évite une source de confusion pour les apprenants. Pour les cours avancés, où l'on suppose que les apprenants maîtrisent déjà la manipulation de données, cet écart poserait moins de problèmes. Dans notre cours Pandas Foundations, nous avons constaté que de nombreux apprenants butaient sur ce point et avons ajusté la formulation.
3. Un parcours d'apprentissage plus fluide grâce à des retours plus complets et plus granulaires
Tous les exercices DataCamp sont corrigés automatiquement grâce aux outils développés par notre équipe Content Engineering. Les apprenants reçoivent ainsi un retour intelligent et instantané en cas d'erreur. C'est sans doute l'un des plus grands atouts de notre plateforme. L'une des difficultés majeures consiste à anticiper les erreurs probables afin de proposer un conseil pertinent sur la manière de corriger le tir. Cela signifie qu'il arrive qu'une solution correcte soit signalée comme fausse. Et lorsque cela se produit, les apprenants le vivent très mal. Dans un cas, un apprenant s'est plaint :
Dans notre cours Cluster Analysis in R, de nombreux apprenants avaient remarqué que, même si la solution proposée utilisait la fonction bien connue min() pour calculer une valeur minimale, il existait une solution plus simple et plus élégante avec la fonction de minimum parallèle, pmin(), moins répandue.
À l'origine, l'exercice n'acceptait qu'une seule solution, mais grâce à l'astuce des apprenants, les deux solutions sont désormais valides. L'un des objectifs de l'équipe Content Engineering dans l'évolution du système de feedback de DataCamp est d'accroître la flexibilité de l'évaluation, afin de permettre aux apprenants de résoudre les problèmes à leur manière.
Une autre frustration possible avec nos retours automatiques est de voir s'afficher plusieurs fois le même message lors d'un exercice. Le principe est illustré ci-dessous, où l'on demande à un apprenant de créer un tableau Python de trois éléments.
En proposant des retours plus granulaires, ciblant précisément les erreurs dans la réponse de l'apprenant, nous offrons une expérience d'apprentissage plus positive. Les résultats sont encourageants. Dans un exercice de notre cours Intermediate Python for Data Science, le passage à un feedback granulaire a fait chuter la part d'apprenants voyant le même message plus d'une fois, d'environ 65 % à moins de 10 %.
Le pourcentage d'utilisateurs exposés plus d'une fois au même message de feedback est un indicateur que nous suivons sur tous les exercices et cours. Croisé avec la popularité des cours, cela nous permet d'adopter une approche basée sur les données pour améliorer l'expérience d'apprentissage là où l'impact est maximal.
Conclusion
Notre objectif d'ici la fin de l'année est que, pour la moitié la plus populaire de nos cours, la moyenne du pourcentage de feedbacks répétés sur l'ensemble des exercices soit inférieure à 30 % pour chaque cours.
Nous continuerons à déployer ces améliorations sur l'ensemble des technologies que les apprenants peuvent découvrir sur DataCamp. En interne, nous perfectionnons également nos outils de génération de feedback et d'analyse des soumissions afin d'améliorer en continu l'expérience d'apprentissage pour tous les contenus actuels et à venir.
Bien d'autres choses peuvent mal tourner dans un exercice, mais nous espérons que cela vous rassure : DataCamp écoute les retours des apprenants et travaille en continu à renforcer leur satisfaction vis-à-vis de nos cours.