Dieser Artikel wurde von Richie Cotton verfasst, mit Beiträgen von Ramnath Vaidyanathan, Dieter De Mesmaeker und Martijn Theuwissen.
Online-Bildung ist derzeit ein extrem spannendes Feld, weil ständig Neues entsteht. Jedes Unternehmen in diesem Bereich, auch DataCamp, arbeitet daran, den besten Weg zum Lernen zu finden. Unsere Produkt- und Engineering-Teams entwickeln fortlaufend neue Tools, um Data Science noch wirksamer zu vermitteln — und unsere Content-Teams integrieren diese in bestehende und künftige Inhalte.
Vier DataCamp-Dozierende — Ben Baumer, Andrew Bray, Mine Çetinkaya-Rundel und Jo Hardin — haben kürzlich im Journal of Statistical Education einen Fachartikel zu ihren Erfahrungen bei der Kurserstellung auf DataCamp sowie zu Unterschieden zwischen Live- und Online-Lernen veröffentlicht. Sie gehörten zu den frühen Unterstützerinnen und Unterstützern von DataCamp, und wir schätzen es sehr, dass sie ihre Erfahrungen so klar formuliert haben.
In diesem Beitrag greifen wir ihr Feedback auf, sprechen über Didaktik bei DataCamp, zeigen Verbesserungen seit der Erstellung ihrer Kurse und erläutern unsere Haltung zu einigen im Paper gemachten Anmerkungen.
Die Kurse
Zwischen 2016 und 2018 entstanden acht Kurse. Zuerst kam eine Reihe von vier Kursen zur deskriptiven Statistik: Introduction to Data in R, Exploratory Data Analysis in R, Correlation and Regression in R sowie Multiple and Logistic Regression in R. Sie sind Teil des Statistics Fundamentals with R-Lernpfads. Es folgten vier Kurse zur Inferenzstatistik: Foundations of Inference, Inference for Categorical Data, Inference for Numerical Data und Inference for Linear Regression — zusammen der Statistical Inference with R-Lernpfad.
In Summe erreichten diese Kurse über 94.000 Lernende. Der bestbewertete Kurs hat 4,55 von 5 Sternen, der niedrigste 4,33. Als Kurse mit hohen Teilnehmerzahlen haben sie bislang 475.000 US-Dollar an Tantiemen für die vier Dozierenden eingebracht.
Die Vorteile von DataCamp
Das Paper hebt viele Stärken von DataCamp hervor. Zunächst stellen die vier Wissenschaftler fest, dass Universitäten teuer sind.
our institutions [...] have an average annual cost of attendance of $71,156.25
Das entspricht jedes Jahr dem Preis eines Luxuswagens — und zeigt, wie attraktiv DataCamp im Vergleich ist: weniger als ein Viertel einer New-York-U-Bahn-Monatskarte. Zwar sind wir ein profitorientiertes Unternehmen, doch möchten wir unser kostenloses Programm DataCamp for the Classroom hervorheben, das Lehrkräften und Studierenden unbegrenzten Zugang zu unserer kompletten Kursbibliothek bietet. Seit dem Start haben mehr als 200.000 Studierende teilgenommen. Das unterscheidet uns deutlich von hohen Studiengebühren privater Hochschulen — und darauf sind wir stolz.
Für Lernende bietet Video gegenüber Live-Lehre einen wichtigen Vorteil: mehr Kontrolle über das Lerntempo.
First, having videos instead of an in-person instructor means that the student can stop the video, slow it down, and/or go back and repeat the video. That is, each student can take the ideas in at their own pace. Additionally, unlike in a standard classroom, a student can pause the video to look up a definition or contextualize an example.
Auch das unmittelbare Feedback durch automatisierte Tests in unseren Coding-Übungen wurde positiv hervorgehoben.
Students receive instant feedback on the DataCamp coding exercises. This relieves some of their frustration and also frees the instructor from having to answer some of the frantic emails from students.
Für Dozierende, L&D-Verantwortliche und andere Lehrkräfte ist die Skalierbarkeit von DataCamp ein weiterer Pluspunkt. Unsere Plattform nimmt Lehrenden den Druck und die Monotonie des Bewertens ab.
Each additional student in your class requires extra time and effort from you to grade their assignments, meet with them during office hours, make room for them in the classroom, etc. Conversely, DataCamp will deliver content to an unlimited number of students asynchronously.
Was ist neu?
Seit 2016 hat DataCamp viel investiert und zahlreiche Verbesserungen umgesetzt.
Der Assess-Learn-Practice-Apply-Zyklus
2016 hatte DataCamp ein Produkt: unsere Kurse, mit denen Lernende neue Kompetenzen erwerben. Inzwischen hat sich unsere didaktische Vision um einen Zyklus verdichtet: die eigenen Fähigkeiten einschätzen, neue Kompetenzen lernen, sie üben, in neuen Kontexten anwenden — und dann wieder prüfen, wie stark man sich verbessert hat. Die folgende Grafik zeigt den Assess-Learn-Practice-Apply-Zyklus.
Abbildung 1: Der Assess-Learn-Practice-Apply-Zyklus als Grundlage der didaktischen Philosophie von DataCamp.
Um Lernenden diesen Zyklus zu ermöglichen, haben wir drei neue Produkte eingeführt.
Practice
2017 kam DataCamp Practice hinzu: kurze Coding-Challenges, die eng an die Kursinhalte angelehnt sind und das Gelernte festigen. Das folgende Beispiel zeigt eine Multiple-Choice-Frage zu Kompetenzen aus dem Kurs Introduction to the Tidyverse.
Abbildung 2: Eine DataCamp-Practice-Übung zur Überprüfung von Visualisierungskompetenzen.
Projects
Im selben Jahr starteten die DataCamp Projects. Damit wenden Lernende ihre Kompetenzen auf neue, praxisnahe Probleme an — in einem der beliebtesten Data-Science-Umgebungen: Jupyter Notebooks.
Abbildung 3: Ein Project, in dem Lernende ihre SQL-Kompetenzen anwenden.
Assessments
Der letzte Schritt im Zyklus folgte 2019 mit DataCamp Signal, unserem Skill-Assessment-Produkt zum Messen des Lernfortschritts. Skill-Assessments sind konzeptionell wie Practice im Prüfungsmodus: Die Fragen sind den entsprechenden Kursinhalten zugeordnet, haben jedoch Zeitlimits, und die Bewertung hängt von Trefferzahl und Schwierigkeitsgrad ab. Mehr zu adaptivem Testen und Psychometrie in Signal liest du hier.
Abbildung 4: Eine Signal-Skill-Assessment-Frage zur Überprüfung von Machine-Learning-Kompetenzen in Python unter Zeitdruck.
Verbesserungen in den Kursen
Neben drei neuen Produkten hat DataCamp die Kurse durch neue Übungstypen deutlich erweitert. Ein Punkt, den das JSE-Paper sehr treffend vorweggenommen hat: Es fehlte Unterstützung für grafische „Point-and-Click“-Übungen.
Some teaching strategies were not possible using the DataCamp platform, but we could see the platform expanding to incorporate such methods as it develops more sophisticated presentation capabilities. In particular, it was not possible to use the DataCamp platform to walk through using an applet to explain a particular concept.
Explorable Exercises
2019 haben wir einen neuen Übungstyp entwickelt: „Explorable Exercises“. Damit lassen sich Dashboards, interaktive Visualisierungen und sogar webbasierte Software in Übungen einbinden. Ein Weg dafür führt über Shiny — eine moderne Variante der im Paper erwähnten Java-Applets. (Wir bieten auch eine Kursreihe zu Shiny für alle, die eigene Anwendungen bauen möchten.)
Explorable Exercises kommen besonders in der Serie „For Everyone“ zum Einsatz, die sich an Menschen richtet, die Daten verstehen müssen, aber keinen Data-Science- oder Analytics-Background haben. Der Kurs Data Visualization For Everyone nutzt beispielsweise Dashboards, um zu zeigen, wie sich Änderungen an Diagrammen auf die Beantwortung von Fragen auswirken.
Im folgenden Beispiel erkunden Lernende, wie sich Farbänderungen in einem Diagramm auf die Interpretation von Umfrageantworten auswirken.
Abbildung 5: Eine Explorable-Exercise mit Dashboard, um die Effekte von Farbwahl in gestapelten Balkendiagrammen zu erkunden.
Früh wurde DataCamp dafür kritisiert, dass unsere Coding-Übungen zwar hervorragend zeigen, wie man Code-Snippets schreibt, Lernende aber leicht den roten Faden verlieren, wenn es darum geht, sie zu einem Workflow zu verbinden. Wir wussten immer, wie wichtig Workflows sind, und haben Dozierende ermutigt, sie in Videos zu erklären — aber es brauchte ein stärkeres Werkzeug. Letztes Jahr haben wir dafür einen weiteren Übungstyp eingeführt: Drag-and-Drop-Übungen, mit denen Aufgaben gelöst werden, indem Elemente auf dem Bildschirm angeordnet werden. Besonders wichtig für Workflows ist die Variante „Ordering Exercise“.
Im folgenden Beispiel aus Introduction to Writing Functions in R sollen Lernende die Schritte eines Workflows zur Umwandlung eines Skripts in eine wiederverwendbare Funktion in die richtige Reihenfolge bringen. Indem sie nicht selbst Code schreiben müssen, können sie sich voll auf das Konzept konzentrieren.
Abbildung 6: Eine Drag-and-Drop-Übung zur Vermittlung eines Workflows über die richtige Reihenfolge von Schritten.
Neben Explorable und Drag-and-Drop haben wir viele weitere Übungstypen und Content-Formate ergänzt. Besonders hervorzuheben sind:
IDE-Übungen
Die IDE-Übung nutzt einen der beliebtesten Code-Editoren: Visual Studio Code. Dieser Übungstyp kommt vor allem in fortgeschrittenen Data-Engineering-Inhalten zum Einsatz.
Abbildung 7: Eine IDE-Übung, die „DevOps“-Kompetenzen beim Deployment in Visual Studio Code prüft.
VM-Übungen
Ganz neu ist die VM-Übung: Sie startet eine Windows-VM mit vorinstallierter Software. Diese Übungen werden vor allem in unseren Tableau-Inhalten verwendet.
Abbildung 8: Eine VM-Übung, in der Lernende Daten im Business-Intelligence-Tool Tableau bearbeiten.
Einige der im Paper gemachten Vorschläge sind für eine Online-Plattform wie DataCamp schwer umsetzbar, etwa der folgende:
In the brick-and-mortar classroom, we divide students into teams and each team receives a bag with 20 pieces of paper, each with the rent of a sampled apartment printed on it. Then, each team is asked to take a bootstrap sample of 20 apartments from their bag, calculate the median, and record it on the board by placing a dot on the dotplot. The process provides students with personal experience sampling with replacement in order to build a bootstrap distribution of sample medians.
Auf unserer Plattform können Dozierende nicht direkt mit Lernenden interagieren, doch wir stimmen zu: Solche spielerischen Elemente sind im Live-Unterricht wertvoll. Deshalb hat eines unserer Engineering-Teams im jüngsten Hackathon DataCamp VR als Prototyp erprobt. Bis zur Praxis dürfte es noch dauern, aber Innovation ist für uns zentral — und es hat großen Spaß gemacht!
Wichtiger ist: Online-Bildung und Live-Unterricht stehen nicht in Konkurrenz. Bei DataCamp sehen wir sie als Ergänzung. Deshalb haben wir eine Reihe von Live-Coding-Webinaren gestartet, in denen Lernende direkter mit einer Lehrkraft interagieren können. Kommende Webinare und Live-Trainings findest du hier.
Kontinuierliche Verbesserung
Anders als bei Lehrbüchern, die mit der Veröffentlichung quasi abgeschlossen sind, endet die Entwicklung von Lernmaterialien bei DataCamp nicht mit dem Kursstart. Dozierende werden aktiv ermutigt, ihre Kurse zu verbessern: unklare Anweisungen zu überarbeiten, Konzepte zu präzisieren und Inhalte in der schnelllebigen Data-Science-Welt aktuell zu halten.
Spannend ist, dass gerade die vom Paper-Autorenteam entwickelten Inferenzstatistik-Kurse ein wichtiger Antreiber für technische und prozessuale Verbesserungen bei DataCamp waren. Obwohl beliebt, zeigten quantitative Daten wie Bewertungen und Abschlussquoten deutliches Optimierungspotenzial. Das Kernproblem: Inferenzstatistik ist konzeptionell anspruchsvoll und setzt zugleich fortgeschrittene Programmierkenntnisse voraus, um die Konzepte zu vermitteln.
Um dem abzuhelfen, hat das Content-Quality-Team von DataCamp gemeinsam mit den Dozierenden alle vier Kurse grundlegend überarbeitet. Unsere Analystinnen und Analysten haben das Tempo angepasst, um neuen Code schrittweise einzuführen, Anweisungen umformuliert und Code vereinfacht — damit Lernende sich auf die Konzepte konzentrieren können. Das Ergebnis: vier hervorragende Kurse — für Fortgeschrittene.
Im Sinne der kontinuierlichen Verbesserung steht nun die nächste Herausforderung an: Wie vermitteln wir Inferenzstatistik Einsteigerinnen und Einsteigern? Bleib dran!
Verbesserungen für Learning-&-Development-Manager
Das JSE-Paper stellt die Vor- und Nachteile des Lehrens auf DataCamp gut dar, enthält aber eine kleine Ungenauigkeit:
DataCamp courses are asynchronous and self-paced, so [there are] no deadlines for the student to worry about.
Für die meisten Lernenden stimmt das. Mit einem privaten Abo lernst du im eigenen Tempo und so, wie es zu deinem Alltag passt. Für unsere Business- und Hochschulkundschaft haben wir jedoch Administrations-Tools entwickelt, mit denen Verantwortliche Fortschritte nachverfolgen können:
- Assignments: Dozierende und Admins können Kurs- oder XP-Aufgaben mit Frist setzen. Nach Fristablauf erhält die Gruppenadministration automatisch einen Export der relevanten Daten.
- Reporting: Seit dem Start für Business- und Akademia-Kunden haben wir die Reporting-Fähigkeiten stark ausgebaut und liefern automatisierte Einblicke zu Engagement, Nutzung, Content-Konsum, Assessments usw. direkt in der Anwendung.
- Rohdaten: Admins können Detaildaten aus Gruppen und Klassen exportieren, um bei Bedarf eigene Dashboards lokal zu erstellen.
- LMS-Integrationen und SSO: 2019 haben wir unsere LMS-Integrationen u. a. um SAP SuccessFactors und Degreed erweitert und Single Sign-on (SSO) für mehr Sicherheit eingeführt.
Verbesserungen für Dozierende
Zum Start von DataCamp haben wir möglichst schnell viele Kurse produziert — ohne Kurse keine Lernenden. Mit wachsender Bibliothek und einer breiteren Zielgruppe ist es heute wichtiger zu klären: „Wie passt dieser Kurs zu den anderen?“ und „Wer wird ihn belegen?“ statt nur Lücken zu füllen.
Deshalb investieren wir zu Beginn der Kursentwicklung viel Zeit in die Zielgruppenschärfung. Die Vermittlung für ML-Expertinnen und -Experten unterscheidet sich grundlegend von der für Führungskräfte von Data Scientists, die weniger technisch sind, aber Ergebnisse bewerten müssen.
Viele Lernende bevorzugen Kurssequenzen über unsere Career Tracks und Skill Tracks. Daher klären wir während der Entwicklung: Was sollten Lernende vorab können? Welche Kurse sind als Grundlage sinnvoll? Was genau lernen sie im Kurs — und wohin führt er weiter? Lernen passiert nicht isoliert — es ist eine Reise zu mehr Datenkompetenz.
Steht der Umfang, muss sichergestellt sein, dass wirklich gelernt wird. Gemeinsam mit den Dozierenden definieren wir Lernziele anhand der Bloom’schen Taxonomie — einem Rahmen zur Beschreibung von Kompetenzstufen. Diese Lernziele fließen in die DataCamp Signal-Assessments ein.
Das ist gerade für neue Dozierende viel auf einmal. Deshalb bieten wir umfangreiche Unterstützung in der Kurserstellung. Üblicherweise erhalten Dozierende über 80 Stunden Guidance von DataCamp-Mitarbeitenden — allesamt professionelle Data Scientists und Lehrende: zur Dramaturgie des Kurses, zum Schreiben guter Übungen sowie für technische Peer-Reviews. Zusätzlich gibt es einen Meta-Kurs zur Kurserstellung bei DataCamp und ausführliche Dokumentation — u. a. zu Datensatzsuche und hochwertiger Audioaufnahme.
Nach dem Launch bietet DataCamp einen weiteren Vorteil gegenüber Live-Unterricht: Dozierende erhalten quantitative Rückmeldungen zur Kursleistung. Der Schwierigkeitsgrad jeder Übung ergibt sich u. a. aus dem Anteil an Hinweis- und Lösungsabrufen, sodass klar wird, wo Lernende hängen. Falsche Antworten werden erfasst, um typische Fehler zu erkennen und Übungen gezielt zu präzisieren. Mehr zu unserem Qualitätsansatz liest du in diesem Blogpost.
Manchmal sind DataCamp-Übungen schwer, weil der zugrunde liegende Code schwer zu nutzen ist. Die im JSE-Paper genannten Inferenzstatistik-Kurse basierten z. B. auf dem R-Paket infer. Mehrere DataCamp-Mitarbeitende haben an diesem Paket mitgearbeitet, um es leichter bedienbar zu machen. Auf diesen Feedback-Loop sind wir stolz: Lehre inspiriert Entwicklung. Indem wir komplexe Codestellen identifizieren und mit Entwicklerinnen und Entwicklern Lösungen erarbeiten, wird Software für alle einfacher.
Fazit
Wir freuen uns, dass unsere Dozierenden ihre Erfahrungen mit der Content-Erstellung bei DataCamp so ausführlich geteilt haben. Inzwischen haben 276 Personen den Instruktionsprozess durchlaufen und tragen zu unserer Mission bei, Data Science zu demokratisieren.
Online-Bildung ist gerade jetzt besonders relevant, da viele Menschen zu Hause sind. Um Datenkompetenz für Einzelpersonen und Unternehmen zu demokratisieren, arbeiten unsere Produkt-, Content- und Engineering-Teams kontinuierlich daran, die Vermittlung von Datenkompetenzen weiter zu verbessern. Bleib dran für weitere Neuerungen!
Viel Erfolg beim Lernen.
Anhang: Klarstellung zur Position von DataCamp zu Anmerkungen im Paper
Wir möchten unsere Sicht auf einige Punkte im JSE-Paper präzisieren.
- Das Paper hinterfragt die maximale Länge von DataCamp-Videos und regt an, Dozierende sollten „10–20 Min Themen am Stück erläutern“ können. Unsere Videolimits orientieren sich an einem edX-Research-Beitrag zur optimalen Videolänge für Lernenden-Engagement. Längere Formate bieten wir über Webinar-Aufzeichnungen an, würden in Kursen aber den Flow stören.
- Wir unterstützen Open Source. Ehemalige und aktuelle DataCamp-Teammitglieder haben am Paket infer mitgearbeitet — in ihrer Freizeit und während der Arbeitszeit: Chester Ismay, Nick Solomon und Richie Cotton (Quelle).
- Entgegen einer Erwähnung im Paper gibt es keine Exklusivverträge mit Dozierenden. Das geistige Eigentum verbleibt bei den Urheberinnen und Urhebern.
- Wir wissen, dass wir als profitorientiertes Unternehmen Entscheidungen anders treffen, jedoch stets im besten Interesse der Lernenden. Unsere Anreize sind voll auf die Erstellung hochwertiger Lerninhalte ausgerichtet — sie bestimmen direkt den Kundennutzen. Daher messen wir so detailliert, wie im Paper beschrieben.
- Ähnlich wie die Geschäftsbeziehung zu DataCamp offengelegt wurde, hätte unseres Erachtens auch die Geschäftsbeziehung eines Autors zu RStudio offengelegt werden sollen, wenn LearnR (ein Paket des RStudio-Teams) referenziert wird.
- Zum im Paper referenzierten BuzzFeed-Artikel: DataCamp hat eine unabhängige, externe Untersuchung der Ereignisse vom Oktober 2017 beauftragt, geleitet von Anurima Bhargava (ehemalige Mitarbeiterin des US-Justizministeriums unter Obama) und Pamela Coukos von Working IDEAL. Der Ergebnisbericht wurde veröffentlicht und in diesem Blogpost geteilt. Mitglieder des Instructor Advisory Board (IAB) — darunter eine der Paper-Autorinnen — sowie weitere Stakeholder, einschließlich Mitglieder unserer Instructor-Community, waren zur Teilnahme eingeladen.
