Este artigo foi escrito por Richie Cotton, com contribuições de Ramnath Vaidyanathan, Dieter De Mesmaeker e Martijn Theuwissen.
A educação online vive um momento empolgante, com inovação constante. Todas as empresas desse mercado, inclusive a DataCamp, ainda estão descobrindo as melhores formas de ajudar as pessoas a aprender. Nossos times de produto e engenharia desenvolvem continuamente novas ferramentas para ensinar ciência de dados com mais eficácia, e nossos times de conteúdo as incorporam ao que já existe e ao que vem por aí.
Quatro instrutores da DataCamp — Ben Baumer, Andrew Bray, Mine Çetinkaya-Rundel e Jo Hardin — publicaram recentemente um artigo no Journal of Statistical Education sobre a experiência de criar cursos na DataCamp e suas reflexões sobre as diferenças entre o ensino presencial e o online. Esses instrutores foram apoiadores da DataCamp desde cedo, e agradecemos por terem compartilhado suas experiências.
Neste post, queremos revisar o feedback deles, falar sobre a pedagogia na DataCamp, mostrar algumas melhorias que fizemos desde que os autores criaram seus cursos e esclarecer nossa posição sobre certos comentários feitos no artigo.
Os cursos
Os instrutores criaram oito cursos entre 2016 e 2018. Primeiro veio uma série de quatro cursos sobre estatística descritiva: Introduction to Data in R, Exploratory Data Analysis in R, Correlation and Regression in R e Multiple and Logistic Regression in R, que fazem parte da trilha de habilidades Statistics Fundamentals with R. Depois, vieram quatro cursos sobre estatística inferencial: Foundations of Inference, Inference for Categorical Data, Inference for Numerical Data e Inference for Linear Regression, que compõem a trilha de habilidades Statistical Inference with R.
No total, esses cursos alcançaram mais de 94.000 alunos. O curso com melhor avaliação tem nota 4,55 (de 5) e o de menor avaliação, 4,33. Por serem cursos de alto volume, já geraram, ao longo de sua vida, US$ 475.000 em pagamentos de royalties aos quatro instrutores.
Os benefícios da DataCamp
O artigo destaca muitos pontos fortes da DataCamp. Para começar, os quatro acadêmicos observam que universidades são caras.
nossas instituições [...] têm um custo médio anual de US$ 71.156,25 por aluno
É o preço de um carro de luxo por ano, o que reforça o ótimo custo-benefício da DataCamp — que sai por uma fração do valor de um passe do metrô de Nova York. Embora sejamos uma empresa com fins lucrativos, vale ressaltar nosso programa gratuito DataCamp for the Classroom, que oferece a professores e alunos acesso ilimitado à nossa biblioteca completa de cursos. Desde o lançamento, mais de 200.000 estudantes já participaram do programa. Isso nos diferencia das altas mensalidades em faculdades e universidades privadas, e temos muito orgulho disso.
Para os alunos, eles apontaram que o uso de vídeo tem uma vantagem importante em relação ao ensino ao vivo: dá mais controle sobre o ritmo.
Primeiro, ter vídeos em vez de um instrutor presencial significa que o estudante pode pausar, diminuir a velocidade e/ou voltar e repetir o vídeo. Ou seja, cada estudante pode absorver as ideias no seu próprio ritmo. Além disso, diferente de uma sala de aula tradicional, o estudante pode pausar o vídeo para buscar uma definição ou contextualizar um exemplo.
O feedback instantâneo fornecido pelos testes automáticos nos exercícios de código também foi citado de forma positiva.
Os estudantes recebem feedback instantâneo nos exercícios de código da DataCamp. Isso alivia parte da frustração e também evita que o instrutor tenha de responder a e-mails aflitos dos alunos.
Para professores, gestores de aprendizado e desenvolvimento e outros educadores, a escalabilidade da DataCamp foi destacada como um diferencial. Nossa plataforma liberta os educadores da pressão e da monotonia de corrigir tarefas.
Cada novo estudante na sua turma exige tempo e esforço extras para corrigir suas tarefas, atendê-lo no horário de atendimento, acomodá-lo na sala, etc. Em contrapartida, a DataCamp entrega conteúdo de forma assíncrona para um número ilimitado de alunos.
O que há de novo?
Desde 2016, a DataCamp investiu em muitas melhorias.
O ciclo avaliar-aprender-praticar-aplicar
Em 2016, a DataCamp tinha um produto: nossos cursos, pensados para ajudar os alunos a adquirir novas habilidades. Com o tempo, nossa visão pedagógica se consolidou em torno do ciclo de avaliar suas habilidades atuais, aprender novas competências, praticar essas competências, aplicar o que aprendeu em novos contextos e, então, voltar à avaliação para ver o quanto você evoluiu. A imagem abaixo mostra o ciclo avaliar-aprender-praticar-aplicar.
Figura 1: o ciclo avaliar-aprender-praticar-aplicar que fundamenta a filosofia pedagógica da DataCamp.
Para ajudar os alunos a completar esse ciclo, adicionamos três novos produtos.
Practice
Em 2017, adicionamos o DataCamp Practice, com desafios curtos de programação que acompanham de perto o conteúdo dos cursos para reforçar a aprendizagem. O exemplo abaixo mostra uma questão de múltipla escolha que testa habilidades do curso Introduction to the Tidyverse.
Figura 2: exercício do DataCamp Practice testando habilidades de visualização de dados.
Projects
No mesmo ano, lançamos o DataCamp Projects, que permite aos alunos aplicar suas habilidades a problemas reais usando um dos ambientes mais populares de ciência de dados: os Jupyter Notebooks.
Figura 3: um Project que permite aplicar habilidades em SQL.
Assessments
A etapa final do ciclo chegou em 2019 com o lançamento do DataCamp Signal, nosso produto de avaliação de habilidades que permite medir o quanto foi aprendido. As avaliações de habilidades são, conceitualmente, como o modo de prática sob condições de prova: os alunos são testados em conteúdos relacionados aos cursos correspondentes, mas cada questão tem limite de tempo e a pontuação considera a quantidade de acertos e a dificuldade das questões. Você pode ler mais sobre o uso de testes adaptativos e psicometria no Signal aqui.
Figura 4: questão de avaliação de habilidades do Signal testando machine learning em Python sob pressão de tempo.
Melhorias nos cursos
Além de lançar três novos produtos, a DataCamp aprimorou seus cursos com vários novos tipos de exercícios. Um ponto em que o artigo do JSE foi especialmente certeiro é que a DataCamp precisava de suporte a exercícios gráficos do tipo "apontar e clicar".
Algumas estratégias de ensino não eram possíveis na plataforma da DataCamp, mas víamos a plataforma evoluindo para incorporar esses métodos conforme ganhasse capacidades de apresentação mais sofisticadas. Em particular, não era possível usar a plataforma para demonstrar o uso de um applet para explicar um conceito específico.
Exercícios exploráveis
Em 2019, a DataCamp criou um novo tipo de exercício chamado "exercício explorável". Eles permitem incluir dashboards, visualizações interativas e até softwares web nos exercícios. Uma das formas de criar esses exercícios usa uma ferramenta chamada Shiny — uma versão mais moderna dos applets em Java citados no artigo. (Também temos uma série de cursos sobre Shiny para quem quiser criar os seus.)
Os exercícios exploráveis foram muito bem aproveitados na série de cursos "For Everyone" da DataCamp, pensada para quem precisa entender dados mas não tem formação em ciência de dados ou analytics. O curso Data Visualization For Everyone, em especial, usa dashboards para ajudar os alunos a explorar como mudanças nos gráficos afetam a capacidade de responder perguntas sobre eles.
No exemplo abaixo, os alunos podem explorar como a mudança de cores em um gráfico impacta a interpretação de respostas de uma pesquisa.
Figura 5: exercício explorável com um dashboard para explorar o efeito das escolhas de cores em um gráfico de barras empilhadas.
Um ponto de crítica à DataCamp no começo era que, embora nossos exercícios de código fossem ótimos para ensinar a escrever trechos de código, era fácil o aluno se perder nos detalhes sem saber como juntar tudo. Sempre entendemos o valor de ensinar fluxos de trabalho e incentivamos os instrutores a descrevê-los nos vídeos, mas precisávamos de uma ferramenta mais poderosa. No ano passado, implementamos outro tipo de exercício para isso. Os exercícios de arrastar e soltar permitem resolver questões movendo itens na tela. Há várias variações, mas a mais importante para ensinar fluxos de trabalho é o "exercício de ordenação".
No exemplo abaixo, extraído do curso Introduction to Writing Functions in R, os alunos devem reordenar etapas de um fluxo para converter um script em uma função reutilizável. Ao tirar o foco da escrita de código, eles conseguem se concentrar no conceito.
Figura 6: exercício de arrastar e soltar para ensinar um fluxo de trabalho ordenando etapas.
Além dos exercícios exploráveis e dos de arrastar e soltar, adicionamos muitos outros tipos de exercícios e formatos de conteúdo. Entre os mais notáveis estão:
Exercícios de IDE
O exercício de IDE usa um dos editores de código mais populares, o Visual Studio Code. Esse tipo de exercício é usado em nosso conteúdo mais avançado de engenharia de dados.
Figura 7: exercício de IDE, testando habilidades de DevOps para fazer deploy de código usando o ambiente Visual Studio Code.
Exercícios de VM
Mais recentemente, criamos o exercício de VM, que executa uma máquina virtual Windows com softwares específicos pré-instalados. Eles são usados principalmente em nosso conteúdo de Tableau.
Figura 8: exercício de VM ensinando a manipular dados na ferramenta de business intelligence Tableau.
Algumas das sugestões feitas no artigo são desafiadoras para uma plataforma online como a DataCamp implementar, como a seguinte:
Na sala de aula presencial, dividimos os alunos em equipes e cada equipe recebe um saco com 20 papéis, cada um com o aluguel de um apartamento da amostra impresso. Em seguida, cada equipe tira uma amostra bootstrap de 20 apartamentos do saco, calcula a mediana e a registra no quadro colocando um ponto no dotplot. O processo dá aos alunos uma experiência prática de amostragem com reposição para construir uma distribuição bootstrap de medianas amostrais.
Embora os instrutores não possam interagir com os alunos na nossa plataforma, concordamos que jogos divertidos são uma parte importante do ensino ao vivo. Por isso, no nosso último Hackathon, um dos times de engenharia explorou a criação do DataCamp VR. Embora isso ainda deva levar alguns anos, vemos a inovação como parte essencial da empresa (e nos divertimos bastante!).
Falando sério, é um equívoco achar que educação online e ensino presencial competem entre si. Na DataCamp, vemos esses formatos como complementares. Por isso, lançamos uma série de webinars de live coding, em que os alunos podem interagir de perto com um instrutor. Confira nossos próximos webinars e treinamentos ao vivo aqui.
Melhoria contínua
Diferente de outros meios educacionais, como livros didáticos — que são considerados prontos quando publicados —, na DataCamp o desenvolvimento do material não para quando o curso é lançado. Os instrutores são incentivados a melhorar continuamente seus cursos para oferecer uma experiência melhor aos alunos, reescrevendo instruções pouco claras, elucidando conceitos e mantendo o conteúdo atualizado no dinâmico mundo da ciência de dados.
Curiosamente, a série de cursos de estatística inferencial criada pelos autores do artigo foi um dos principais motivadores de algumas melhorias técnicas e de processo feitas pela DataCamp. Embora os cursos fossem populares, dados quantitativos como avaliações e taxas de conclusão mostraram que havia espaço significativo para melhoria. O grande desafio é que estatística inferencial é conceitualmente difícil e exige habilidades de programação de nível intermediário para expor esses conceitos.
Para resolver isso, o time de Content Quality da DataCamp trabalhou com os instrutores para reescrever completamente os quatro cursos. Nossos analistas de qualidade ajudaram a ajustar o ritmo para introduzir o código de forma mais gradual, reescreveram instruções e simplificaram o código para que os alunos pudessem focar nos conceitos. O resultado é que agora são quatro ótimos cursos — para alunos avançados.
No espírito de melhoria contínua, um próximo desafio para o time de Conteúdo da DataCamp é descobrir como ensinar estatística inferencial para iniciantes absolutos. Fique de olho!
Melhorias para gestores de L&D
O artigo do JSE fez um ótimo trabalho ao destacar prós e contras de ensinar na DataCamp, mas trouxe uma pequena imprecisão ao afirmar que
os cursos da DataCamp são assíncronos e autogerenciados, portanto [não há] prazos com que o aluno precise se preocupar.
Isso é verdade para a maioria dos alunos. Se você tem uma assinatura individual da DataCamp, pode aprender no seu ritmo e consumir o conteúdo do jeito que melhor se adapta à sua rotina. Porém, para nossos clientes corporativos e acadêmicos, a DataCamp desenvolveu um conjunto de ferramentas administrativas para ajudar administradores e instrutores a acompanhar o progresso de funcionários e estudantes:
- Assignments: permitimos que instrutores e administradores definam tarefas por curso ou por XP com prazo. O admin do grupo recebe automaticamente a exportação dos dados relevantes após o prazo.
- Relatórios: desde o lançamento para clientes corporativos e acadêmicos, ampliamos bastante nossa capacidade de relatórios e oferecemos insights automáticos sobre engajamento, adoção, uso de conteúdo, uso de avaliações etc. diretamente no aplicativo.
- Dados de baixo nível: administradores podem exportar dados detalhados de seus grupos e turmas para montar dashboards locais, se preferirem.
- Integrações com LMS e SSO: em 2019, expandimos as integrações com sistemas de gestão de aprendizagem (LMS) para outros provedores, como SAP SuccessFactors e Degreed, e adicionamos single sign-on (SSO) para mais segurança.
Melhorias para instrutores
Quando a DataCamp foi lançada, corremos para criar o máximo de cursos possível porque, sem cursos, não teríamos alunos. À medida que nossa biblioteca cresceu e nossa base de usuários ficou mais diversa, preencher lacunas na grade curricular deixou de ser tão urgente quanto questões como "onde este curso se encaixa em relação aos demais?" e "quem vai se interessar por este curso?"
Isso significa que, no início do desenvolvimento, dedicamos bastante tempo a discutir o público-alvo com o instrutor. Por exemplo, a abordagem para explicar conceitos a especialistas em machine learning é bem diferente daquela usada para gestores de cientistas de dados, que podem ser menos técnicos, mas precisam dar feedback crítico sobre resultados de análises.
Também ficou claro que muitos alunos preferem fazer sequências de cursos por meio de nossas trilhas de carreira e trilhas de habilidades. Por isso, durante o desenvolvimento, fazemos muitas perguntas sobre o que o aluno deve saber antes de começar, quais cursos deveria ter feito, o que deve aprender até concluir e para quais outros cursos este pode direcionar. Fazer cursos não é algo isolado — é uma jornada rumo ao letramento em dados.
Com o escopo definido, precisamos garantir que os alunos realmente aprendam! A DataCamp trabalha com os instrutores para definir objetivos de aprendizagem do curso usando a taxonomia de Bloom — uma estrutura para descrever níveis de proficiência em uma tarefa. Esses objetivos alimentam as avaliações de habilidade do DataCamp Signal.
Claro que tudo isso pode ser muita coisa para instrutores iniciantes. Por isso, a DataCamp oferece amplo suporte durante a criação do curso. Cada instrutor recebe, em média, mais de 80 horas de orientação de colaboradores da DataCamp — todos cientistas de dados e educadores — sobre como estruturar uma boa narrativa, escrever exercícios de qualidade e realizar revisões técnicas por pares do conteúdo. Além disso, temos um meta-curso sobre como criar cursos na DataCamp e uma documentação abrangente com orientações sobre como encontrar datasets interessantes, gravar áudio de alta qualidade e muito mais.
Depois que os cursos são lançados, a DataCamp oferece outra vantagem em relação ao ensino presencial: os instrutores recebem feedback quantitativo sobre o desempenho dos cursos. O nível de dificuldade de cada exercício é avaliado pela proporção de alunos que pedem dicas e soluções, permitindo identificar onde ficam os gargalos. Respostas erradas também são registradas, para entender os tipos de erro e atualizar os exercícios para mais clareza. Saiba mais sobre como a DataCamp melhora a qualidade dos cursos neste post do blog.
Em alguns casos, percebemos que exercícios da DataCamp são difíceis simplesmente porque o código que queremos ensinar é complexo de usar. Na verdade, os cursos de estatística inferencial mencionados no artigo do JSE foram baseados no pacote R chamado infer, e vários colaboradores da DataCamp ajudaram a desenvolver esse pacote para torná-lo mais fácil de usar. Temos muito orgulho desse ciclo virtuoso em que o ensino inspira o desenvolvimento. Identificar trechos complexos de código e ajudar desenvolvedores a resolver problemas deixa o software mais fácil para todo mundo.
Conclusão
Ficamos felizes que nossos instrutores dedicaram tempo para relatar a experiência de criar conteúdo para a DataCamp. Duzentas e setenta e seis pessoas já passaram pelo nosso processo de instrução, contribuindo para nossa missão de democratizar a ciência de dados.
A educação online é extremamente relevante agora que muita gente está em casa. Na missão de democratizar o letramento em dados para pessoas e empresas, nossos times de produto, conteúdo e engenharia estão sempre buscando melhorar a forma como ensinamos habilidades em dados. Fique de olho nas novidades!
Boas aprendizagens.
Apêndice: esclarecendo a posição da DataCamp sobre comentários do artigo
Gostaríamos de esclarecer nossa posição em alguns pontos apresentados no artigo do JSE.
- O artigo questionou o tempo máximo dos vídeos da DataCamp e sugeriu que os instrutores deveriam poder "dedicar de 10 a 20 min para explicar tópicos". O limite que impomos é baseado em uma publicação de pesquisa da edX sobre duração ideal de vídeo para engajamento. Temos alguns conteúdos em vídeo de longa duração via gravações de webinars, mas acreditamos que vídeos mais longos prejudicariam o fluxo dos cursos.
- Na DataCamp, apoiamos contribuições open source. Membros atuais e anteriores do time contribuíram para o pacote infer tanto no tempo livre quanto no trabalho: Chester Ismay, Nick Solomon e Richie Cotton (fonte).
- Embora citado no artigo, não temos contratos de exclusividade com instrutores. A propriedade intelectual permanece com o instrutor.
- Reconhecemos que, por sermos uma empresa com fins lucrativos, tomamos decisões de forma diferente, mas sempre pensando no melhor para o aluno. Nossos incentivos estão totalmente alinhados à criação de materiais de alta qualidade, que influenciam diretamente o valor para nossos clientes. Por isso acompanhamos métricas tão detalhadas, como mencionado no artigo.
- Da mesma forma que a relação comercial com a DataCamp foi divulgada, consideramos que teria sido apropriado divulgar a relação comercial de um dos autores com a RStudio ao citar o LearnR, um pacote criado pelo time da RStudio.
- Sobre o artigo do BuzzFeed citado: a DataCamp encomendou uma revisão independente de terceiros sobre os eventos de outubro de 2017, conduzida por Anurima Bhargava, ex-integrante do Departamento de Justiça no governo Obama, e Pamela Coukos, da Working IDEAL. O relatório resultante foi tornado público e compartilhado online neste post no blog. Membros do Instructor Advisory Board (o “IAB”) (incluindo um dos autores do artigo) foram convidados a participar da revisão, assim como outras partes interessadas, incluindo membros da nossa comunidade de instrutores.
