O ciclo de desenvolvimento da certificação

Tanto na etapa de design quanto na de implementação, seguimos um processo rigoroso para definir quais competências pertencem a cada função e como vamos medi-las. Aplicamos as melhores práticas de mensuração e psicometria para projetar e implementar cada certificação. Além disso, toda certificação ativa passa por um processo contínuo de garantia de qualidade para assegurar que cada uma se mantenha no alto padrão que buscamos.

Design e desenvolvimento da certificação

Você já se perguntou como definimos as competências avaliadas em cada certificação? Com base em uma análise inicial de tarefas do cargo e entrevistas com especialistas da área, desenvolvemos uma especificação detalhada da certificação em consulta com nosso painel consultivo de certificação. Cada especificação traz informações detalhadas sobre o propósito e o público da certificação, quais competências serão avaliadas e qual será a estrutura específica do exame. Sabia que todas as especificações são públicas? Você encontra aqui:

• Data Analyst Associate
• Data Analyst Professional
• Data Scientist Associate
• Data Scientist Professional
• Data Engineer Associate

O processo de elaboração de itens

Para cada certificação, trabalhamos junto com autores de itens que são profissionais da área. Assim, garantimos que cada questão reflita as habilidades realmente exigidas no dia a dia. Temos um rigoroso processo de revisão de itens (veja a Figura 1 abaixo), no qual as questões são revisadas por outros autores (revisão de especialistas), internamente pela nossa equipe de conteúdo de certificação (revisão interna) e, por fim, imediatamente antes de entrarem no exame. Tanto para os exames cronometrados quanto para os práticos, existem diretrizes detalhadas sobre como escrever itens específicos das competências avaliadas, qual linguagem usar (ou evitar) etc., para assegurar que todos os itens sejam justos e livres de vieses.

Figura 1. O processo de revisão de itens em duas etapas.

Pontuação dos exames

Já se perguntou como funcionam os exames cronometrados e práticos e como são pontuados? No manual técnico, explicamos que, para os exames cronometrados, utilizamos a teoria da resposta ao item e testes adaptativos computadorizados para obter uma estimativa rápida e precisa do seu nível de habilidade em cada domínio avaliado. Na prática, cada pergunta do exame é ajustada ao seu desempenho no momento, permitindo determinar com eficiência se você está no nível exigido para a certificação que deseja conquistar. Sua pontuação é então comparada a uma meta que você precisa superar para ser aprovado. Essa meta é calculada simulando centenas de exames de um candidato hipotético exatamente no nível esperado. Com base na distribuição das pontuações esperadas para um candidato qualificado, derivamos a pontuação de corte usada nos exames cronometrados.

Monitoramento de qualidade

Acompanhamos continuamente métricas de qualidade de todos os exames cronometrados, incluindo taxas de aprovação e a confiabilidade de cada banco de itens utilizado. Assim, garantimos avaliações consistentes e confiáveis dos domínios que certificamos.

Enquanto todos os exames cronometrados são corrigidos automaticamente, os exames práticos são pontuados de forma automática (Data Engineer Associate) ou por avaliadores humanos. Para garantir a confiabilidade, aplicamos dupla avaliação em aproximadamente 30% das entregas, por pelo menos dois avaliadores — ambos externos ou um externo e um interno. Em seguida, comparamos como cada avaliador preencheu a rubrica e, em caso de divergência, um terceiro avaliador interno é acionado para resolver o impasse. Esse processo cria um ciclo contínuo de feedback para assegurar que a correção siga a rubrica de forma consistente e que as certificações sejam concedidas a candidatos que atendem aos critérios.

Ficou curioso para saber o que mais você encontra no nosso manual técnico? Acesse e confira!