Le cycle de développement des certifications

Tant au niveau de la conception que de la mise en œuvre, nous suivons un processus rigoureux pour déterminer quelles compétences relèvent d’un rôle donné et comment les évaluer. Nous nous appuyons sur les meilleures pratiques en mesure et en psychométrie pour élaborer et déployer chaque certification. Par ailleurs, chaque certification en production fait l’objet d’un contrôle qualité continu afin de garantir qu’elle reste au niveau d’exigence que nous visons.

Conception et développement des certifications

Vous vous êtes peut‑être demandé comment nous déterminons les compétences évaluées dans chaque certification. À partir d’une analyse initiale des tâches métier et d’entretiens avec des experts du domaine, nous élaborons un cahier des charges détaillé en concertation avec notre comité consultatif des certifications. Chaque spécification décrit précisément l’objectif et le public de la certification, les compétences évaluées et la structure exacte des épreuves. Saviez‑vous que toutes ces spécifications sont publiques ? Vous pouvez les consulter ici :

• Data Analyst Associate
• Data Analyst Professional
• Data Scientist Associate
• Data Scientist Professional
• Data Engineer Associate

Le processus de rédaction des items

Pour chaque certification, nous collaborons avec des auteurs d’items, professionnels du secteur. Cela garantit que chaque question reflète les compétences réellement attendues sur le terrain. Nous appliquons un processus d’examen rigoureux des items (voir figure 1 ci‑dessous) : relecture par d’autres auteurs (revue d’experts métiers), relecture interne par notre équipe contenu certification, puis validation finale avant leur intégration à l’examen. Pour les épreuves chronométrées comme pour les épreuves pratiques, des lignes directrices détaillées précisent comment rédiger des items en lien avec les compétences évaluées, le langage à privilégier (ou à éviter), etc., afin d’assurer l’équité et l’absence de biais.

Figure 1. Processus de relecture des items en deux étapes.

Notation des examens

Vous vous êtes déjà demandé comment fonctionnent les épreuves chronométrées et pratiques et comment elles sont notées ? Dans le manuel technique, nous expliquons que, pour les épreuves chronométrées, nous recourons à la théorie de la réponse à l’item et aux tests adaptatifs informatisés afin d’estimer rapidement et précisément votre niveau de compétence dans chaque domaine évalué. Concrètement, chaque question posée pendant l’examen s’adapte à vos performances du moment, ce qui nous permet de déterminer efficacement si vous atteignez le niveau requis pour la certification visée. Votre score est ensuite comparé à un seuil à dépasser pour réussir l’épreuve. Ce seuil est calculé en simulant des centaines d’examens d’un candidat hypothétique situé exactement au niveau attendu. À partir de la distribution des scores attendus pour un candidat qualifié, nous en déduisons le score cible utilisé lors des épreuves chronométrées.

Suivi de la qualité

Nous suivons en continu des indicateurs de qualité pour toutes les épreuves chronométrées, notamment les taux de réussite et la fiabilité de chaque banque d’items utilisée. Ainsi, nous fournissons de manière constante des évaluations fiables sur les domaines que nous certifions.

Si toutes les épreuves chronométrées sont notées automatiquement, les épreuves pratiques sont, selon les cas, notées automatiquement (Data Engineer Associate) ou évaluées par des correcteurs. Pour garantir la fiabilité de la notation, nous appliquons une double correction : environ 30 % des copies sont évaluées par au moins deux correcteurs, soit deux correcteurs externes, soit un correcteur externe et un correcteur interne. Nous comparons ensuite leurs notations et, en cas de divergence, un troisième correcteur interne tranche. Ce dispositif crée une boucle de rétroaction continue pour s’assurer que les correcteurs appliquent de manière cohérente le barème et que les certifications sont attribuées aux candidats qui répondent aux exigences.

Vous voulez en savoir plus sur le contenu de notre manuel technique ? Allez y jeter un œil !