De ontwikkelcyclus van certificeringen

Zowel op het niveau van ontwerp als implementatie volgen we een rigoureus proces om te bepalen welke competenties bij een bepaalde rol horen en hoe we die meten. We putten uit best practices in meting en psychometrie om elke certificering te ontwerpen en te implementeren. Daarnaast ondergaat elke live certificering een continu kwaliteitsborgingsproces om te garanderen dat elke certificering blijft voldoen aan de hoge kwaliteitsnormen waar we naar streven.

Ontwerp en ontwikkeling van certificeringen

Misschien vraag je je af hoe we de competenties bepalen die in elke certificering worden gemeten. Op basis van een eerste taak- en functieanalyse en gesprekken met experts in het veld, ontwikkelen we een gedetailleerde certificeringsspecificatie in overleg met ons adviserende certificeringspanel. Elke specificatie bevat gedetailleerde informatie over het doel en het publiek van de certificering, welke competenties worden gemeten en wat de specifieke examenstructuur van de certificering zal zijn. Wist je dat alle specificaties openbaar beschikbaar zijn? Je vindt ze hier:

• Data Analyst Associate
• Data Analyst Professional
• Data Scientist Associate
• Data Scientist Professional
• Data Engineer Associate

Het proces van itemschrijven

Voor elke certificering werken we samen met itemschrijvers die professionals in het vakgebied zijn. Zo zorgen we ervoor dat elk item de daadwerkelijke vaardigheden weerspiegelt die op de werkvloer worden verwacht. We hanteren een rigoureus beoordelingsproces voor items (zie Figuur 1 hieronder), waarbij items worden beoordeeld door andere itemschrijvers (SME-review), intern door ons certificeringscontentteam (interne review) en tot slot, vlak voordat ze klaar zijn om in een examen te worden gelanceerd. Voor zowel de getimede als de praktische examens zijn er gedetailleerde richtlijnen over hoe je items schrijft die specifiek zijn voor de gemeten competenties, welke taal je wel (of niet) gebruikt, enzovoort, om ervoor te zorgen dat alle items eerlijk zijn en vrij van bias.

Figuur 1. Het tweefasige beoordelingsproces van items.

Examens scoren

Heb je je ooit afgevraagd hoe de getimede en praktische examens werken en hoe ze worden gescoord? In de technische handleiding leggen we uit hoe we, voor de getimede examens, vertrouwen op itemresponstheorie en computer-gebaseerd adaptief testen om snel en nauwkeurig een schatting te krijgen van je vaardigheidsniveau in elk van de gemeten domeinen. Elke vraag die je in het examen krijgt, is inderdaad afgestemd op je huidige prestaties, waardoor we efficiënt kunnen bepalen of je het niveau hebt dat vereist is voor de certificering die je probeert te behalen. De score die je behaalt, wordt vervolgens vergeleken met een doelscore die je moet overtreffen om voor het examen te slagen. Deze score wordt berekend door honderden examens te simuleren van een hypothetische kandidaat die precies op het niveau zit dat we van onze kandidaten verwachten. Op basis van de verdeling van verwachte scores voor een gekwalificeerde kandidaat leiden we vervolgens een doelscore af die we gebruiken tijdens de getimede examens.

Kwaliteitsbewaking

We volgen continu kwaliteitsstatistieken voor alle getimede examens, waaronder de slagingspercentages en de betrouwbaarheid van elke itempool die in de getimede examens wordt gebruikt. Zo leveren we consequent betrouwbare beoordelingen van de domeinen waarvoor we certificeren.

Hoewel alle getimede examens automatisch worden gescoord, worden de praktische examens ofwel automatisch (Data Engineer Associate) of door menselijke beoordelaars gescoord. Om te zorgen dat de beoordeling betrouwbaar gebeurt, passen we een dubbel beoordelingsproces toe waarbij ongeveer 30% van de inzendingen door minstens twee beoordelaars wordt beoordeeld, ofwel beide externe beoordelaars of één externe en één interne beoordelaar. We vergelijken vervolgens hoe beide beoordelaars de rubric scoren, en bij onenigheid wordt een derde interne beoordelaar toegewezen om meningsverschillen weg te nemen. Dit proces creëert een continue feedbacklus voor beoordelaars, zodat zij consequent beoordelen aan de hand van de rubric en certificeringen toekennen aan kandidaten die aan de kwalificaties voldoen.

Nieuwsgierig wat je nog meer kunt vinden in onze technische handleiding? Neem een kijkje!