Der Entwicklungszyklus einer Zertifizierung

Sowohl in der Konzeption als auch in der Umsetzung folgen wir einem strengen Prozess, um festzulegen, welche Kompetenzen zu einer bestimmten Rolle gehören und wie wir sie messen. Wir orientieren uns an Best Practices aus Messmethodik und Psychometrie, um jede Zertifizierung zu gestalten und umzusetzen. Außerdem durchläuft jede aktive Zertifizierung einen kontinuierlichen Qualitätssicherungsprozess, damit sie dauerhaft unseren hohen Qualitätsansprüchen gerecht wird.

Konzeption und Entwicklung der Zertifizierung

Du fragst dich, wie wir die in jeder Zertifizierung gemessenen Kompetenzen bestimmen? Auf Basis einer initialen Aufgabenanalyse und Gesprächen mit Fachexpertinnen und -experten entwickeln wir in Abstimmung mit unserem Zertifizierungsbeirat eine detaillierte Zertifizierungsspezifikation. Jede Spezifikation enthält genaue Informationen zu Zweck und Zielgruppe der Zertifizierung, zu den gemessenen Kompetenzen und zum konkreten Prüfungsaufbau. Wusstest du, dass alle Spezifikationen öffentlich zugänglich sind? Du findest sie hier:

• Data Analyst Associate
• Data Analyst Professional
• Data Scientist Associate
• Data Scientist Professional
• Data Engineer Associate

Der Item-Writing-Prozess

Für jede Zertifizierung arbeiten wir mit Item-Autorinnen und -Autoren zusammen, die Profis in ihrem Fachgebiet sind. So stellen wir sicher, dass jedes Item die tatsächlichen Anforderungen im Job widerspiegelt. Wir haben einen strengen Item-Review-Prozess (siehe Abbildung 1 unten), bei dem Items von anderen Autorinnen und Autoren (SME-Review), intern von unserem Zertifizierungs-Content-Team (interne Prüfung) und abschließend kurz vor der Veröffentlichung im Examen geprüft werden. Für zeitbegrenzte und praktische Prüfungen gibt es detaillierte Richtlinien, wie Items passend zu den gemessenen Kompetenzen formuliert werden, welche Sprache verwendet (oder vermieden) wird usw., damit alle Items fair und frei von Bias sind.

Abbildung 1. Der zweistufige Item-Review-Prozess.

Bewertung der Prüfungen

Hast du dich schon einmal gefragt, wie die zeitbegrenzten und praktischen Prüfungen funktionieren und wie sie bewertet werden? Im technischen Handbuch erklären wir, wie wir bei den zeitbegrenzten Prüfungen auf Item-Response-Theory und computergestütztes adaptives Testen setzen, um schnell und präzise dein Kompetenzniveau in den jeweiligen Domänen zu schätzen. Jede Frage im Examen wird dabei auf deine aktuelle Leistung zugeschnitten, sodass wir effizient feststellen können, ob du das Niveau für die angestrebte Zertifizierung erreichst. Deine erzielte Punktzahl wird anschließend mit einer Zielpunktzahl verglichen, die du übertreffen musst, um die Prüfung zu bestehen. Diese Zielpunktzahl wird berechnet, indem Hunderte von Prüfungen eines hypothetischen Kandidaten simuliert werden, der exakt dem erwarteten Niveau entspricht. Auf Basis der Verteilung der erwarteten Ergebnisse für qualifizierte Kandidaten leiten wir dann eine Zielpunktzahl für die zeitbegrenzten Prüfungen ab.

Qualitätsmonitoring

Wir verfolgen kontinuierlich Qualitätskennzahlen für alle zeitbegrenzten Prüfungen, darunter Bestehensquoten und die Reliabilität jedes in den Prüfungen verwendeten Item-Pools. So stellen wir konsistente und verlässliche Beurteilungen der von uns zertifizierten Domänen sicher.

Während alle zeitbegrenzten Prüfungen automatisch bewertet werden, werden die praktischen Prüfungen entweder automatisch (Data Engineer Associate) oder von menschlichen Bewertenden benotet. Um eine verlässliche Bewertung sicherzustellen, setzen wir ein Double-Grading ein, bei dem etwa 30% der Einreichungen von mindestens zwei Bewertenden beurteilt werden – entweder von zwei externen Bewertenden oder von einer externen Person und einer internen Person. Anschließend vergleichen wir die Bewertungen anhand der Bewertungsrubrik, und bei Unstimmigkeiten wird eine dritte interne Bewertung hinzugezogen, um Differenzen aufzulösen. Dieser Prozess schafft eine kontinuierliche Feedback-Schleife, damit alle Bewertenden konsistent entlang der Rubrik beurteilen und Zertifizierungen an Kandidatinnen und Kandidaten vergeben, die die Anforderungen erfüllen.

Neugierig, was du sonst noch in unserem technischen Handbuch findest? Schau es dir an!