KI:edu.nrw-Themenreihe: “Das machen wir bisher nach Bauchgefühl.” – Ein Praxisbericht zur Entwicklung und Evaluation eines Dashboards zur Aufgabenschwierigkeit

Vortrag

Gibt es Aufgaben in meinen Prüfungen, die schwerer sind, als ich beabsichtige? Schneidet ein bestimmtes Thema oder ein bestimmter Aufgabentyp tatsächlich schlechter ab?

Zur Qualitätssicherung von Prüfungsfragen stehen Lehrenden bislang kaum Werkzeuge zur Verfügung, die prüfungsübergreifende Kennwerte zu einzelnen Aufgaben darstellen. Für das RWTH-ePrüfungssystem Dynexite haben wir daher ein Dashboard entwickelt, das Lehrenden Einblicke in die Schwierigkeit ihrer Aufgaben ermöglicht. Die technische Infrastruktur dafür stellt die Learning-Analytics-Software POLARIS bereit, die im Projekt KI:edu.nrw entwickelt wird.

In diesem Vortrag berichten wir über den Entwicklungsprozess des Dashboards: von ersten Anforderungsanalysen über Wireframes und einen technischen Prototypen, einem Workshop in der letzten KI:edu.nrw-Themenreihe, Nutzungstests und Interviews mit Lehrenden bis hin zu einem umfangreichen Dashboard, das inzwischen allen Lehrenden an der RWTH zur Verfügung steht.

Lernziele

Nach dem Vortrag sind die Teilnehmenden in der Lage,

• die Herausforderungen von Prüfenden bei der Qualitätssicherung von Aufgaben zu nennen,

• verschiedene Methoden in der Entwicklung und Evaluation eines Dashboards zu beschreiben und

• die Potenziale und Grenzen der Aufgabenschwierigkeit als Kennzahl in der Qualitätssicherung von Prüfungen zu diskutieren.

Zielgruppe: Lehrende der Mitgliedshochschulen der DH.nrw

Referent*innen: Laura Platte, Martin Breuer aus dem Teilprojekt Learning Analytics

Eine Anmeldung ist bis unmittelbar vor Veranstaltungsbeginn möglich.

Veranstaltet wird die Themenreihe vom Projekt KI:edu.nrw.

Eine Übersicht über alle Themen und Termine finden Sie hier: https://ki-edu-nrw.rub.de/themenreihe2026