KI-robuste(re) Prüfungen: Zehn Schritte

Beitragsbild: KI-robuste(re) Prüfungen: Zehn Schritte
Prüfungen können „KI-robust(er)“ gestaltet werden, selbst die klassischen schriftlichen Prüfungen wie Klausuren und Seminararbeiten. Die Frage ist nur: Wie gelingt das? Im ZfW haben wir dafür einen Zehn-Schritte-Plan konzipiert, der Lehrenden eine strukturierte Reflexions- und Überarbeitungshilfe gibt, und der sowohl von Lehrenden als auch von didaktisch beratenden Menschen genutzt werden kann. In diesem Blogbeitrag stellen wir Ihnen diesen Plan vor.
Die Autorinnen dieses Beitrags
Nadine Lordick arbeitet seit 2022 als Mitarbeiterin am ZfW und beschäftigt sich mit der Verwendung von „KI“ in der Lehre. Dafür berät sie Lehrende, Fakultäten und andere Einrichtungen, gibt Workshops, hält Vorträge und publiziert. Nach ihrer Arbeit im Projekt KI:edu:nrw ist sie seit Juli im Nachfolgeprojekt KI:Expertisezentrum:nrw tätig.
Julia Becker arbeitet im ZfW in der Hochschuldidaktik und ist dort für den Bereich „Prüfen und Bewerten“ und die Beratung zur studentischen Lehrveranstaltungsbewertung verantwortlich. Außerdem verantwortet sie die Plattform LEHRELADEN, auf wir wissenschaftlich fundierte Beiträge zu hochschuldidaktischen Themen, konkrete (methodische) Tipps und Praxisbeispielen aus der RUB veröffentlichen. Nadine Lordick und Julia Becker arbeiten zum Thema „KI und Prüfungen“ zusammen und geben dazu im hochschuldidaktischen Qualifizierungsprogramm Workshops für Lehrende.

Das Konzept

Der Hintergrund

Die rasante Entwicklung und Verbreitung generativer Technologien stellt die Lehre weiterhin vor Herausforderungen, insbesondere im Bereich der Prüfungsgestaltung. Die Lösung liegt weder in der kompletten Abschaffung einzelner Prüfungsformate noch im generellen Verbot der Nutzung von Large Language Modells (LLM) und anderer generativer Technologien. Vielmehr ist es aus didaktischer Sicht sinnvoll, Prüfungsformate fortlaufend so anzupassen, dass sie mit den Entwicklungen Schritt halten. Die Weichen dafür können Lehrende bereits in der Festlegung von Lernzielen stellen und den Weg bis zur Beurteilung von Prüfungsleistungen konsequent verfolgen.

Das Vorgehen

Unsere Schritt-für-Schritt-Anleitung startet folglich damit, die Lernziele der Lehrveranstaltung und damit auch der Prüfung zu explizieren. Daraus lässt sich ableiten, was im Fokus der Bewertung stehen soll: Ergebnis, Lernzuwachs oder Prozess. Denn in Prüfungen bewerten wir die Fähigkeit der Studierenden, wissenschaftlich zu handeln. Was heißt das genau? Die Klärung der Ziele, sprich „Was genau sollen die Studierenden eigentlich lernen?“ ist zentral für die Formulierung von Kompetenzanforderungen. Daraus können in einem weiteren Schritt passende Kriterien zur Beurteilung ausgewählt werden, und z. B. in Form von Kriterienrastern operationalisierbar gemacht werden. Und wenn es um Bewertungskriterien geht, lohnt sich ein Blick auf die Fehlertoleranz. Wie hoch ist diese?

Aus der Reflexion dieser Aspekte stellen sich weitere Fragen, gerade weil die Möglichkeiten der Unterstützung durch generative Technologien („KI“) groß sind: Welche Rolle spielen Hilfsmittel in der Prüfungsleistung und wie können diese ggf. gekennzeichnet werden?

„Wir empfehlen als expliziten Schritt die Reflexion darüber, wie es um das Verhältnis von Kontrolle zu Vertrauen steht.“

Daraus ergibt sich eine weitere Ebene der Reflexion, die im voll gepackten Lehr-Alltag gerne in den Hintergrund gerät: Wir empfehlen als expliziten Schritt die Reflexion darüber, wie es um das Verhältnis von Kontrolle zu Vertrauen steht. Es gibt hier – wie auch bei den anderen Punkten – kein Richtig oder Falsch. Vielmehr sehen wir Kontrolle und Vertrauen als Pole eines Kontinuums, auf dem sich Prüfende bewegen. Es geht darum sich bewusst zu machen, wo auf diesem Kontinuum die jeweilige Prüfung verortet ist und sein soll. Für „KI-robuste(re)“ Prüfungen spielt zudem eine Rolle, wie Lehrende ein ausgewogenes Verhältnis zwischen Kontrolle und Vertrauen finden können, das sowohl die Integrität der Prüfungen als auch die Motivation und Selbstständigkeit der Studierenden fördert.

Möglicherweise ergibt sich aus der Reflexion die Feststellung, dass ein anderes Prüfungsformat geeigneter ist (und zur Prüfungsordnung und den Modulanforderungen passt, oder hier der Nachbesserungsbedarf besteht), oder dass die entscheidenden Stellschrauben an anderer Stelle liegen.

Die Erfahrungen

Im ZfW setzen wir den Reflexionsbogen in Workshops des hochschuldidaktischen Qualifizierungsprogramms (die Sie als RUB-Lehrende übrigens kostenlos besuchen können) und in Beratungen ein. Dabei haben wir festgestellt, dass viele Lehrende mit der strukturierten Reflexion sehr gut zurechtkommen, und oft die Lernziele ihrer Lehrveranstaltungen dadurch angeregt überarbeiten.
„Es geht wie so oft nicht darum, dass Lehrende alles perfekt machen.“

Manchmal führt der Einsatz des Reflexionsbogens auch zu vorübergehendem Frust, weil der persönliche Anspruch einer Lehrperson an die Prüfung nicht mit der Realität übereinstimmt. Dann sind Nachbesserungen möglich. Ein Beispiel aus der RUB: In einer Prüfung war die Fehlertoleranz aufgrund einer automatisierten Auswertung von Antworten im E-Prüfungssystem gleich Null. Weil das nicht den Lernzielen entsprach, denken die Verantwortlichen jetzt darüber nach, Antworten wieder manuell auszuwerten und so eine gewisse Fehlertoleranz zu ermöglichen, was wiederum besser zu den Lernzielen der Veranstaltung passen würde. Erst die angeleitete Reflexion führte zu dieser Erkenntnis.

Es geht, wie so oft, nicht darum, dass Lehrende alles perfekt machen. Summative Prüfungen erzeugen aufgrund ihrer Herrschafts- und Sozialisierungs- bzw. Rekrutierungsfunktionen stets ein Spannungsfeld. Gerade deshalb ist es wichtig, sich die unterschiedlichen Aspekte einer Prüfung auch auf einer Metaebene anzuschauen und zu reflektieren. Da es keine pauschalen Antworten auf die Frage gibt, wie Prüfungen in Zeiten generativer Technologien gestaltet sein sollten, soll den Prüfenden so die Möglichkeit gegeben werden, ein Format zu entwickeln, das für sie umsetz- und vertretbar ist – trotz aller Unsicherheit, die weiterhin bestehen bleibt. Obwohl Prüfungsordnungen, Rahmenbedingungen und vorhandene Ressourcen Grenzen bei der Wahl der Prüfungsformate setzen, können die Lehrenden Spielräume nutzen, Prüfungen – ausgehend von den Lernzielen – möglichst sinnvoll zu gestalten.

Der Zehn-Schritte-Plan
Die ausgeführten Schritte im Überblick:
  1. Prüfungsform (Klausur, Hausarbeit, mündliche Prüfung)
  2. Lernziele
  3. Bewertung (Ergebnis, Lernzuwachs, Prozess; Fehlertoleranz)
  4. Vergleichbarkeit (Kriterienraster, Musterlösung, Kennzeichnung LLM, Sonstiges)
  5. Bewertungskriterien
  6. Passung Bewertungskriterien und Lernziele (ja, jein, nein)
  7. Leistung Studierender
  8. Hilfsmittel & Kennzeichnung von Hilfsmitteln
  9. Kontrolle bis Vertrauen
  10. alternative Prüfungsformen für Lernziele
Das Vorgehen haben die ZfW-Mitarbeiterinnen Nadine Lordick und Julia Becker übrigens beim diesjährigen E-Prüfungs-Symposium an der Universität Freiburg erstmals einer großen Fach-Öffentlichkeit vorgestellt. Das Schritt-für-Schritt-Vorgehen ist auch Teil von Workshops zu „KI“ und Prüfen im hochschuldidaktischen Qualifizierungsprogramm.
Interessiert? Dann gibt es hier weitere Informationen

Wenn Sie den Reflexionsbogen selbst nutzen möchten, können Sie sich ihn hier herunterladen. Als RUB-Lehrende*r können Sie sich damit auch gerne an uns wenden, um gemeinsam zu überlegen, wie sich eine Prüfung mit „KI“ so anpassen lässt, dass sie besser zu den Lernzielen passt.

Als didaktisch beratende Person können Sie den Bogen gerne für Ihre Angebote nutzen, er ist lizensiert mit Creative Commons-Lizenz cc-by-sa (Namensnennung - Weitergabe unter gleichen Bedingungen) 4.0 International. Und wir freuen uns über Erfahrungsberichte!

Auf unserer Plattform LEHRELADEN finden Sie mit dem Thema „KI und Prüfen“ verwandte weiterführende Artikel. Schauen Sie doch mal vorbei:

Nadine Lordick

Nadine Lordick

Stabsstelle Strategische Lehrprojekte


+49 234 32 28646
FNO 02/32
nadine.lordick@rub.de
Zur Person
Handlungsfeld Kompetenz im KI:Expertisezentrum.nrw
Bildnachweis: Pexels.com

Neuigkeiten aus dem ZfW per E-Mail erhalten

Image
ZfW
Hier bloggt das Team des ZfW.

RSS-Feed