Im Sommer 2024 wurde die KI-Verordnung der EU veröffentlicht. Sie gilt in allen Mitgliedsstaaten der EU – und damit auch für die europäischen Hochschulen. Teils explizit, teils implizit regelt die Verordnung für bestimmte Sachverhalte, was auch in Studium und Lehre beim Einsatz Künstlicher Intelligenz zu beachten ist. Auch wenn viele Fragen noch offen sind: Es ist wichtig, sich jetzt mit dem Thema zu beschäftigen. Auch an den NRW-Hochschulen hat die Auseinandersetzung mit dem Thema daher begonnen.
Hintergrund
Der große Knall – die Veröffentlichung von ChatGPT am 30.11.2022 – stellte an Hochschulen vor allem auch eine große rechtliche Frage in den Raum, einfach gesprochen: Darf man das? Dürfen beispielsweise Studierende generative KI verwenden, wenn sie eine Hausarbeit schreiben? Dürfen Lehrende generative KI verwenden, um Prüfungen zu bewerten?
Ein Meilenstein für die Beantwortung dieser Fragen war das erste Rechtsgutachten von KI:edu.nrw, das im Frühjahr 2023 erschien. Die Antworten dieses Gutachtens – gerade zu urheber- und prüfungsrechtlichen Fragen – sind weiterhin grundlegend und gültig. Seitdem sind allerdings weitere wichtige Beiträge hinzugekommen, nicht zuletzt auch durch Rechtsprechung. Hervorzuheben ist hierzu ein (nicht unumstrittenes) Urteil eines bayrischen Gerichts, in dem der KI-Betrugsverdacht gegen einen Studenten verhandelt wurde. Jüngst standen dann Rechtsfragen zur Bereitstellung von KI-Tools durch Hochschulen im Mittelpunkt.
In diesem Umfeld setzt die KI-Verordnung (KIVO) der EU nun einen neuen Akzent. Da eine Verordnung der EU unmittelbar für alle Mitgliedsländer der Staatengemeinschaft gilt, ändern sich auch in Deutschland die rechtlichen Rahmenbedingungen.
Lesetipp
Wissenswertes und das FAQ rund um den Einsatz von Generativer KI in Studium und Lehre hier bei uns an der RUB und Infos zur Einführung von GPT@RUB finden Sie auf unserer Themenseite.
Überblick
Die KIVO – das ist auf den ersten Blick vor allem ein ziemlich langer Text. Kaum hat man die Datei geöffnet, möchte man sie am liebsten wieder schließen: 144 Seiten Rechtstext lassen grüßen. Aber es hilft nichts, denn auch jetzt veröffentlichte Online-Lesehilfen entbinden Hochschulen nicht davon, sich mit der vollständigen Verordnung auseinanderzusetzen. Also genauer hingeschaut: Der Text gliedert sich in drei wesentliche Bestandteile, nämlich in eine ausführliche Begründung (44 Seiten), den Hauptteil (mit 113 Artikeln) sowie 13 Anhänge.
Der Zweck der Verordnung wird gleich zu Beginn erläutert: Demnach ist das Ziel ein einheitlicher Rechtsrahmen in der EU u.a. mit Blick auf die Entwicklung, Inbetriebnahme und Verwendung von KI-Systemen. Zudem geht es darum, Vorschriften für besonders riskante KI-Anwendungen zu setzen.
Tatsächlich ist der so genannte risikobasierte Ansatz die DNA der Verordnung. Während es KI-Systeme gibt, die als unkritisch gelten, bewertet die Verordnung andere Anwendungen als so kritisch, dass sie ausdrücklich verboten werden – so z.B. Social Scoring-Systeme, wie man sie z.B. aus China kennt. Besondere Aufmerksamkeit gilt dann den sog. Hochrisiko-Anwendungen. Dies sind KI-Anwendungen, die sich negativ auf Grundrechte der Menschen auswirken können. Sollen sie von Institutionen angeboten oder betrieben werden, so macht die KIVO dafür detaillierte Vorgaben (z.B. Pflichten zu Transparenz oder menschlicher Aufsicht). Dies ist auch der Knackpunkt für Hochschulen: Wenn sie KI in Studium und Lehre anbieten oder betreiben, müssen sie genau hinschauen, welcher Risikoklasse ein System zuzuordnen ist, und die entsprechenden Vorgaben beachten. Dies gilt auch beim Einsatz sog. „General Purpose AI“, d.h. von allgemeinen Modellen, die als Grundlage spezifischer Einsatzszenarien genutzt werden kann (wie z.B. im Fall der KI-Modelle von OpenAI).
Explizit hochschulbezogene Regelungen
Schaut man genauer auf die Verordnung, ist zunächst wichtig zu verstehen, für wen sie gilt – und für wen nicht. Art. 2 der KIVO stellt die Adressaten klar: Es geht insbesondere um Anbieter und Betreiber von KI-Anwendungen in der EU. Da beispielsweise Studierende normalerweise keine Anbieter und Betreiber von KI sind, sind sie nicht adressiert und die KIVO ändert nichts daran, wie sie KI zum Lernen nutzen. Ebenso ändert sich beispielsweise nichts für Lehrende, die von anderer Stelle bereitgestellte KI-Tools nutzen, um Lehrmaterial zu erstellen.
Ebenfalls nicht betroffen ist in Hochschulen die Forschung zu KI-basierten Unterstützungssystemen für Studium und Lehre. Dies regelt Art. 2 Abs. 6 der KIVO, wo es heißt: „Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.“ Dieses Vorgehen ist auf einer Linie mit Wissenschaftsprivilegien, wie sie auch die DSGVO kennt.
So wie im Privileg, ist die KIVO auch explizit im Verbot. Ausdrücklich untersagt ist beispielsweise die Nutzung von KI „zur Ableitung von Emotionen einer natürlichen Person (…) in Bildungseinrichtungen“ (Art. 5 Abs. 1f). Damit ist beispielsweise die in manchen Ländern verfolgte Idee, in Vorlesungen KI-unterstützt die Aufmerksamkeit der Studierenden zu erfassen und nötigenfalls den Vortrag situativ anzupassen, in EU-Ländern vom Tisch.
Zwar nicht ausdrücklich an sie gerichtet, aber doch auch für Hochschulen von hoher Bedeutung ist der Art. 4 der Verordnung: Hier wird geregelt, dass Anbieter und Betreiber von KI-Systemen für ihr Personal sicherstellen müssen, dass es „über ein ausreichendes Maß an KI-Kompetenz“ verfügt. In diesem Artikel steckt also ein umfangreicher Fortbildungsauftrag.
Hochrisiko-KI in Studium und Lehre
Besonders viel Aufmerksamkeit erfordert von den Hochschulen das Thema Hochrisiko-KI. Anwendungen, die als hochriskant eingestuft sind, sind nicht unbedingt verboten. Für sie gelten aber besonders hohe Anforderungen zum Risikomanagement, beispielsweise mit Blick auf Transparenz, Dokumentation und menschliche Kontrolle. Angesichts des Aufwands, den die KIVO hier vorsieht, werden Hochschulen sich sehr gut überlegen, Hochrisiko-Anwendungen nachzuhalten.
Die KIVO nennt ausdrücklich Hochrisiko-Systeme im Bildungsbereich. Betroffen sind solche KI-Anwendungen, die Zulassung, Leistungsbewertung, die Bewertung des Bildungsniveaus sowie die Überwachung in Prüfungen betreffen. Leistungsbewertung ist auch dann gegeben, wenn ein System den Lernprozess steuern soll (Art. 6 Abs. 2 iVm Anhang III Punkt 3; vgl. Punkt 56 der Begründung).
Kritisch sind in diesem Lichte also KI-Anwendungen, die ausdrücklich zur Bewertung von Prüfungsleistungen gedacht sind. Kritisch kann aber auch der Einsatz von KI mit Allgemeinem Verwendungszweck (also z.B. die von Open AI bekannten generativen Sprachmodelle hinter ChatGPT) zur Bewertung von Prüfungen sein. Sehen Hochschulen solche Einsatzszenarien vor, müssen sie die rechtlichen Vorgaben dafür beachten (mit dieser Problematik beschäftigt sich ausführlicher dieser Text von Schwartmann u.a.).
Wie es weitergeht
Hochschulen müssen die Vorgaben der KIVO nun schrittweise beachten und umsetzen. Das Verbot bestimmter Anwendungen gilt schon ab dem 02.05.2025, die Regelungen zu KI mit allgemeinem Verwendungszweck ab dem 02.08.2026 und wesentliche Vorschriften für Hochrisiko-KI dann ab August 2026.
Die vorstehenden Ausführungen deuten den Kreis der Themen und Fragen, die in diesem Zeitrahmen für Studium und Lehre geklärt werden müssen, lediglich an. Eine erste Abfrage im Rahmen des KI-Updates vom Projekt KI:edu.nrw, das am ZfW koordiniert wird, hat eine beträchtliche Zahl an Unklarheiten aufgezeigt. Beispiele sind:
Was ist damit gemeint, wenn Leistungsbewertung als Hochrisiko-Szenario gilt – geht es nur um summative Prüfungen oder auch schon um die rechtlich folgenlose Bewertung von Übungsaufgaben?
Was ist im Lichte der KIVO zu beachten, wenn KI-unterstützte Plagiatssoftware externer Anbieter eingesetzt wird?
Welche Folgen ergeben sich aus der KIVO für Vorhaben zur hochschul- oder sogar landesweiten Bereitstellung generativer KI?
Wie kann das Fortbildungserfordernis aus Art. 4 hinreichend umgesetzt werden?
Für die exakte Beantwortung derartiger Fragen werden im Jahr 2025 ergänzende Informationen von der EU erwartet.
Blick auf NRW
In NRW ist die erste Anlaufstelle für Hochschulen in diesem Kontext die Rechtsinformationsstelle zum E-Learning von ORCA.nrw. Aber auch aus unserem Projekt KI:edu.nrw heraus planen wir derzeit Aktivitäten, um die Hochschulen zu unterstützen. Zwei sind hervorzuheben:
Symposium: Für Februar 2025 planen wir ein Symposium über Rechtsfragen zum KI-Einsatz in Studium und Lehre, das sich an Rechtsexpert*innen richtet (z.B. Justiziar*innen, Datenschutzbeauftragte). Die Veranstaltung wird in Kooperation mit dem Projekt KI-NEL sowie mit der Rechtsinformationsstelle von ORCA.nrw stattfinden.
Rechtsgutachten: Für den weiteren Jahresverlauf 2025 planen wir im Projekt KI:edu.nrw eine Neuauflage unseres oben erwähnten Rechtsgutachtens zu generativer KI. Hierfür werden wir u.a. auf das Symposium aufbauen sowie im Austausch mit den anderen NRW-Hochschulen einen Fragenkatalog erstellen.
Weiterführende Informationen
Aktuelle Fragen zu Didaktik, Technik, Recht uvm. rund um KI in Studium und Lehre an NRW-Hochschulen beleuchten wir immer am letzten Montag im Monat im KI-Update NRW von KI:edu.nrw.
Kommentare
Neuigkeiten aus dem ZfW per E-Mail erhalten
Peter Salden
Dr. Peter Salden leitet das Zentrum für Wissenschaftsdidaktik der Ruhr-Universität Bochum.
Alle Schlagwörter
5x5000
AIStuddyBuddy
Aus dem Netzwerk
BNE@RUB
Didaktik-Tipp
DigitalChangeMaker
Digitalisierung
eTeam Digitalisierung
Fachtag
Feed
Für Studierende
Game Based Learning
GeFo DL
Generative Technologien
GPT@RUB
Hausarbeiten schreiben
HD-Absolvent*innen im Interview
Hochschuldidaktische Qualifizierung
In eigener Sache
Internationalisierung
Jahresrückblick
KI-NEL
KI-Tools
KI:edu.nrw
Learning AID
LEHRELADEN
Lehrflächen der Zukunft
Lesen und Recherchieren
Methoden-Tipp
Moodle
Nachhaltigkeit
Net[t]working
Open Access
Open Educational Resources
Open Science
Optionalbereich
Prüfen
Recht
Schreibcafé
Schreiben an der Uni
Schreibmaschine
Schreibtipps
Schreibtutor*innen
STAFF-DEV
Storytelling
Themenreihe
Tool-Tipp
Ukraine
UNIC
