Prüfungsaufgaben mit KI testen

Das Problem

Frau Keller entwickelt eine Prüfung für ein Hochschulmodul. Die Aufgabe soll zeigen, ob Studierende einen Fall beurteilen können. Beim Probieren liefert die KI jedoch eine überzeugende Antwort, obwohl sie weder die Lehrveranstaltung besucht noch die vorgesehenen Unterlagen gelesen hat.

Nun liegt der Schluss nahe, die Aufgabe sei wertlos. Doch zuerst muss Frau Keller unterscheiden: Verlangt die Aufgabe tatsächlich eine begründete Entscheidung, oder belohnt das Bewertungsraster vor allem passende Schlagwörter? Ein Lernziel beschreibt, was Studierende am Ende selbst zeigen sollen; eine flüssige Antwort ist dafür noch kein Nachweis.

Ein KI-Probelauf ist deshalb ein Werkzeug zur Aufgabenprüfung. Sie untersuchen, welche Anforderungen die Aufgabe sichtbar macht und welche sie unbeabsichtigt umgehen lässt. Das Ergebnis hilft bei der Überarbeitung, sagt aber nichts Verlässliches über einzelne Studierende aus.

So lösen Sie es mit KI – Schritt für Schritt

1. Halten Sie das Lernziel fest. Öffnen Sie Ihre Aufgabenplanung und schreiben Sie einen beobachtbaren Satz: «Studierende vergleichen zwei Erklärungen anhand der Falldaten und begründen ihre Entscheidung.» Notieren Sie daneben, welche Leistung ohne KI erbracht werden muss. «Das Thema verstehen» ist als Ziel zu unbestimmt für diesen Test.
2. Erstellen Sie eine sichere Testfassung. Nutzen Sie eine erfundene Parallelaufgabe mit vergleichbarer Denkforderung. Eine geheime Originalprüfung laden Sie nur in eine dafür ausdrücklich freigegebene Umgebung. Entfernen Sie interne Angaben und prüfen Sie, ob beigefügte Texte überhaupt für diesen Einsatz verwendet werden dürfen.
3. Lassen Sie die Aufgabe unverändert bearbeiten. Öffnen Sie einen neuen Chat im freigegebenen Werkzeug und geben Sie nur die vorgesehenen Informationen ein. Verlangen Sie eine Antwort mit überprüfbaren Begründungen und benannten Annahmen. Speichern Sie Aufgabe, Eingabe und Ergebnis zusammen, damit Sie später nicht verschiedene Bedingungen vermischen.
4. Prüfen Sie die Antwort am Raster. Lösen Sie die Aufgabe zuerst selbst oder gemeinsam mit einer Fachkollegin. Markieren Sie dann, welche KI-Aussagen tatsächlich durch Falldaten gestützt sind. Unterscheiden Sie richtige Ergebnisse, tragfähige Argumente und bloss passende Fachwörter; diese können im selben Absatz nebeneinanderstehen.
5. Suchen Sie gezielt nach Abkürzungen. Lassen Sie in einem weiteren Durchlauf eine zentrale Information weg oder verändern Sie eine Voraussetzung. Bleibt die Antwort fast gleich, könnte Ihre Aufgabe zu wenig Bezug zum konkreten Fall verlangen. Das ist ein Prüfhinweis, noch kein Beweis für einen grundsätzlichen Aufgabenfehler.
6. Überarbeiten Sie die Denkforderung. Ergänzen Sie beispielsweise eine widersprüchliche Beobachtung, eine Auswahl zwischen Alternativen oder die Frage, unter welcher Bedingung die Entscheidung anders ausfallen würde. Erhöhen Sie die fachliche Tiefe, statt nur längere Texte oder seltene Formulierungen zu verlangen. Passen Sie das Raster gleichzeitig an.
7. Prüfen Sie die neue Fassung menschlich. Lassen Sie eine Kollegin die Aufgabe ohne Ihre Erläuterungen bearbeiten und die erwarteten Nachweise benennen. Planen Sie auch eine Erprobung mit Lernenden ausserhalb der benoteten Prüfung, sofern organisatorisch möglich. Erst deren Verständnis und Bearbeitung zeigen, ob Sprache, Zeitbedarf und Voraussetzungen zusammenpassen.

Vorlage zum Kopieren

Ich bin Dozentin und prüfe eine erfundene Parallelaufgabe.
Lernziel: [beobachtbare fachliche Leistung]
Aufgabe: [freigegebene Testfassung]
Erlaubte Hilfsmittel: [Liste]
Bewertungskriterien: [Kriterien]
Bearbeite die Aufgabe mit einer knappen, überprüfbaren Begründung.
Nenne verwendete Informationen und zusätzliche Annahmen getrennt.
Markiere Stellen, an denen Angaben fehlen.
Zeige anschliessend, welche Kriterien sich mit allgemeinen Aussagen
scheinbar erfüllen lassen, ohne die Falldaten wirklich auszuwerten.
Erfinde weder Quellen noch fehlende Daten.

Ersetzen Sie die Platzhalter durch eine Parallelaufgabe und führen Sie veränderte Testbedingungen jeweils in einem neuen Gespräch aus.

Was zeigt der Probelauf wirklich?

Ein stärkerer Prompt kann den Test verändern. Halten Sie deshalb fest, ob Sie einen einfachen Erstversuch oder eine angeleitete Überarbeitung untersuchen. Studierende haben ebenfalls unterschiedliche Erfahrung mit KI; ein einzelner Chat bildet diese Vielfalt nicht ab.

Worauf Sie achten müssen

• Verwenden Sie für die Vorbereitung erfundene Fälle oder ausdrücklich freigegebene Materialien. Personendaten von Studierenden sowie Schülerdaten aus Praxisprojekten gehören nicht in öffentliche KI-Dienste; Namen zu entfernen genügt bei wiedererkennbaren Situationen nicht.
• Prüfen Sie fachliche Aussagen, Quellen und vorgeschlagene Kriterien selbst. Eine KI kann plausible, aber falsche Angaben erzeugen; diese Fehler werden auch Halluzinationen genannt.
• Beachten Sie die Vorgaben Ihrer Hochschule und die zuständigen kantonalen Stellen. Lassen Sie rechtliche Fragen im Einzelfall fachlich prüfen, bevor aus einem Entwurf eine verbindliche Regel wird.
• Verwechseln Sie einen KI-Test nicht mit einer Täuschungserkennung. Daraus lässt sich weder eine Nutzungsquote noch die Herkunft späterer Antworten ableiten.
• Berücksichtigen Sie zugelassene Hilfsmittel, Leselast und sprachliche Voraussetzungen. Schwierige Formulierungen machen eine Aufgabe nicht automatisch anspruchsvoller im gewünschten Fach.

Ein Beispiel aus der Praxis

Ein fiktives Beispiel: Frau Keller unterrichtet an einer Schweizer Fachhochschule. Ihre Aufgabe verlangt, eine Massnahme zur Personalentwicklung zu empfehlen. Die KI liefert allgemeine Vorteile, die im bisherigen Raster bereits fast alle Kriterien berühren.

Frau Keller ergänzt widersprüchliche Rückmeldungen aus einem erfundenen Betrieb. Neu müssen Studierende angeben, welche Rückmeldung für ihre Entscheidung entscheidend ist und welche Information noch fehlt. Die Kollegin prüft die Aufgabe anschliessend auf Verständlichkeit. Aus einer allgemeinen Empfehlung wird eine begründete Abwägung; ob Studierende diese leisten können, zeigt erst ihre eigene Bearbeitung.

So hilft Ihnen Alpasana

Wenn Sie eine Prüfungsaufgabe mit KI auf Umgehungsmöglichkeiten prüfen, üben Sie im Online-Kurs Prompt Engineering, Aufträge in Schritte zu gliedern und Antworten systematisch zu prüfen. Datenschutz wird berücksichtigt; Lernziele, Beurteilung und Hochschulregeln verantworten weiterhin Sie.

Häufige Fragen

Muss ich mehrere KI-Werkzeuge vergleichen?

Für den Einstieg reicht ein klar dokumentierter Durchlauf mit gezielter Variation. Weitere Werkzeuge können zusätzliche Schwächen zeigen, bilden aber keinen vollständigen Belastungstest. Entscheidend ist, dass Sie aus jeder Beobachtung eine fachlich begründete Änderung ableiten.

Soll ich besonders ungewöhnliche Aufgaben erfinden?

Ungewöhnlichkeit allein ist kein Qualitätsmerkmal. Eine gute Aufgabe passt zu den geübten Denkhandlungen und verlangt eine nachvollziehbare Anwendung. Überraschende Anforderungen können die Prüfung unfair machen, wenn die Vorbereitung darauf fehlte.

Darf ich die KI-Musterlösung an Studierende geben?

Als gekennzeichnetes und fachlich geprüftes Übungsmaterial kann sie nützlich sein. Ergänzen Sie Fragen nach Belegen und Grenzen, damit Studierende nicht bloss Formulierungen übernehmen. Vertrauliche Prüfungsunterlagen gehören nicht in diese Übung.

Vertiefen können Sie dies mit KI-Lösungen kritisieren: Eine Prüfungsaufgabe mit Beispiel, KI-Korrektur an Hochschulen: Was muss die Zweitprüfung leisten, KI-Prüfung ohne Bezahlvorteil: Gleiche Bedingungen schaffen.