KI-Prüfung: Wird Fachwissen oder Tippgeschwindigkeit gemessen?

Das Problem

Frau Keller führt eine Prüfung durch, in der die Lernenden mit einem KI-Werkzeug arbeiten: Sie formulieren Anfragen, lesen Antworten und schreiben eine Begründung. Beim Korrigieren fällt ihr etwas auf: Die Lernenden, die schnell tippen, haben deutlich mehr Anfragen gestellt und längere Begründungen geschrieben. Zwei Lernende mit gutem Fachwissen waren nach 45 Minuten kaum fertig, weil sie langsam schreiben.

Misst die Prüfung, was sie messen soll? Diese Frage betrifft die Gültigkeit, in der Fachsprache Validität genannt. Eine Prüfung ist valide, wenn sie das erfasst, was sie erfassen will, hier Fachkönnen oder KI-Kompetenz. Wenn nebenbei Tippgeschwindigkeit, Bedienerfahrung oder Umgang mit Zeitdruck das Ergebnis beeinflussen, misst sie auch etwas anderes. Das benachteiligt Personen mit langsamerem Tippen, Schreibschwierigkeiten oder wenig Computerübung.

Mit KI-Werkzeugen wird das Problem schärfer, weil Prüflinge viel schreiben, tippen und lesen müssen. Eine Checkliste hilft, den Ablauf auf solche unbeabsichtigten Anforderungen zu prüfen. Die KI kann beim Entwerfen und Durchspielen der Checkliste helfen; getestet wird mit echten Personen.

So lösen Sie es mit KI – Schritt für Schritt

1. Das Prüfziel formulieren. Notieren Sie genau, was die Prüfung messen soll, zum Beispiel «Die Lernenden prüfen KI-Antworten fachlich und begründen ihr Urteil». Alles Weitere ist nebensächlich.

1. Den Ablauf in Schritte zerlegen. Listen Sie alles auf, was Prüflinge tun müssen: Konto öffnen, Anfrage tippen, Antwort lesen, Text schreiben, speichern, abgeben.

1. Nebenanforderungen identifizieren. Markieren Sie Schritte, die Tippen, Bedienung oder Tempo verlangen und nichts mit dem Prüfziel zu tun haben. Die KI kann Ihnen helfen, solche Stellen aufzuspüren.

1. Den Tippaufwand abschätzen. Zählen Sie, wie viel Text insgesamt zu schreiben ist. Vergleichen Sie mit der verfügbaren Zeit und einer langsamen, aber normalen Schreibgeschwindigkeit.

1. Aufgaben und Zeit anpassen. Reduzieren Sie die nötige Textmenge, verwenden Sie Auswahlfelder, Stichworte oder vorbereitete Anfragen und planen Sie ausreichend Zeit ein.

1. Alternativen anbieten. Erlauben Sie handschriftliche oder mündliche Antworten, wo sie dasselbe Ziel prüfen. Klären Sie Nachteilsausgleich mit der Schulleitung.

1. Probelauf durchführen. Lassen Sie wenige Personen mit unterschiedlicher Tipp- und Computererfahrung den Ablauf testen. Messen Sie, wie lange sie für die Bedienung brauchen.

1. Ergebnisse auswerten und anpassen. Passen Sie Aufgaben, Zeit und Bewertungsraster an. Bewerten Sie nur, was zum Prüfziel gehört; Rechtschreibung, Länge oder Tippfehler zählen nicht, sofern sie nicht Prüfziel sind.

Vorlage zum Kopieren

Ein Prompt ist der schriftliche Auftrag an die KI. Geben Sie nur Planungsangaben ein, keine Daten von Prüflingen.

Ich plane eine Prüfung mit KI-Werkzeug in [Fach, Stufe]. Das Prüfziel ist: [Prüfziel].
Ablauf: [Schritte, z. B. Anfrage formulieren, Antwort lesen, Begründung schreiben, abgeben]. Zeit: [Minuten].
Analysiere den Ablauf:
1. Welche Schritte verlangen Tippen, Bedienung oder Tempo, ohne zum Prüfziel zu gehören?
2. Schätze, wie viel Text Prüflinge insgesamt tippen müssten, und ob die Zeit für eine langsame Schreibgeschwindigkeit reicht (nenne deine Annahmen).
3. Schlage drei Anpassungen vor, die den Tippaufwand senken, ohne das Prüfziel zu verändern.
4. Nenne Fragen, die ich in einem Probelauf stellen sollte.
Sage, wenn Annahmen unsicher sind.

Ergänzen Sie Ablauf und Zeit genau und prüfen Sie die Schätzungen im Probelauf.

Worauf Sie achten müssen

• Die Schätzungen der KI beruhen auf Annahmen. Prüfen Sie sie im Probelauf mit echten Personen.
• Zeitzuschläge und Alternativen für Lernende mit Schreibschwierigkeiten sind Teil des Nachteilsausgleichs, der je nach Kanton und Schule unterschiedlich geregelt ist. Klären Sie ihn rechtzeitig mit der Schulleitung.
• Behandeln Sie niemanden anders, ohne es vorher zu klären. Änderungen am Ablauf sollten für alle gelten, wenn sie die Gültigkeit erhöhen.
• Daten aus Probeläufen sind Leistungsdaten. Speichern Sie sie sparsam und geben Sie sie nicht in öffentliche KI-Dienste ein.
• Rechtschreibung und Tippfehler nicht mitbewerten, wenn sie nicht Prüfziel sind. Vorgaben zur Beurteilung finden Sie in den kantonalen Regelungen und im für Schule oder Stufe geltenden Lehrplan 21; kantonale Vorgaben gelten zusätzlich.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel aus einer Weiterbildung in Winterthur: Frau Keller prüft, wie Teilnehmende KI-Antworten fachlich beurteilen. Im Szenario sollen sie innerhalb von 60 Minuten drei Anfragen formulieren und je 150 Wörter Begründung schreiben. Im ebenfalls erfundenen Probelauf braucht eine langsam schreibende Person allein 40 Minuten fürs Tippen. Diese Zahlen sind illustrative Annahmen des Beispiels, keine gemessenen Ergebnisse.

Frau Keller reduziert auf zwei Anfragen, stellt die Anfragen vor und lässt Stichworte statt Fliesstext zu. Die Zeit wird auf 75 Minuten erhöht. Im zweiten Probelauf liegen die Bearbeitungszeiten deutlich näher beieinander. Bei der Bewertung zählen Tippfehler und Länge nicht mehr. Eine Teilnehmerin bemerkt, sie habe zum ersten Mal Zeit zum Nachdenken gehabt.

So hilft Ihnen Alpasana

Wenn Mitarbeitende oder Teams den Umgang mit KI im Alltag üben sollen, bietet absofort KI-Weiterbildung für Unternehmen an. Die Online-Kurse reichen von Grundlagen bis zum Executive-Diplomlehrgang, behandeln Schweizer Praxisbezug und Datenschutz und erlauben Lernen im eigenen Tempo mit verifizierbaren Abschlüssen; für Firmenlösungen und Teambuchungen gibt es eine Kontaktmöglichkeit.

Das Angebot ersetzt keine Prüfungsgestaltung in Ihrer Institution. Die Gültigkeit Ihrer Prüfungen prüfen Sie selbst.

Häufige Fragen

Darf ich Zeitdruck als Teil der Prüfung nutzen?

Wenn Zeitdruck zum Prüfziel gehört, ja, aber dann begründen Sie das. Sonst belohnt er schnelles Arbeiten statt Fachkönnen. Mehr zur Planung bietet der Beitrag zur Prüfungsdauer mit KI.

Wie gehe ich mit Lernenden mit Schreibschwierigkeiten um?

Klären Sie Nachteilsausgleich und Alternativen vorab. Ein verwandtes Thema bei Lernbarrieren bietet der Beitrag zu Barrieren bei KI-Prüfungen.

Was, wenn nicht alle Zugang zum gleichen Werkzeug haben?

Dann entstehen Ungleichheiten. Der Beitrag zur Fairness bei Bezahlzugängen zeigt Wege.

Wie trenne ich Fachwissen und Sprache?

Mit getrennten Kriterien und, wo möglich, Aufgaben mit wenig Text. Vertiefend: Fachwissen oder Sprachleistung.