Mündliche Prüfung: Mit KI die Prüfenden abstimmen

Das Problem

In einer mündlichen Abschlussprüfung bewerten Frau Keller und ein Kollege jeweils zu zweit. Bei der Besprechung zeigt sich: Dieselbe Antwort erhielt von ihr die Note 5, von ihm eine 4,5. Er achtet stark auf Fachsprache, sie auf das Verständnis. Beide haben das Raster gelesen, aber unterschiedlich ausgelegt. Solche Unterschiede sind normal, aber bei Prüfungen, die zu einer Note oder einem Abschluss führen, müssen sie klein bleiben.

Der Fachbegriff dafür ist Beurteilungsübereinstimmung: Wie ähnlich bewerten verschiedene Prüfende dieselbe Leistung? Verbessern lässt sie sich durch gemeinsames Einüben, auch Kalibrierung genannt. Das Team hört oder liest dieselben Beispielantworten, bewertet sie unabhängig, vergleicht die Ergebnisse und klärt, wie die Kriterien zu verstehen sind. Echte Antworten von Lernenden sind dafür ideal, dürfen aber oft nicht verwendet werden, etwa aus Datenschutzgründen oder weil sie vertraulich sind.

KI kann erfundene Beispielantworten auf verschiedenen Niveaus entwerfen. Damit lässt sich üben, ohne reale Personen zu verwenden. Wichtig: Die Beispiele sind Übungsmaterial, nicht Musterlösungen, und sie ersetzen nicht die Abstimmung an echten Prüfungsleistungen.

So lösen Sie es mit KI – Schritt für Schritt

1. Bewertungsraster bereitstellen. Klären Sie Kriterien, Niveaus und Gewichtung schriftlich. Ohne Raster gibt es nichts abzugleichen.
2. Übungsfälle entwerfen lassen. Lassen Sie die KI zu einer Prüfungsfrage fünf erfundene Antworten auf unterschiedlichen Niveaus erstellen, mit Stärken und Schwächen. Die KI soll nicht angeben, welche Note jede verdient.
3. Fälle prüfen. Lesen Sie jede Antwort fachlich: Stimmt sie? Sind die Niveaus erkennbar? Streichen Sie Fälle, die unrealistisch sind.
4. Unabhängig bewerten. Alle Prüfenden bewerten die Fälle allein mit dem Raster und notieren ihre Einschätzung samt Begründung.
5. Vergleichen und besprechen. Legen Sie die Einschätzungen nebeneinander. Wo weichen sie ab? Warum? Klären Sie, wie das Kriterium zu verstehen ist, und halten Sie die Einigung fest.
6. Raster anpassen. Wenn viele Abweichungen auf unklarer Formulierung beruhen, präzisieren Sie das Raster.
7. Wiederholen und dokumentieren. Mit einer zweiten Runde prüfen Sie, ob die Übereinstimmung besser ist. Halten Sie Ergebnisse und Vereinbarungen fest.

Ein Tipp aus der Praxis: Beginnen Sie die Abstimmung mit dem Kriterium, bei dem Sie die grössten Unterschiede erwarten. Wenn sich das Team dort einig wird, fallen die anderen Kriterien leichter. Halten Sie jede Einigung in einem Satz fest, am besten mit einem Beispiel («Fachsprache gilt als erfüllt, wenn drei zentrale Begriffe korrekt verwendet werden»). Diese Sätze gehören ins Prüfungsdossier und helfen auch neuen Prüfenden im nächsten Jahr.

Vorlage zum Kopieren

Ich bereite die Abstimmung von Prüfenden für mündliche Prüfungen im Fach [Fach, Stufe] vor.
Prüfungsfrage: [Frage]
Bewertungskriterien (Kurzfassung): [Kriterien mit Niveaus]
Erstelle fünf erfundene Antworten von Lernenden auf diese Frage, die auf unterschiedlichen Niveaus liegen. Jede Antwort soll realistisch sein, mit erkennbaren Stärken und Schwächen. Gib keine Note und keine Bewertung an.
Erstelle zusätzlich:
1. Eine Tabelle für die Prüfenden zum unabhängigen Bewerten (Kriterium, Einschätzung, Begründung).
2. Fünf Fragen für die gemeinsame Besprechung der Abweichungen.
3. Hinweise, an welchen Stellen Prüfende erfahrungsgemäss unterschiedlich beurteilen.
Verwende keine Namen und keine echten Schülerantworten.

Setzen Sie Fach, Frage und Kriterien ein. Prüfen Sie die Übungsfälle fachlich, bevor sie im Team verwendet werden.

Worauf Sie achten müssen

• Übungsfälle sind keine Wahrheit. KI-Beispiele wirken oft glatter als echte Antworten und enthalten fachliche Fehler. Prüfen Sie sie. Sie ersetzen nicht die Abstimmung an echten Leistungen.
• Echte Prüfungsantworten schützen. Daten von Lernenden gehören nicht in öffentliche KI-Dienste. Orientierung bietet das Educa-Dossier; es gelten die kantonalen Vorgaben.
• Verantwortung bleibt bei den Prüfenden. KI bewertet nicht und entscheidet nicht über Noten. Rechtlich massgeblich sind Prüfungsordnung und Entscheide der Prüfenden.
• Unterschiede sind nicht nur Fehler. Manche Abweichungen zeigen berechtigte Auslegungen. Klären Sie, was gelten soll, und halten Sie es fest.
• Grenzfälle gesondert üben. Gerade bei Noten an der Grenze braucht es klare Regeln, siehe Grenzfälle der Benotung.
• Zeit einplanen. Eine gute Abstimmung dauert mindestens eine Stunde. Planen Sie sie vor den Prüfungen ein, nicht dazwischen.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel aus einer Prüfungskommission für eine Berufsprüfung im Kanton Aargau: Vier Experten prüfen mündlich zu zweit.

Vorher: Die Experten bewerten nach ihrer Erfahrung. Bei der Schlusssitzung weichen die Noten in mehreren Fällen um fast eine ganze Note voneinander ab.

Nachher: Vor der nächsten Prüfungsrunde lässt Frau Keller als Leiterin fünf erfundene Antworten entwerfen und prüft sie selbst. Die Experten bewerten sie einzeln, dann besprechen sie die Abweichungen. Es zeigt sich, dass das Kriterium «Fachsprache» unterschiedlich gewichtet wurde. Sie einigen sich auf eine Formulierung im Raster. Nach der zweiten Runde liegen die Einschätzungen näher beieinander, und die Besprechungen bei den echten Prüfungen verlaufen kürzer.

So hilft Ihnen Alpasana

Wenn ein Prüfungsteam KI sicher und regelkonform für die Vorbereitung nutzen will, helfen gemeinsame Grundlagen. Alpasana bietet mit KI-Weiterbildung für Unternehmen Online-Kurse von Grundlagen bis zum Diplomlehrgang an, mit Datenschutz als Lerninhalt und der Möglichkeit, Firmenlösungen und Teambuchungen anzufragen. Ob und wie sich das für ein Prüfungsteam eignet, klären Sie im Gespräch.

Häufige Fragen

Wie viele Übungsfälle braucht eine Abstimmung?

Fünf bis acht genügen für eine erste Runde. Wichtig ist, dass verschiedene Niveaus vorkommen und mindestens ein Grenzfall dabei ist.

Soll die KI die Übungsfälle bewerten?

Nein. Die Bewertung ist die Übung der Prüfenden. Eine KI-Bewertung würde das Ergebnis vorwegnehmen und könnte die Diskussion verfälschen.

Wie messe ich die Übereinstimmung?

Einfach: Zählen Sie, wie oft die Prüfenden dieselbe Stufe wählen. Eine statistische Auswertung ist für kleine Teams nicht nötig. Entscheidend ist die Klärung der Unterschiede.

Gilt das auch für schriftliche Prüfungen?

Ja, ähnlich. Die Abstimmung an Beispielen ist für jede Beurteilung sinnvoll, siehe Bewertungsraster im Team kalibrieren.

Wie oft sollten Prüfende sich abstimmen?

Mindestens vor jeder grösseren Prüfungsrunde und bei neuen Prüfenden. Bei langen Prüfungsphasen lohnt sich eine kurze Zwischenrunde, damit sich keine unterschiedlichen Gewohnheiten einschleichen.