QV-Bewertung üben: Fiktive Grenzfälle mit KI vergleichen

Das Problem

Frau Keller ist Chefexpertin in einem Beruf und schult jedes Jahr neue Prüfungsexpertinnen und -experten für das Qualifikationsverfahren (QV). Eine Frage taucht immer wieder auf: «Wann ist eine Leistung noch genügend, wann nicht mehr?» Bei klaren Fällen sind sich alle einig, bei Grenzfällen gehen die Meinungen auseinander. Das kann für Kandidierende folgenreich sein, denn eine Note kann an einem einzigen Punkt hängen.

Beurteilungssicherheit entsteht durch Übung an Beispielen. Wer nur Kriterien liest, weiss nicht, wie sie in der Praxis aussehen. Ankerbeispiele (konkrete Leistungen, die eine Stufe klar verkörpern) und Grenzfälle helfen, die Massstäbe zu klären. In der Schulung besprechen die Expertinnen und Experten solche Beispiele und gleichen ihre Einschätzungen ab.

Ob echte Leistungen von Kandidierenden verwendet werden dürfen, hängt unter anderem von Zweck, Rechtsgrundlage, Schutzmassnahmen und den Prüfungsregeln ab. Lassen Sie dies vorab durch die zuständige Stelle prüfen. Fiktive Fälle vermeiden viele dieser Fragen. KI kann sie rasch entwerfen. Ob sie realistisch sind und zur Beurteilung der Branche passen, entscheiden die Fachleute.

So lösen Sie es mit KI – Schritt für Schritt

1. Verbindliche Kriterien klären. Halten Sie die offiziellen Kriterien und Stufen bereit, so wie sie für die Prüfung gelten. Fiktive Fälle ersetzen sie nicht.

1. Lernziel der Schulung festlegen. Was sollen die Expertinnen und Experten können: Merkmale benennen, Stufen unterscheiden, Entscheide begründen?

1. Fiktive Fälle entwerfen lassen. Geben Sie der KI die Kriterien in Stichworten mit der Vorlage unten. Sie schlägt kurze Fallbeschreibungen vor, die absichtlich zwischen zwei Stufen liegen.

1. Fälle fachlich prüfen. Prüfen Sie jeden Fall: Ist er für den Beruf typisch? Sind die Merkmale richtig beschrieben? Enthält er keine echten Personen oder Betriebe? Streichen Sie, was nicht passt.

1. Einzelbeurteilung vor der Diskussion. Jede Teilnehmerin beurteilt jeden Fall allein, mit Stufe und Begründung.

1. Abweichungen besprechen. Legen Sie die Beurteilungen nebeneinander und besprechen Sie nur die Unterschiede: Welches Merkmal gewichtet wer anders? Was sagen die Vorgaben dazu?

1. Bezug zu den offiziellen Vorgaben herstellen. Lösen Sie Streitpunkte anhand der Prüfungsleitlinien und nicht durch Mehrheitsentscheid. Wo die Vorgaben unklar sind, fragen Sie bei der zuständigen Stelle nach.

1. Ergebnisse festhalten und weitergeben. Notieren Sie, was geklärt wurde, und stellen Sie es allen Experten zur Verfügung, soweit es die Prüfungsleitung erlaubt.

Vorlage zum Kopieren

Du unterstützt mich als Chefexpertin bei der Schulung von Prüfungsexperten im Qualifikationsverfahren. Beruf: [Beruf]. Prüfungsteil: [z. B. praktische Arbeit]. Kriterium: [Kriterium] mit den Stufen: [Stufe 1: Beschreibung], [Stufe 2: Beschreibung].

Aufgabe:
1. Entwirf vier fiktive Fallbeschreibungen (je fünf bis sieben Sätze) einer Leistung, die beim genannten Kriterium zwischen den beiden Stufen liegt. Alle Angaben erfunden: keine Personen, Betriebe, Daten oder reale Prüfungen.
2. Beschreibe konkret beobachtbare Handlungen und Ergebnisse, ohne die Stufe zu nennen.
3. Nenne zu jedem Fall zwei Fragen, die die Gruppe klären soll (z. B. «Ist die Abweichung für die Funktion relevant?»).
4. Beurteile die Fälle nicht, schlage keine Stufe vor und erfinde keine Toleranzwerte oder Normen.

Setzen Sie die offiziellen Stufenbeschreibungen ein. Die Fälle sind Übungsmaterial und keine Prüfungsaufgaben.

Worauf Sie achten müssen

• Prüfungsleistungen und Personendaten: Ob Arbeiten, Notizen oder Beurteilungen verwendet werden dürfen, ist anhand von Zweck, Rechtsgrundlage, Schutzmassnahmen und Prüfungsregeln zu klären. Geben Sie sie nicht ohne Freigabe in einen KI-Dienst ein.
• Vertrauliche Prüfungsunterlagen: Prüfen Sie die Vertraulichkeits- und Nutzungsregeln der konkreten Prüfung. Verwenden Sie nur freigegebene Materialien.
• Verbindlichkeit der Vorgaben: Massgebend sind Bildungsverordnung, Bildungsplan, Prüfungsleitlinien und Weisungen der Prüfungsleitung. Fiktive Fälle dürfen sie nicht verändern.
• Fachliche Richtigkeit: KI-Fälle können fachlich falsch oder unrealistisch sein. Sie dürfen nur mit fachlicher Prüfung eingesetzt werden.
• Keine KI-Bewertung: Die KI beurteilt keine Fälle und schlägt keine Noten vor. Das tun die Expertinnen und Experten.
• Rechtssicherheit: Beurteilungen im QV können angefochten werden. Gut begründete, nachvollziehbare Entscheide sind wichtig. Die Verfahren regeln Kantone und Bildungsämter.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau Keller schult im Frühling neue Experten im Beruf Zimmermann EFZ. Für das Kriterium «Passgenauigkeit der Verbindungen» lässt sie sich vier fiktive Fälle entwerfen und streicht einen, der nicht typisch ist.

Vorher: Die Neuen fragen «Wie genau ist genau?», und die Erfahrenen erklären es nach Gefühl. Nachher: Jede Person beurteilt die vier Fälle allein. Bei Fall zwei gehen die Einschätzungen auseinander: Eine bemängelt einen Spalt, der andere sieht ihn als funktional unwichtig. Im Gespräch klären sie, was die Prüfungsleitlinien dazu sagen, und halten die Auslegung schriftlich fest. Die KI hatte bei einem Fall ein Mass angegeben, der nicht zum Beruf passte; Frau Keller korrigierte ihn. Die Neuen fühlen sich sicherer.

So hilft Ihnen Alpasana

Wenn Fachleute in Organisationen KI vorbereitend nutzen, brauchen sie klare Regeln und geübte Praxis. Die Online-Weiterbildung KI für Unternehmen von absofort behandelt KI für Verwaltung, Kommunikation, Analyse und Texte, Schweizer Praxisbezug, Datenschutz und den verantwortungsbewussten Umgang mit Unternehmensdaten. Es gibt Lernen im eigenen Tempo, verifizierbare Abschlüsse und eine Kontaktmöglichkeit für Firmenlösungen und Teambuchungen.

Die Schulung von Prüfungsexperten verantworten Kantone und Branchen.

Häufige Fragen

Wie realistisch müssen fiktive Fälle sein?

So realistisch, dass erfahrene Fachleute sagen: «So etwas sehen wir.» Lassen Sie sie von Kolleginnen gegenlesen.

Dürfen echte, anonymisierte Arbeiten verwendet werden?

Das entscheidet die Prüfungsleitung und hängt vom Datenschutz ab. Verwenden Sie sie nicht ohne klare Erlaubnis und nicht in öffentlichen KI-Diensten.

Wie gehe ich mit Streit über Auslegung um?

Gehen Sie zurück zu den Vorgaben und fragen Sie bei Unklarheit die Prüfungsleitung. Mehr zu Beobachtung: QV-Expertinnen und Experten: KI für Beobachtungsfragen nutzen.

Wie oft sollte so eine Übung stattfinden?

Idealerweise vor jedem Prüfungsjahr und bei neuen Expertinnen und Experten.