ÜK-Beurteilung abstimmen: Mit KI Grenzfälle durchspielen

Das Problem

Frau Keller und zwei Kollegen unterrichten denselben überbetrieblichen Kurs in verschiedenen Gruppen. Beim Auswerten merken sie: Dasselbe Werkstück mit einer leichten Massabweichung wird vom einen als «genügend», vom andern als «gut» beurteilt. Die Lernenden erfahren davon, und die Frage «Warum bekommt die andere Gruppe bessere Rückmeldungen?» steht im Raum.

Unterschiedliche Beurteilungen sind bei praktischen Leistungen normal. Jede Fachperson hat eigene Erfahrungen, Schwerpunkte und Strenge. Problematisch wird es, wenn Lernende von der Person abhängen statt von der Leistung. Um das zu verringern, gleichen Teams ihre Massstäbe ab. Das nennt man Kalibrieren: Gemeinsam an Beispielen besprechen, was «genügend» und «gut» konkret bedeutet.

Dafür eignen sich Grenzfälle, also Leistungen, die zwischen zwei Stufen liegen und genau deshalb Diskussionen auslösen. Echte Fälle von Lernenden eignen sich nicht, weil sie Personendaten enthalten. Fiktive Fallbeschreibungen lösen das Problem, und KI kann sie rasch entwerfen. Ob sie realistisch sind, beurteilen die Kursleitenden.

So lösen Sie es mit KI – Schritt für Schritt

1. Beurteilungskriterien bereitlegen. Nehmen Sie die offiziellen Kriterien und Stufen des Kurses, nach denen alle beurteilen sollen. Ohne gemeinsame Grundlage gibt es nichts abzugleichen.

1. Gemeinsames Ziel formulieren. Was soll die Abstimmung bringen: vergleichbare Beurteilungen, klare Rückmeldungen, weniger Diskussionen mit Lernenden?

1. Fiktive Grenzfälle entwerfen lassen. Geben Sie der KI mit der Vorlage unten Kriterien und Stufen. Sie liefert kurze Beschreibungen fiktiver Leistungen mit Merkmalen, die zwischen zwei Stufen liegen.

1. Fälle auf Realismus prüfen. Prüfen Sie, ob die Fälle typisch sind, keine echten Personen oder Betriebe erkennen lassen und fachlich zum Beruf passen. Streichen Sie unrealistische.

1. Einzeln beurteilen lassen. Jede Kursleitende beurteilt jeden Fall zuerst für sich und notiert Stufe und Begründung. Nicht vorher diskutieren.

1. Abweichungen besprechen. Legen Sie die Beurteilungen nebeneinander. Besprechen Sie nur, wo sie auseinanderliegen: Welches Merkmal gewichtet wer anders? Was zählt als «Mangel»?

1. Gemeinsame Regel festhalten. Schreiben Sie einen Satz pro Streitpunkt, zum Beispiel «Eine Massabweichung bis X gilt als genügend, wenn …», wobei die Werte aus den offiziellen Vorgaben stammen.

1. Wiederholen und einbinden. Wiederholen Sie die Abstimmung regelmässig und nehmen Sie neue Kolleginnen und Kollegen früh mit hinein.

Vorlage zum Kopieren

Du unterstützt mich als ÜK-Kursleiterin bei der Vorbereitung einer Beurteilungsabstimmung im Team. Beruf: [Beruf]. Kurs: [Kursthema]. Beurteilungskriterien und Stufen (offizielle Vorgabe):
[Kriterium 1: Stufe A beschreibt …, Stufe B beschreibt …]
[Kriterium 2: …]

Aufgabe:
1. Entwirf fünf fiktive Fallbeschreibungen von Leistungen (je fünf bis sieben Sätze), die bei [Kriterium] zwischen zwei Stufen liegen. Verwende erfundene Angaben ohne Personen, Betriebe oder reale Ereignisse.
2. Beschreibe jeweils konkret, was gelungen ist und was nicht, ohne selbst eine Stufe zu nennen.
3. Nenne pro Fall zwei Fragen, die das Team klären sollte («Wie gewichten wir …?»).
4. Gib keine Beurteilung ab und erfinde keine Normen oder Toleranzwerte, die nicht in meinen Kriterien stehen.

Setzen Sie die offiziellen Kriterien ein. Die Fälle sind Diskussionsmaterial, keine Musterlösungen.

Worauf Sie achten müssen

• Keine echten Fälle: Arbeiten und Beurteilungen von Lernenden sind Personendaten. Geben Sie sie nicht in öffentliche KI-Dienste ein. Für die Abstimmung genügen fiktive Fälle.
• Offizielle Kriterien gelten: Beurteilungskriterien und Stufen legen die Branche und der Kursbetreiber fest. Eine Teamabsprache darf sie nicht umdeuten, sondern nur auslegen. Für die Qualifikationsverfahren gelten die Vorgaben der Bildungsverordnung und der Prüfungsleitlinien.
• Vertrauen in den Fällen: KI-Fälle können unrealistisch oder einseitig sein. Lassen Sie sie von einer erfahrenen Fachperson aus dem Team gegenlesen.
• Keine automatische Beurteilung: Eine KI darf Leistungen von Lernenden nicht beurteilen und keine Noten vorschlagen. Verantwortlich sind die Fachpersonen.
• Teamklima: Die Abstimmung ist kein Test der Kursleitenden. Sprechen Sie wertschätzend und halten Sie fest, dass Unterschiede normal sind.
• Transparenz für Lernende: Sagen Sie den Lernenden, dass Kursleitende ihre Massstäbe regelmässig abgleichen. Das stärkt Vertrauen.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau Keller und zwei Kollegen im ÜK für Maler und Malerinnen beurteilen die Kante an einem gestrichenen Wandstück sehr unterschiedlich. Sie lassen sich fünf fiktive Grenzfälle zum Kriterium «Saubere Abgrenzung» entwerfen und beurteilen sie einzeln.

Vorher: Die Gruppen erleben die Strenge der Kursleitenden unterschiedlich. Nachher: Beim zweiten Fall liegen die Beurteilungen drei Stufen auseinander, beim vierten sind sich alle einig. Im Gespräch zeigt sich, dass einer Farbspritzer anders gewichtet. Das Team schreibt eine Regel auf, wie Spritzer in der Beurteilung zählen. Eine Fallbeschreibung der KI war unrealistisch (zu perfekte Kante mit grossem Fleck) und wurde gestrichen. Beim nächsten Kurs sind die Rückmeldungen vergleichbarer, was das Team als Eindruck festhält.

So hilft Ihnen Alpasana

Wenn Organisationen ihre Mitarbeitenden im verantwortungsvollen Umgang mit KI schulen wollen, bietet absofort Online-Weiterbildung für Unternehmen an: KI für Verwaltung, Kommunikation, Analyse und Entscheidungsgrundlagen, Schweizer Praxisbezug, Datenschutz sowie der verantwortungsbewusste Umgang mit Unternehmensdaten. Die Teilnehmenden lernen im eigenen Tempo, und es gibt eine Kontaktmöglichkeit für Firmenlösungen und Teambuchungen.

Beurteilungsregeln legt Ihre Branche fest. Eine Weiterbildung ersetzt sie nicht.

Häufige Fragen

Wie oft sollte ein Team abgleichen?

Zu Beginn eines Kursjahres und bei neuen Kursleitenden. Zusätzlich lohnt sich eine kurze Abstimmung nach auffälligen Diskussionen mit Lernenden.

Wie viele Fälle sind sinnvoll?

Vier bis sechs pro Sitzung. Mehr Fälle führen zu oberflächlichen Diskussionen. Weitere Methoden finden Sie bei Bewertungsraster im Team mit KI-Beispielen erproben.

Was, wenn sich das Team nicht einigen kann?

Fragen Sie bei der Kursleitung der Branche oder der Verantwortlichen für das Kursprogramm nach. Die offizielle Vorgabe entscheidet.

Sind Ankerbeispiele nötig?

Sie helfen sehr, weil sie Stufen konkret machen. Mehr zu Ankerbeispielen: Ankerbeispiele mit KI: Bewertungsstufen anschaulich machen.