Kurse mit KI evaluieren: Mehr als Zufriedenheit messen

Das Problem

Frau Keller erhält nach einem Seminar freundliche Rückmeldungen. Der Raum war angenehm, die Beispiele verständlich und die Kursleitung engagiert. Die Geschäftsleitung möchte daraus ableiten, dass der Kurs die Arbeit verbessert hat. Diese Folgerung geht über die vorhandenen Informationen hinaus.

Evaluation bedeutet die systematische Beurteilung eines Angebots anhand geklärter Fragen und Kriterien. Im Kirkpatrick-Modell werden vier Blickrichtungen unterschieden: Reaktion, Lernen, Verhalten und Ergebnisse. Die Darstellung von Kirkpatrick Partners erläutert diese Ebenen; sie ersetzen keine Prüfung von Ursache und Wirkung.

KI kann vorhandene Fragen sortieren und unpassende Schlussfolgerungen markieren. Frau Keller muss aber vorher entscheiden, was sie wissen möchte und welcher Nachweis dafür geeignet ist. Ein längerer Fragebogen ist nicht automatisch eine bessere Evaluation.

So lösen Sie es mit KI – Schritt für Schritt

1. Beginnen Sie mit einer Entscheidung. Öffnen Sie Ihr Kurskonzept und notieren Sie, wozu die Evaluation dienen soll: Beispiele verbessern, Lernbedarf erkennen oder die Anwendung unterstützen. Formulieren Sie eine konkrete Frage. Vermeiden Sie eine Datensammlung ohne absehbare Verwendung, die Teilnehmende belastet und später niemand auswertet.
2. Ordnen Sie die Ebenen. Legen Sie eine Tabelle mit Reaktion, Lernen, Verhalten und Ergebnissen an. Tragen Sie vorhandene Fragen ein und lassen Sie KI die Zuordnung begründen. Prüfen Sie besonders Mischfragen wie «War der Kurs verständlich und wenden Sie alles erfolgreich an?», die verschiedene Gegenstände vermengen.
3. Erfassen Sie Reaktion gezielt. Fragen Sie nach wahrgenommener Relevanz, Verständlichkeit und hilfreichen Lernbedingungen. Ergänzen Sie eine offene Frage zu einer konkreten Verbesserung. Ein freundliches Gesamturteil ist nützlich für die Kursgestaltung, aber noch kein Nachweis dafür, dass jemand eine Aufgabe beherrscht.
4. Prüfen Sie Lernen mit Aufgaben. Definieren Sie das Lernziel als beobachtbares Können und wählen Sie eine passende Arbeitsprobe. Wenn Sie Lernzuwachs behaupten möchten, benötigen Sie auch eine geeignete Ausgangsinformation. Vergleichen Sie Aufgaben mit ähnlichen Anforderungen; die Wiederholung derselben Lösung kann Erinnerung statt übertragbares Verständnis zeigen.
5. Untersuchen Sie Anwendung später. Planen Sie einen Zeitpunkt, an dem eine passende Arbeitsgelegenheit tatsächlich bestanden haben kann. Fragen Sie nach konkreten Versuchen, Arbeitsproben und Hindernissen. Für fehlende Anwendung nutzen Sie die Klärung von Transferhürden, statt automatisch mangelndes Lernen anzunehmen.
6. Betrachten Sie betriebliche Ergebnisse vorsichtig. Notieren Sie, welche Veränderung relevant wäre und welche anderen Einflüsse gleichzeitig auftreten. Eine neue Software, andere Aufträge oder veränderte Zuständigkeiten können ebenfalls beitragen. Die Prüfung von Weiterbildungswirkung hilft, Belege und Vermutungen auseinanderzuhalten.
7. Lassen Sie die Auswertung gegenlesen. Geben Sie der KI ausschliesslich unbedenkliche, zusammengefasste oder erfundene Befunde und verlangen Sie eine Prüfung der Schlussfolgerungen. Kennzeichnen Sie fehlende Ausgangswerte und unklare Vergleiche. Entscheiden Sie anschliessend selbst, welche Kursänderung durch die vorhandenen Hinweise gerechtfertigt ist.

Vorlage zum Kopieren

Prüfe meinen Entwurf einer Kursevaluation.
Kursziel: [beobachtbares Können]
Entscheidung, die wir vorbereiten: [Entscheidung]
Vorhandene Fragen und geplante Arbeitsproben: [Entwurf]
Geplante Zeitpunkte: [Zeitpunkte]

Ordne jeden Eintrag Reaktion, Lernen, Verhalten oder Ergebnissen zu.
Markiere Mischfragen, suggestive Formulierungen und fehlende Nachweise.
Unterscheide Selbsteinschätzung von beobachteter Leistung.
Schlage sparsame Ergänzungen vor. Behaupte keine Wirkung und erfinde
keine Ausgangswerte, Erfolgsquoten oder Antworten von Teilnehmenden.

Ersetzen Sie die Platzhalter mit Ihrem Evaluationsplan und verwenden Sie keine identifizierbaren Einzelantworten.

Worauf Sie achten müssen

• Keine automatische Wirkungskette: Eine positive Reaktion führt nicht zwingend zu Lernen, und Können führt ohne Gelegenheit nicht zwingend zu Anwendung. Behandeln Sie jede Aussage nach ihrer tatsächlichen Grundlage.
• Datenschutz mitplanen: Persönliche Rückmeldungen und Schülerdaten gehören nicht in öffentliche KI-Dienste. Auch zusammengefasste Angaben aus sehr kleinen Gruppen können Personen erkennbar machen; prüfen Sie Zweck und Zugriffe vor der Erhebung.
• Rechtliche Fragen abgeben: Lassen Sie Mitarbeiterbefragungen, Aufbewahrung und gegebenenfalls kantonale Vorgaben von der zuständigen Stelle im Einzelfall prüfen. Ein KI-entworfener Fragebogen ist keine rechtliche Freigabe.
• Fehlende Antworten beachten: Wer antwortet, kann sich von den übrigen Teilnehmenden unterscheiden. Kennzeichnen Sie Lücken, statt unbekannte Erfahrungen durch KI ergänzen zu lassen.
• Lernen fair beurteilen: Sprache, Zugänglichkeit und Aufgabenformat können das Ergebnis beeinflussen. Trennen Sie fachliches Können von unnötigen sprachlichen oder technischen Hürden und erklären Sie den Evaluationszweck offen.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Weiterbildung in St. Gallen behandelt die Bearbeitung von Kundenanfragen. Der bisherige Abschlussbogen fragt nur nach Zufriedenheit. Frau Keller ergänzt einen neuen Übungsfall, bei dem Teilnehmende die Zuständigkeit auswählen und begründen.

Für die spätere Anwendung wird ein freiwillig besprochener Arbeitsversuch vorgesehen. Dabei soll auch festgehalten werden, ob die nötigen Unterlagen verfügbar waren. Gleichzeitig ändert der Betrieb sein Ablagesystem, weshalb eine beobachtete Verbesserung nicht einfach dem Kurs zugeschrieben werden darf.

Der neue Plan beantwortet unterschiedliche Fragen mit unterschiedlichen Belegen. Er erlaubt eine gezieltere Kursüberarbeitung, ohne eine Genauigkeit vorzutäuschen, die die vorhandenen Daten nicht hergeben.

So hilft Ihnen Alpasana

Die KI-Weiterbildung für Unternehmen vermittelt KI-Anwendungen für Analyse, Texte und Entscheidungsgrundlagen. Verantwortungsbewusster Datenumgang und das Prüfen von Ergebnissen helfen dabei, Evaluationsentwürfe kritisch zu bearbeiten.

Ein spezialisiertes Evaluationsgutachten ist damit nicht zugesagt. Ihre Organisation legt Lernziele, Erhebungsbedingungen und zulässige Aussagen fest; bei anspruchsvollen Wirkungsfragen sollte eine entsprechend qualifizierte Fachperson einbezogen werden.

Häufige Fragen

Müssen wir immer alle Ebenen erfassen?

Nein, die Auswahl richtet sich nach Ihrer Fragestellung und den verfügbaren Möglichkeiten. Benennen Sie klar, welche Aussagen Ihr Plan erlaubt und welche offen bleiben.

Reicht die Selbsteinschätzung zum Lernzuwachs?

Sie zeigt, wie Teilnehmende ihr Lernen wahrnehmen. Für Aussagen über nachgewiesenes Können brauchen Sie zusätzlich passende Aufgaben oder andere nachvollziehbare Leistungsbelege.

Kann KI offene Antworten zusammenfassen?

Sie kann bei freigegebenen, ausreichend geschützten Texten Kategorien vorschlagen. Prüfen Sie die Zusammenfassung am Ausgangsmaterial und achten Sie darauf, dass seltene, aber wichtige Kritik nicht verschwindet.