Weiterbildungswirkung mit KI prüfen: Was lässt sich belegen?

Das Problem

In einem Beispiel bearbeitet ein Team nach einem Kurs Aufgaben anders als zuvor. Frau Keller freut sich über die Entwicklung, möchte aber sorgfältig berichten. Im selben Zeitraum wurden auch Arbeitsabläufe vereinfacht und neue Mitarbeitende eingestellt. Welchen Anteil hatte nun die Weiterbildung?

Wirksamkeit beschreibt, ob eine Massnahme zu den angestrebten Veränderungen beiträgt. Kausalität meint einen ursächlichen Zusammenhang: Die Veränderung tritt wegen der Massnahme ein. Dass zwei Dinge zeitlich zusammen auftreten, zeigt diesen Zusammenhang noch nicht.

Eine KI kann aus wenigen Angaben eine überzeugende Erfolgsgeschichte schreiben. Für eine verantwortungsvolle Evaluation, also eine systematische Beurteilung, ist das zu wenig. Nützlich wird KI, wenn sie Unsicherheiten, alternative Erklärungen und unpassende Vergleiche ausdrücklich aufzeigt.

So lösen Sie es mit KI – Schritt für Schritt

1. Formulieren Sie die Wirkungsfrage. Öffnen Sie ein Dokument und beschreiben Sie, welche konkrete Veränderung Sie erwarten. Unterscheiden Sie Lernen im Kurs, Anwendung im Alltag und betriebliche Ergebnisse. Die Kirkpatrick-Ebenen helfen beim Ordnen, liefern aber für sich allein keinen Ursachennachweis.
2. Sammeln Sie vorhandene Belege. Notieren Sie Arbeitsproben, Aufgabenbeschreibungen, Zeitpunkte und bekannte Rahmenbedingungen. Kennzeichnen Sie fehlende Informationen ausdrücklich. Für die KI verwenden Sie nur erfundene oder ausreichend geschützte Zusammenfassungen; sie soll weder Zahlen ergänzen noch aus allgemeinen Erwartungen Ergebnisse ableiten.
3. Prüfen Sie den Ausgangspunkt. Fragen Sie, ob vor der Weiterbildung dieselbe Fähigkeit unter ähnlichen Bedingungen beobachtet wurde. Eine schwierigere Abschlussaufgabe ist nicht unmittelbar mit einer einfachen Einstiegsfrage vergleichbar. Ohne brauchbare Ausgangsinformation können Sie einen aktuellen Stand beschreiben, aber den Zuwachs nicht sauber bestimmen.
4. Suchen Sie alternative Erklärungen. Lassen Sie KI mögliche Einflussfaktoren sammeln: neue Werkzeuge, andere Aufträge, personelle Veränderungen oder zusätzliche Begleitung. Prüfen Sie jeden Vorschlag an Ihrer Situation. Eine mögliche Erklärung wird erst dann zur berücksichtigten Tatsache, wenn Sie einen tatsächlichen Hinweis darauf haben.
5. Beurteilen Sie Vergleichsmöglichkeiten. Eine Vergleichsgruppe kann helfen, wenn sie hinsichtlich Aufgabe, Ausgangslage und Bedingungen ausreichend ähnlich ist. Freiwillig Teilnehmende unterscheiden sich möglicherweise bereits vorher von anderen. Ziehen Sie für anspruchsvolle Vergleiche eine Fachperson bei und lassen Sie KI keine statistische Sicherheit aus unpassenden Daten erzeugen.
6. Ordnen Sie die Aussagekraft. Schreiben Sie für jeden Befund auf, was er stützt und was offen bleibt. Ein übereinstimmendes Bild aus Arbeitsproben, Gesprächen und Anwendungssituationen kann einen Beitrag plausibler machen. Es schliesst andere Ursachen jedoch nicht automatisch aus.
7. Formulieren Sie einen ehrlichen Bericht. Lassen Sie KI einen Entwurf auf zu starke Wörter wie «bewiesen» oder «verursacht» prüfen. Verwenden Sie bei begrenzter Grundlage Formulierungen wie «Die Beobachtungen sprechen für einen möglichen Beitrag». Leiten Sie eine konkrete Verbesserung oder eine gezielte nächste Erhebung ab, statt nur Unsicherheit aufzulisten.

Einfach erklärt

Stellen Sie sich vor, nach einer Weiterbildung werden Anfragen vollständiger dokumentiert. Gleichzeitig führt der Betrieb ein Formular ein, das wichtige Felder direkt abfragt. Der zeitliche Zusammenhang mit dem Kurs allein sagt nicht, ob das neue Wissen, das Formular oder beides geholfen hat.

Ein Vergleich nur mit dem Vormonat kann zusätzlich durch andere Aufträge beeinflusst sein. Ein Vergleich mit einem anderen Team ist ebenfalls nicht automatisch fair: Vielleicht erhält dieses schwierigere Fälle oder hatte schon mehr Erfahrung. Sie müssen deshalb fragen, wie die Situation ohne Weiterbildung wahrscheinlich verlaufen wäre; diese nicht direkt beobachtbare Alternative ist der Kern des Wirkungsproblems.

Eine brauchbare Berichtsaussage könnte lauten: «In den betrachteten Arbeitsproben wurde die neue Prüfreihenfolge angewendet. Die Einführung eines neuen Formulars fällt in denselben Zeitraum; der eigenständige Kursbeitrag lässt sich mit diesen Angaben nicht bestimmen.» So bleiben die Beobachtungen nützlich, ohne mehr zu behaupten, als sie tragen.

Worauf Sie achten müssen

• Keine Scheingenauigkeit: KI kann Zahlen verrechnen, ohne deren Bedeutung richtig zu verstehen. Prüfen Sie zuerst die Vergleichbarkeit und erst danach mögliche Berechnungen; erfundene Werte sind keine zulässige Ergänzung.
• Lernende nicht instrumentalisieren: Erheben Sie nur Informationen, die für eine begründete Frage benötigt werden. Halten Sie persönliche Lernbegleitung und verdeckte Leistungsüberwachung auseinander.
• Datenschutz wahren: Persönliche Arbeitsproben, Schülerdaten und Gesprächsprotokolle gehören nicht in öffentliche KI-Dienste. Für Plattformdaten unterstützt die Planung der Datenminimierung die Vorbereitung.
• Fachlich prüfen lassen: Rechtliche Fragen zur Erhebung und Nutzung von Mitarbeiterdaten klärt die zuständige Stelle im Einzelfall. Methodisch anspruchsvolle Wirkungsnachweise brauchen zusätzliche Evaluationskompetenz.
• Bildungsgerechtigkeit beachten: Unterschiedliche Anwendungschancen können Ergebnisse beeinflussen. Ein Team ohne passende Aufgaben darf nicht als schlechter lernend eingestuft werden, nur weil der sichtbare Transfer geringer ist.

Welche nächste Erhebung ist sinnvoll?

Wählen Sie eine offene Frage, deren Antwort eine Entscheidung verändern würde. Wenn unklar ist, ob die Methode verstanden wurde, hilft eine passende Arbeitsprobe eher als ein weiterer Zufriedenheitsbogen. Wenn Können vorhanden ist, aber Anwendung fehlt, sind die Arbeitsbedingungen der nächste Prüfpunkt.

Legen Sie vor der Erhebung fest, wie die Information ausgewertet werden soll. Dadurch vermeiden Sie, nachträglich nur jene Beobachtungen auszuwählen, die eine gewünschte Erfolgsgeschichte stützen. Dokumentieren Sie auch Befunde, die nicht zur ursprünglichen Erwartung passen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Bildungsanbieter in Bern schult ein Verwaltungsteam in verständlicher Kommunikation. Später wirken ausgewählte Schreiben klarer. Frau Keller bemerkt jedoch, dass zugleich neue Textvorlagen eingeführt wurden.

Sie vergleicht geeignete Arbeitsproben und lässt die Mitarbeitenden erläutern, welche Entscheidungen sie selbst getroffen haben. Die Auswertung unterscheidet Hinweise auf gelerntes Vorgehen von übernommenen Formulierungen. Ein unabhängiger Kurseffekt lässt sich daraus noch nicht berechnen.

Der Bericht empfiehlt, in einer nächsten Übung auch unbekannte Schreibsituationen ohne fertige Vorlage zu bearbeiten. So führt die begrenzte Evidenz zu einer konkreten Verbesserung des Lernangebots.

So hilft Ihnen Alpasana

Die KI-Beratung und digitale Transformation unterstützt dabei, Prozesse aufzunehmen, Vorhaben zu priorisieren und eine Umsetzung zu dokumentieren. Das kann helfen, Kursziele, Arbeitsabläufe und geplante KI-Auswertungen in einen nachvollziehbaren Zusammenhang zu bringen.

Ein kausales Evaluationsgutachten ist kein pauschal belegter Angebotsbestandteil. Klären Sie den benötigten Untersuchungsumfang und zusätzliche Fachkompetenz ausdrücklich, bevor Sie aus einer technischen Auswertung Wirkungsbehauptungen ableiten.

Häufige Fragen

Ist ein Vorher-Nachher-Vergleich wertlos?

Nein, er kann relevante Veränderungen sichtbar machen. Seine Grenzen müssen benannt werden, weil andere Einflüsse im selben Zeitraum ebenfalls eine Rolle spielen können.

Brauchen kleine Kurse immer eine Vergleichsgruppe?

Nein, Aufwand und Methode sollen zur Entscheidung passen. Bei begrenzten Möglichkeiten berichten Sie nachvollziehbare Beobachtungen und Unsicherheiten, statt einen starken Wirkungsnachweis zu behaupten.

Können Interviews Zahlen ersetzen?

Interviews können erklären, wie Menschen eine Anwendung erlebt haben und welche Bedingungen wichtig waren. Sie liefern eine andere Art von Information und beweisen für sich allein ebenfalls keine eindeutige Ursache.