Wann fällt KI in Schule und Weiterbildung unter Hochrisiko?

Das Problem

Ihre Schule, Ihr Weiterbildungsinstitut oder Ihre Firmenakademie überlegt, KI einzusetzen: ein Werkzeug, das Aufsätze bewertet, ein Programm, das den passenden Kurs vorschlägt, eine Software, die Prüfungen überwacht. Die Verwaltung fragt: «Ist das nicht heikel? Der EU AI Act regelt doch Bildung streng.»

Tatsächlich zählt der Bildungsbereich zu den Feldern, in denen KI als hochriskant gelten kann, weil Entscheide über Ausbildungswege und Zukunftschancen von Menschen betroffen sind. Das heisst aber nicht, dass jede KI im Schulzimmer «Hochrisiko» ist. Ein Übersetzungsprogramm für die Lehrperson oder ein Übungswerkzeug für Vokabeln ist etwas anderes als ein System, das über die Aufnahme in einen Lehrgang mitentscheidet.

Entscheidend ist die Funktion: Wofür wird die KI konkret eingesetzt, und welche Folgen hat ihr Ergebnis für die Lernenden?

Welche Anwendungen sind kritisch?

Der Anhang III der Verordnung nennt für den Bereich Bildung und Berufsbildung vier typische Einsatzzwecke:

Die genauen Voraussetzungen und Ausnahmen stehen in Artikel 6 und Anhang III. Pflichten und Termine für Hochrisiko-Systeme wurden angepasst; siehe Fristen des EU AI Act. Allgemeines dazu: Hochrisiko-KI erkennen.

So lösen Sie es mit KI – Schritt für Schritt

1. Listen Sie alle KI-Anwendungen in Ihrer Organisation auf. Auch solche, die Lehrpersonen selbst eingeführt haben. Notieren Sie Zweck und Beteiligte.
2. Fragen Sie je Anwendung: Wird damit über Menschen entschieden oder werden sie bewertet? Zulassung, Noten, Einstufung, Überwachung sind die Warnsignale.
3. Klären Sie den EU-Bezug. Gilt der AI Act für Sie? Siehe EU AI Act und die Schweiz. In der Schweiz sind ausserdem kantonale Regeln und der Datenschutz zu beachten.
4. Ordnen Sie Ihre Rolle zu. Betreiber eines eingekauften Systems oder, bei Eigenentwicklung, Anbieter? Siehe Anbieter und Betreiber.
5. Fragen Sie den Hersteller. Wie stuft er das System ein? Welche Unterlagen, Tests und Zusicherungen gibt es? Wie unterstützt er die Aufsicht durch Menschen?
6. Planen Sie menschliche Aufsicht ein. Ergebnisse mit Folgen für Lernende prüft eine verantwortliche Person, die abweichen darf. Siehe Betreiberpflichten.
7. Schützen Sie die Daten der Lernenden. Schülerdaten, besonders von Minderjährigen, verlangen höchste Sorgfalt, siehe KI und Schülerdaten.
8. Dokumentieren Sie und überprüfen Sie jährlich. Zweck, Einstufung, Entscheid, Zuständigkeit. Bei Änderungen des Zwecks neu prüfen.

Vorlage zum Kopieren

Mit diesem Auftrag bereiten Sie eine Prüftabelle für Ihre KI-Anwendungen vor. Beschreiben Sie nur die Anwendungen, keine Daten von Lernenden:

Unsere Organisation: [z. B. Berufsfachschule / Weiterbildungsinstitut in der Schweiz]. Wir setzen diese KI-Anwendungen ein oder planen sie:
- [Anwendung 1, z. B. Bewertung von Aufsätzen]
- [Anwendung 2, z. B. Kursempfehlung für Teilnehmende]
- [Anwendung 3, z. B. Prüfungsaufsicht per Kamera]
Erstelle eine Tabelle: Anwendung | Wird über Zulassung, Bewertung, Einstufung oder Prüfungsverhalten entschieden? (ja/nein/teilweise) | Mögliches Hochrisiko? (zu prüfen/eher nein) | Fragen an den Hersteller | Fragen an die Fachperson.
Erkläre die Einordnung in einfacher Sprache. Gib keine Rechtsberatung, erfinde keine Artikelnummern und markiere Unsicheres mit «zu prüfen».

Besprechen Sie die Tabelle mit der Datenschutz- und Rechtsberatung, bevor ein System eingeführt wird.

Worauf Sie achten müssen

• Zweck vor Technik: Dieselbe KI kann als Lernhilfe harmlos und als Bewertungswerkzeug hochriskant sein.
• Minderjährige: Daten von Kindern und Jugendlichen sind besonders schutzbedürftig. Eltern und Lernende sind transparent zu informieren.
• Verbote: Emotionserkennung in Bildungseinrichtungen ist grundsätzlich verboten, siehe Verbotene Praktiken.
• Menschliche Entscheide: KI-Ergebnisse dürfen nicht unbesehen über Noten oder Zulassung entscheiden. Wichtig ist die Möglichkeit, Entscheide zu überprüfen.
• Fairness: KI-Bewertungen können Sprachgruppen oder Lernstile benachteiligen. Stichproben und Rückmeldeweg einrichten.
• Termine ändern sich: Fristen für Hochrisiko-Pflichten wurden angepasst. Prüfen Sie die aktuelle Lage und lassen Sie wichtige Einordnungen fachlich klären.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Weiterbildungsinstitut in Luzern bietet Sprachkurse an, auch für Teilnehmende aus Deutschland. Es erwägt zwei Neuerungen: einen KI-Assistenten, der Übungsaufgaben erklärt, und ein Programm, das aus dem Einstufungstest automatisch das Kursniveau festlegt.

Vorher: Die Leiterin hält beides für «einfach KI im Unterricht» und plant, sofort zu starten.

Nachher: Beim Prüfen zeigt sich der Unterschied. Der Übungsassistent ist eine Lernhilfe ohne Entscheidungswirkung. Das Einstufungsprogramm legt dagegen das Bildungsniveau fest und kann in den Bereich mit hohem Risiko fallen, wenn der AI Act anwendbar ist. Das Institut führt den Assistenten ein, klärt beim Einstufungsprogramm Anbieterunterlagen, EU-Bezug und Aufsicht und lässt jede Einstufung vor der Kursbuchung von einer Lehrperson bestätigen.

So hilft Ihnen Alpasana

Wer KI in Aus- und Weiterbildung einsetzt oder beschafft, sollte die Regeln kennen. Die KI-Weiterbildung für Unternehmen von absofort behandelt laut Beschreibung Schweizer Praxisbezug und Datenschutz als Lerninhalte, den EU AI Act bei EU-Bezug und den verantwortungsbewussten Umgang mit Unternehmensdaten. Es gibt eine Kontaktmöglichkeit für Firmenlösungen und Teambuchungen.

Die Einstufung Ihrer konkreten Anwendungen nach dem EU AI Act ersetzt die Weiterbildung nicht; dafür brauchen Sie eine Rechtsberatung.

Häufige Fragen

Ist ein KI-Tutor für Schülerinnen und Schüler Hochrisiko?

Als reine Lernhilfe ohne Entscheid über Zulassung, Noten oder Einstufung in der Regel nicht. Wird er aber zur Bewertung von Lernergebnissen verwendet, kann sich das ändern.

Gilt das auch für Lehrpersonen, die KI für Korrekturvorschläge nutzen?

Wenn die KI nur Vorschläge macht und die Lehrperson selbst bewertet, ist die Lage anders, als wenn das System selbstständig Noten festlegt. Entscheidend sind Zweck und tatsächliche Verwendung. Im Zweifel klären Sie es mit der Schulleitung und einer Fachperson.

Was ändert sich für Weiterbildungsanbieter in der Schweiz?

Das hängt vom EU-Bezug ab, etwa Angeboten an Lernende in der EU. Unabhängig davon gelten Datenschutz und kantonale Vorgaben. Informieren Sie sich bei Ihrer Aufsicht und Verbandsstelle.