Maturaarbeit: KI-Experimente nachvollziehbar dokumentieren

Das Problem

Frau Keller betreut eine Maturaarbeit mit einem KI-Experiment, in dem eine lernende Person unterschiedliche Anweisungen an eine KI vergleichen möchte. Nach einigen Versuchen scheint eine Formulierung besser zu funktionieren. Allerdings wurden zwischendurch der Gesprächsverlauf, die Aufgaben und die Bewertung verändert.

Damit bleibt offen, worauf der Unterschied zurückgeht. Ein Sprachmodell, also ein KI-System zur Verarbeitung und Erzeugung von Sprache, kann zudem bei wiederholten Anfragen unterschiedliche Antworten liefern. Diese Ergebnisstreuung ist selbst Teil der Beobachtung und darf nicht durch die Auswahl schöner Beispiele verschwinden.

Die Lernenden sollen deshalb eine Untersuchung planen, durchführen und ihre Aussagegrenzen erklären können. Sie müssen nicht alle technischen Vorgänge im Inneren des Dienstes kennen. Sie müssen aber deutlich trennen, was sie kontrolliert, was sie beobachtet und was sie nicht erfahren haben.

So lösen Sie es mit KI – Schritt für Schritt

1. Formulieren Sie eine begrenzte Forschungsfrage. Öffnen Sie ein Planungsdokument und halten Sie fest, welche Veränderung Sie untersuchen möchten. Ein möglicher Übungsfall vergleicht Anweisungen mit und ohne ausdrücklich verlangte Quellenprüfung. Bei einer zu breiten Idee hilft die Eingrenzung der Forschungsfrage.

1. Legen Sie Bewertung und Versuchsumfang vorher fest. Beschreiben Sie, woran eine Antwort als passend gilt und wie unklare Fälle behandelt werden. Planen Sie Wiederholungen pro Bedingung und eine nachvollziehbare Reihenfolge. Die Anzahl begründen Sie anhand von Fragestellung und Machbarkeit mit der Betreuung; es gibt keine universelle Mindestzahl für jede Maturaarbeit.

1. Erstellen Sie ein leeres Versuchsprotokoll. Nutzen Sie dafür den Prompt unten in einem schulisch freigegebenen Dienst. Ein Prompt ist die schriftliche Anweisung an die KI. Prüfen Sie den Entwurf, bevor Lernende echte Versuche beginnen, und entfernen Sie Felder, die Kenntnisse vortäuschen würden, die der verwendete Zugang gar nicht bereitstellt.

1. Halten Sie die Ausgangsbedingungen fest. Notieren Sie Datum, Uhrzeit, Dienst, angezeigte Modellbezeichnung und sichtbare Einstellungen. Dokumentieren Sie, ob Websuche, Dateien, gespeicherte persönliche Vorgaben oder frühere Nachrichten beteiligt sind. Beginnen Sie für getrennte Einzelversuche jeweils einen neuen Chat und vermerken Sie nicht erkennbare Einstellungen als «nicht einsehbar».

1. Führen Sie die geplanten Durchläufe unverändert aus. Kopieren Sie den genauen Auftrag einschliesslich Satzzeichen und Anhängen aus der vorbereiteten Vorlage. Speichern Sie Eingabe und vollständige Ausgabe mit einer eindeutigen Versuchskennung. Notieren Sie auch Abbrüche, verweigerte Antworten und technische Störungen, statt stillschweigend eine günstigere Antwort nachzufordern.

1. Bewerten Sie alle verwertbaren Ausgaben gleich. Öffnen Sie die gespeicherten Antworten und wenden Sie das zuvor vereinbarte Raster an. Prüfen Sie fachliche Aussagen anhand unabhängiger Quellen; dieselbe KI sollte nicht allein über die Richtigkeit ihrer Ausgaben entscheiden. Falls möglich, bewertet eine zweite Person ausgewählte Antworten anhand derselben Kriterien und bespricht Abweichungen.

1. Berichten Sie Unterschiede und Grenzen. Stellen Sie dar, welche Antworten unter welcher Bedingung entstanden und wie stark die Bewertungen schwankten. Begründen Sie jeden Ausschluss. Wenn Sie nach ersten Ergebnissen den Ablauf ändern, beginnt eine gesondert gekennzeichnete Untersuchungsphase; die ursprünglichen Versuche bleiben erhalten.

Was gehört in das Promptprotokoll?

Bewahren Sie die Originalausgaben getrennt von Ihren kommentierten Arbeitskopien auf. Ein nachträglich geglätteter Text ist kein unverändertes Versuchsresultat mehr. Ergänzende Entscheidungen und Änderungen des Vorgehens gehören ins Forschungsjournal.

Vorlage zum Kopieren

Ich bin Lehrperson und bereite ein Methodenblatt für eine Maturaarbeit vor.
Fiktive Forschungsfrage: [Frage ohne Bezug zu realen Personen].
Untersuchte Veränderung: [genau ein veränderter Aspekt der Anweisung].
Gleichbleibende Bedingungen: [allgemeine Beschreibung].
Vorgesehene Bewertungskriterien: [fachlich prüfbare Kriterien].

Entwirf ein leeres Protokoll für wiederholte KI-Versuche.
Erfasse Versuchskennung, Zeitpunkt, sichtbare Modellbezeichnung,
vollständige Eingabe, Kontext, Werkzeuge, Originalantwort und Bewertung.
Nicht sichtbare Einstellungen müssen als nicht einsehbar markiert werden.
Ergänze Felder für Störungen, Ausschlüsse und begründete Änderungen.
Formuliere Fragen, mit denen Lernende Aussagegrenzen erklären können.
Erfinde keine Versuchsergebnisse, Modelleinstellungen oder Quellen.
Schlage keine allgemeingültige Mindestzahl an Versuchen vor.
Markiere methodische Entscheidungen, die ich mit der Betreuung klären muss.

Ersetzen Sie die Platzhalter durch einen fiktiven Versuchsplan und Ihre fachlich geprüften Bewertungskriterien.

Worauf Sie achten müssen

• Wiederholbarkeit richtig verstehen: Ein dokumentierter Ablauf kann erneut durchgeführt werden, ohne dass identische Texte entstehen. Anbieter können ihre Systeme ändern; selbst die sichtbare Modellbezeichnung beschreibt nicht zwingend sämtliche Bedingungen. Der Anthropic-Beitrag zu KI-Evaluationen erläutert unter anderem wiederholte Versuche und die Bedeutung vollständiger Abläufe.
• Keine Auswahl nach Wunsch: Legen Sie Ausschlussregeln vorab fest. Bewahren Sie auch widersprüchliche Antworten auf und trennen Sie geplante Auswertung von nachträglichen Erkundungen.
• Datenschutz: Verwenden Sie keine Schülerdaten, vertraulichen Interviews oder personenbezogenen Dokumente in öffentlichen KI-Diensten. Der EDÖB erklärt Datenschutz bei KI; lassen Sie konkrete Daten- und Rechtsfragen durch die zuständige Fachstelle prüfen.
• Fehler und Wahrheit unterscheiden: Eine erfundene Quellenangabe kann ein beobachtetes KI-Verhalten sein. Sie wird dadurch nicht zu einer echten Quelle für die Sachfrage. Hilfreich ist die Trennung von künstlichen und erhobenen Daten.
• Fairen Zugang ermöglichen: Stellen Sie für die Aufgabe vergleichbare schulisch freigegebene Zugänge oder vorbereitete Protokolle bereit. Beachten Sie Altersbedingungen und vermeiden Sie Anforderungen, die private Bezahlkonten voraussetzen.
• Betreuung erhalten: Die lernende Person erklärt Methode und Bewertung selbst. Eine KI-generierte Erklärung ersetzt weder das Gespräch über Schwierigkeiten noch eine begründete eigene Entscheidung.

Ein Beispiel aus der Praxis

Ein fiktives Beispiel: An einer Schweizer Kantonsschule untersucht eine lernende Person, ob ein Hinweis auf mögliche Unsicherheit die Quellenangaben einer KI-Antwort verändert. Zunächst speichert sie nur Antworten, die besonders überzeugend wirken. Frau Keller erkennt, dass damit kein fairer Vergleich möglich ist.

Gemeinsam legen sie neue, getrennte Durchläufe, gleichbleibende Aufgaben und Kriterien für überprüfbare Quellenangaben fest. Die lernende Person speichert fortan auch Antworten ohne Quellen sowie solche mit nicht auffindbaren Angaben. Tatsächliche Quellen prüft sie unabhängig von der KI.

In der Auswertung beschreibt sie das Verhalten unter den dokumentierten Bedingungen. Sie behauptet weder, dass eine Formulierung immer wirkt, noch dass der Dienst grundsätzlich zuverlässig sei. Der frühere Probelauf wird als Vorbereitung ausgewiesen und nicht heimlich mit der geplanten Untersuchung vermischt.

So hilft Ihnen Alpasana

Die KI-Praxiskurse von Alpasana auf absofort vermitteln unter anderem Datenverständnis, Projektstruktur, Qualitätsprüfung und Einsatzregeln für KI. Diese Fähigkeiten unterstützen Sie beim Vorbereiten geordneter Versuchsunterlagen. Die konkrete Forschungsmethode, die schulische Zulässigkeit und die Beurteilung der Maturaarbeit müssen Sie mit den zuständigen Fachpersonen klären.

Häufige Fragen

Genügt ein Bildschirmfoto als Protokoll?

Es kann sichtbare Einstellungen belegen, bildet aber lange Eingaben und Antworten oft nur teilweise ab. Speichern Sie zusätzlich den vollständigen Text und eine eindeutige Zuordnung zum Versuch. Prüfen Sie vor einer Weitergabe, ob Kontodaten oder andere persönliche Angaben sichtbar sind.

Was tun, wenn sich der Dienst während der Arbeit verändert?

Dokumentieren Sie die erkennbare Änderung und den Zeitpunkt. Behandeln Sie spätere Versuche bei veränderten Bedingungen als gesonderte Gruppe und besprechen Sie die Vergleichbarkeit mit der Betreuung. Nicht erkennbare Änderungen können Sie nur als verbleibende Unsicherheit benennen.

Darf KI bei der Bewertung der Antworten helfen?

Sie kann beispielsweise eine erste Sortierung vorschlagen, sofern dies schulisch zulässig und dokumentiert ist. Fachliche Richtigkeit und uneindeutige Fälle müssen Menschen mit geeigneten Belegen kontrollieren. Sonst misst die Arbeit womöglich nur, wie eine KI die Ausgaben einer anderen beurteilt.

Muss der ganze Datensatz öffentlich zugänglich sein?

Nachvollziehbarkeit bedeutet nicht automatisch Veröffentlichung im Internet. Klären Sie mit der Schule, welche Unterlagen die Betreuung und die prüfenden Personen erhalten sollen. Rechte an Materialien, Datenschutz und sichere Ablage sind dabei gesondert zu berücksichtigen.