Masterarbeit: KI-Experimente reproduzierbar dokumentieren

Das Problem

Frau Keller schreibt ihre Masterarbeit in Wirtschaftsinformatik. Sie hat Experimente mit KI-Sprachmodellen durchgeführt, verschiedene Prompts getestet und die Ausgaben verglichen. Beim Verfassen der Arbeit stellt Frau Keller fest, dass sie ein zentrales Ergebnis nicht wiederholen kann. Dieselbe Anfrage liefert heute eine andere Antwort. Ihr Betreuer fragt: «Welche Modellversion war das, und mit welchen Einstellungen?» Sie weiss es nicht mehr genau.

Das ist ein typisches Problem. Wissenschaftliche Ergebnisse sollen nachvollziehbar sein, und sie sollen sich im Prinzip von anderen überprüfen lassen. Man nennt das Reproduzierbarkeit: Wer die gleichen Schritte unter gleichen Bedingungen ausführt, erhält das gleiche Ergebnis. Bei KI-Sprachmodellen ist das schwierig. Die Ausgaben beruhen auf Wahrscheinlichkeiten und können sich bei jeder Anfrage unterscheiden. Zudem werden Modelle von Anbietern aktualisiert, ersetzt oder abgeschaltet, ohne dass man darauf Einfluss hat.

Vollständige Wiederholbarkeit ist deshalb oft nicht erreichbar. Das ist in Ordnung, wenn man es offenlegt. Gute Dokumentation macht das Experiment trotzdem nachvollziehbar und erlaubt, die Grenzen einzuschätzen.

So lösen Sie es mit KI – Schritt für Schritt

1. Fragestellung und Experimentdesign festhalten. Was wollen Sie testen, mit welchen Variablen, welchen Vergleichen, welchem Mass für Qualität? Schreiben Sie das auf, bevor Sie beginnen.

1. Dokumentationsvorlage anlegen. Lassen Sie sich mit der Vorlage unten ein Raster entwerfen. Passen Sie es an Ihre Arbeit und die Vorgaben der Hochschule an.

1. Modell und Zugang festhalten. Notieren Sie Anbieter, Modellbezeichnung, Zugangsart (Weboberfläche oder Schnittstelle) und das Datum jedes Laufs. Stand und Bezeichnungen ändern sich, deshalb gehört das Datum dazu.

1. Einstellungen erfassen. Halten Sie fest, was einstellbar ist: Temperatur oder ähnliche Parameter, Systemanweisung, Länge, Zufallswert, falls vorhanden. Wenn Einstellungen nicht sichtbar sind, schreiben Sie das auf.

1. Prompts und Eingaben speichern. Speichern Sie jeden Prompt wörtlich und die Eingabedaten in der verwendeten Fassung. Verwenden Sie Versionsnummern.

1. Ausgaben vollständig sichern. Bewahren Sie die rohen Ausgaben auf, nicht nur Ihre Zusammenfassung. Mehrere Läufe pro Bedingung zeigen die Schwankungsbreite.

1. Auswertung nachvollziehbar machen. Beschreiben Sie, wie Sie Ausgaben bewerten (Kriterien, Skala, zweite Bewertende), und halten Sie Abweichungen fest.

1. Grenzen offenlegen. Schreiben Sie in der Arbeit, was nicht wiederholbar ist (Modellwechsel, Zufall, nicht sichtbare Einstellungen), und ordnen Sie Ihre Schlüsse entsprechend vorsichtig ein.

Vorlage zum Kopieren

Unterstützen Sie mich bei der Dokumentation von KI-Experimenten in meiner Masterarbeit. Fach: [Fach]. Experimentziel: [z. B. Vergleich von drei Prompt-Varianten bei Zusammenfassungen].

Aufgabe:
1. Entwirf eine Dokumentationsvorlage als Tabelle mit Feldern für: Laufnummer, Datum, Anbieter und Modellbezeichnung (so wie sie angezeigt wird), Zugangsart, Einstellungen (soweit sichtbar), Systemanweisung, Prompt (wörtlich), Eingabedaten (Version), Ausgabe (Speicherort), Bewertung, Auffälligkeiten.
2. Ergänze ein Feld «Was war nicht kontrollierbar?» mit Beispielen (z. B. Modellaktualisierung, nicht sichtbare Parameter).
3. Schlage einen Textbaustein für einen Abschnitt «Grenzen der Reproduzierbarkeit» im Methodenteil vor, den ich in eigenen Worten überarbeite.
4. Erfinde keine Angaben zu Modellen oder Einstellungen. Wo du unsicher bist, schreibe «bitte beim Anbieter prüfen».

Passen Sie Fach und Ziel an und füllen Sie die Tabelle direkt während des Experiments aus, nicht im Nachhinein.

Worauf Sie achten müssen

• Datenschutz: Experimente mit echten Personendaten, vertraulichen Firmendaten oder unveröffentlichten Quellen gehören nicht in öffentliche KI-Dienste. Verwenden Sie synthetische, anonymisierte oder öffentliche Daten und klären Sie das mit Ihrer Betreuung.
• Keine falsche Genauigkeit: Behaupten Sie nicht, Ihre Ergebnisse seien exakt wiederholbar, wenn sie es nicht sind. Ehrlichkeit zählt mehr als eine glatte Methodik.
• Modellangaben prüfen: Bezeichnungen und Versionen ändern sich. Übernehmen Sie sie aus dem Werkzeug selbst, nicht aus der Erinnerung oder aus der Antwort der KI. Die KI kennt ihre eigene Version oft nicht verlässlich.
• Bewertung offenlegen: Wenn Sie Ausgaben selbst bewerten, kann Voreingenommenheit entstehen. Lassen Sie, wenn möglich, eine zweite Person unabhängig bewerten oder legen Sie Kriterien vorab fest.
• Hochschulvorgaben: Dokumentationspflichten und Regeln zum Aufbewahren von Forschungsdaten sind je Hochschule verschieden. Fragen Sie nach, auch zu Fristen.
• Urheberrecht und Nutzungsbedingungen: Prüfen Sie, ob die Nutzungsbedingungen des Anbieters Ihre Verwendung der Ausgaben in einer Arbeit erlauben.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau Keller vergleicht in ihrer Masterarbeit drei Prompt-Varianten für die Zusammenfassung von Behördentexten. Sie legt vor Beginn eine Tabelle an und lässt jede Variante zehnmal laufen.

Vorher: Sie hat ein überzeugendes Ergebnis, aber keine Notizen zu Modell, Datum oder Einstellungen. Nachher: Die Tabelle zeigt Datum, Modellbezeichnung laut Oberfläche, die wörtlichen Prompts und die Rohausgaben. Bei zwei Varianten schwankt die Qualität stark, was sie im Ergebnisteil offenlegt. Ein Teil der Läufe fand vor einer erkennbaren Modellaktualisierung statt; sie markiert das und wertet getrennt aus. Der Betreuer lobt die Transparenz. Eine Formulierung im KI-Textbaustein («Ergebnisse sind jederzeit reproduzierbar») hat sie gestrichen, weil sie nicht stimmt.

So hilft Ihnen Alpasana

Wer KI in konkreten Arbeitsaufgaben einsetzt, profitiert von strukturierter Praxis. Die Kurse bei absofort behandeln unter anderem Claude mit Projektstruktur, Prompt-Bibliothek, Qualitätsprüfung und Einsatzregeln, No-Code-Automatisierung, KI-Agenten und lokale KI mit Ollama und Open-Source-Modellen. Sie bieten Praxisaufgaben, einen KI-Lerncoach und einen verifizierbaren Abschluss.

Methodik und Dokumentationsvorgaben Ihrer Arbeit klären Sie mit Ihrer Betreuung. Der Kurs kann den praktischen Umgang mit Prompts und Qualitätsprüfung üben.

Häufige Fragen

Warum liefert dieselbe Anfrage verschiedene Antworten?

Sprachmodelle erzeugen Text mit einem Zufallsanteil. Manche Dienste erlauben, diesen zu verringern, aber nicht immer vollständig. Dazu kommen Modellaktualisierungen.

Reicht es, den Prompt zu speichern?

Nein. Zusätzlich brauchen Sie Modell, Datum, Einstellungen, Eingabedaten und Ausgaben. Der Prompt allein erlaubt keine Überprüfung.

Wie viele Wiederholungen sind nötig?

Das hängt von der Fragestellung ab. Mehrere Läufe pro Bedingung zeigen die Schwankung. Besprechen Sie Anzahl und Auswertung mit Ihrer Betreuung. Zu Auswertungscode siehe Bachelorarbeit mit KI-Code: Auswertung nachvollziehbar prüfen.

Was tun, wenn das Modell nicht mehr verfügbar ist?

Halten Sie das in der Arbeit fest und ordnen Sie Ihre Aussagen als Momentaufnahme ein. Eine lokale, versionierte Variante kann die Wiederholbarkeit verbessern, ist aber aufwendiger.