KI-Analysecode prüfen: Lassen sich Ergebnisse reproduzieren?

Das Problem

Frau Keller begleitet ein Forschungsprojekt mit KI-erstelltem Analysecode, also einer Folge von Programmanweisungen zur Datenauswertung. Auf einem Laptop erscheint eine plausible Grafik. Beim erneuten Start fehlt jedoch eine Datei, und niemand weiss, welche Bereinigung vorher von Hand vorgenommen wurde.

Reproduzierbarkeit bedeutet hier, dass sich mit demselben Datenstand und einem dokumentierten Ablauf dieselben Ergebnisse beziehungsweise fachlich erklärte Abweichungen erzeugen lassen. Das ist etwas anderes als die Wiederholung einer Studie mit neu erhobenen Daten. Auch ein reproduzierbarer Rechenfehler bleibt ein Fehler.

Die Lehrperson muss nicht jede technische Einzelheit allein beurteilen. Sie braucht aber verständliche Nachweise darüber, was das Programm tut, welche Voraussetzungen es benötigt und wer die methodischen Entscheidungen kontrolliert hat.

So lösen Sie es mit KI – Schritt für Schritt

1. Sichern Sie den Ausgangszustand. Lassen Sie unveränderte Ausgangsdaten, Analyseskript und erzeugte Ergebnisse getrennt ablegen. Verwenden Sie für die Lehrübung künstliche oder freigegebene Daten und überschreiben Sie keine Originaldateien; sensible Forschungsdaten bleiben in der vorgesehenen Umgebung.

1. Lassen Sie den Ablauf erklären. Bitten Sie KI anhand geeigneter Codeausschnitte um eine Beschreibung von Einlesen, Bereinigung, Ausschlüssen, Berechnung und Ausgabe. Prüfen Sie mit einer fachkundigen Person, ob diese Erklärung zum tatsächlichen Programm passt.

1. Dokumentieren Sie die Umgebung. Halten Sie Programmiersprache, verwendete Zusatzpakete und deren tatsächliche Versionen fest. Auch erforderliche Dateien, Startreihenfolge und Einstellungen gehören dazu; eine allgemeine Notiz wie «mit Python gerechnet» reicht nicht.

1. Prüfen Sie die Programmanweisungen vor dem Start. Eine fachkundige Person kontrolliert Dateizugriffe, mögliche Datenübertragungen und Veränderungen. Führen Sie unbekannten Code nicht ungeprüft auf dem Arbeitsrechner aus; nutzen Sie die von der Hochschule vorgesehene Testumgebung.

1. Kontrollieren Sie mit einem kleinen bekannten Beispiel. Berechnen Sie ein einfaches erwartetes Ergebnis unabhängig von der KI. Testen Sie zusätzlich fehlende Werte und ungewöhnliche Eingaben, soweit sie in der Untersuchung vorkommen können; ein fehlerfreier Programmstart ist kein Test der inhaltlichen Richtigkeit.

1. Rechnen Sie aus einem frischen Zustand neu. Starten Sie den dokumentierten Ablauf ohne versteckte Zwischenschritte und mit demselben Datenstand. Bei Zufallsverfahren müssen die relevanten Einstellungen festgehalten werden; mögliche verbleibende Unterschiede sind fachlich zu erklären.

1. Vergleichen und dokumentieren Sie die Ergebnisse. Prüfen Sie Tabellen, Grafiken und zentrale Kennzahlen anhand festgelegter Erwartungen. Lassen Sie eine zweite Person den Ablauf nachvollziehen und halten Sie offene technische oder methodische Fragen fest, bevor Ergebnisse in die Arbeit gelangen.

Vorlage zum Kopieren

Ich begleite eine Lehrübung zur Prüfung von Analysecode.
Freigegebener Codeausschnitt: [Code ohne Zugangsdaten]
Künstliche Beispieldaten und erwartetes Ergebnis: [Angaben]
Dokumentierte Umgebung: [Sprache, Pakete, Versionen]
Beschreiben Sie die Verarbeitungsschritte in verständlicher Sprache.
Markieren Sie Annahmen zu fehlenden Werten, Ausschlüssen, Zufall und Dateien.
Schlagen Sie unabhängige Kontrollrechnungen und sinnvolle Grenzfälle vor.
Führen Sie nichts aus und ergänzen Sie keine unbekannten Datenquellen.
Trennen Sie technische Reproduzierbarkeit von methodischer Angemessenheit.
Alle Vorschläge werden vor einer Ausführung fachlich kontrolliert.

Ersetzen Sie die Platzhalter durch Ihre Lehrsituation und ausschliesslich durch zur Nutzung freigegebene Inhalte.

Welche Nachweise gehören zusammen?

Die Dokumentation The Turing Way zu reproduzierbaren Umgebungen erläutert, weshalb die technische Umgebung zum Forschungsablauf gehört. Für die Lehre reicht die Forderung «Speichern Sie den Chat» nicht: Der Chat kann von der tatsächlich ausgeführten Programmfassung abweichen.

Worauf Sie achten müssen

• Daten begrenzen: Geben Sie keine Personendaten von Studierenden oder Schülerinnen und Schülern in öffentliche KI-Dienste ein. Verwenden Sie für Lehrübungen erfundene Fälle oder freigegebenes Material; prüfen Sie auch Kommentare und angehängte Dateien.
• Fehler erkennen: KI kann plausible, aber falsche Aussagen erzeugen. Eine flüssige Erklärung, eine Quellenangabe oder eine selbst vergebene Sicherheitseinstufung ersetzt keine Kontrolle am Ausgangsmaterial.
• Eigenständigkeit erhalten: Lassen Sie Lernende zuerst einen eigenen Vorschlag festhalten und danach eine Änderung begründen. Besprechen Sie Unsicherheiten persönlich, statt eine KI-Rückmeldung als Urteil über die Person zu behandeln.
• Zugang fair gestalten: Stellen Sie bei Lehrveranstaltungen eine gleichwertige Arbeitsmöglichkeit ohne privaten Bezahlzugang bereit. Klären Sie bei jüngeren Teilnehmenden zusätzlich die Altersbedingungen und die notwendige Begleitung.
• Örtliche Regeln klären: An Schweizer Hochschulen und PH gelten die Vorgaben der jeweiligen Institution und des Moduls; kantonale Rahmenbedingungen können unterschiedlich sein. Klären Sie zulässige Hilfsmittel, Offenlegung und offene Rechtsfragen mit den zuständigen Fachstellen im Einzelfall.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: In einem Seminar in Winterthur berechnet KI-erstellter Code einen Mittelwert. Die Grafik sieht stimmig aus, berücksichtigt aber fehlende Werte anders als vorgesehen. Frau Keller lässt eine kleine erfundene Beispieltabelle von Hand auswerten.

Der Vergleich zeigt die abweichende Behandlung. Nach fachlicher Korrektur dokumentiert das Team die Regel und startet die Analyse aus einem frischen Zustand erneut. Im Bericht kann es nun erklären, welche Daten in die Berechnung eingehen und weshalb.

So hilft Ihnen Alpasana

Mit KI für Developer können Sie die dafür nötige KI-Arbeitsweise üben. Sie lernen, KI bei Programmieraufgaben einzusetzen und Änderungen mit Tests und systematischer Codeprüfung zu kontrollieren. Zum belegten Angebot gehören Fehlersuche, Überarbeitung bestehender Programme, Datenschutzgrenzen und ein eigenes Praxisprojekt.

Für Frau Keller ist das eine Grundlage, um eigene Lehrvorlagen bewusster zu gestalten und Ergebnisse nachvollziehbar zu kontrollieren. Die fachliche Beurteilung wissenschaftlicher Arbeiten und die Freigabe durch Ihre Hochschule bleiben bei den dafür zuständigen Personen.

Häufige Fragen

Reicht derselbe KI-Prompt für die Wiederholung?

Nein, derselbe Auftrag kann zu anderem Code führen. Bewahren Sie die tatsächlich geprüfte und ausgeführte Programmfassung samt Datenstand und Umgebung auf.

Müssen alle Zahlen exakt identisch sein?

Das hängt von Verfahren und technischer Umgebung ab. Legen Sie zulässige Abweichungen fachlich begründet fest, bevor Sie Ergebnisse vergleichen, und behandeln Sie unerklärte Unterschiede als offene Prüffrage.

Was kann ich ohne Programmierkenntnisse beurteilen?

Sie können nach Eingaben, Ausschlüssen, erwarteten Ergebnissen und einem nachvollziehbaren Startablauf fragen. Für Codekontrolle und anspruchsvolle Auswertung brauchen Sie zusätzlich passende technische und methodische Unterstützung.

Für den nächsten Arbeitsschritt helfen Ihnen Literaturreview: Studienmatrix mit KI am Volltext überprüfen und Forschungsdesigns mit KI vergleichen und selbst begründen.