Wie prüfen wir Code, den eine KI geschrieben hat?

Das Problem

In vielen Betrieben schreibt heute jemand ein Skript oder ein internes Werkzeug mit Hilfe einer KI. Das geht erstaunlich schnell und sieht auf den ersten Blick gut aus. Gerade deshalb besteht die Gefahr, dass der Code ohne gründliche Kontrolle in den Betrieb geht.

Programmcode von einer KI kann Fehler enthalten, unsichere Stellen haben oder Dinge tun, die niemand bestellt hat. Er kann sogar Passwörter im Klartext ablegen oder Bausteine anderer Anbieter einbinden, die niemand kennt. Das Risiko liegt weniger im Schreiben als im blinden Vertrauen.

Die Lösung ist ein einfacher, fester Prüfablauf nach dem Vier-Augen-Prinzip: Eine zweite Person prüft jede Änderung, bevor sie eingesetzt wird. Fachleute nennen das Code Review (Durchsicht des Programmcodes durch eine andere Person).

So lösen Sie es mit KI – Schritt für Schritt

1. Regel festlegen: Schreiben Sie in einem Satz: «Kein Code geht in den Betrieb, den nicht eine zweite Person geprüft und freigegeben hat.» Gilt für alle, auch für Geschäftsleitung und Praktikantin.
2. Änderung klein halten: Verlangen Sie kleine, überschaubare Änderungen mit einer kurzen Beschreibung, was sie bewirken. Grosse Pakete werden erfahrungsgemäss nur überflogen.
3. Erklärung einholen: Die Autorin der Änderung muss in eigenen Worten erklären können, was der Code tut. Kann sie das nicht, ist er nicht reif für den Betrieb.
4. Checkliste abarbeiten: Gehen Sie die Tabelle unten Punkt für Punkt durch. Haken Sie ab oder notieren Sie Mängel.
5. KI als zusätzliche Leserin nutzen: Lassen Sie eine zweite, unabhängige KI-Sitzung den Code prüfen. Sie ergänzt, ersetzt aber die menschliche Prüfung nicht.
6. Tests ansehen: Prüfen Sie, ob Tests vorhanden sind und ob sie erfolgreich laufen. Fehlen sie, lassen Sie welche erstellen.
7. Freigabe dokumentieren: Halten Sie fest, wer wann was geprüft hat und mit welchem Ergebnis. Eine einfache Notiz im Änderungsprotokoll genügt.
8. Erst dann einsetzen: Änderungen kommen zuerst in eine Testumgebung. Wenn es dort funktioniert, geht es in den Betrieb.

Checkliste für die Prüfung

Zu fremden Bausteinen lesen Sie Wie prüfen Entwickler die von KI vorgeschlagenen Code-Bausteine?. Wie Sie Code vor der ersten Ausführung absichern, steht unter KI-generierten Code vor der Ausführung sicher prüfen.

Vorlage zum Kopieren

Du bist eine kritische Prüferin für Programmcode. Prüfe die folgende Änderung.
Zweck der Änderung laut Auftrag: [kurze Beschreibung]
Programmiersprache und Umgebung: [z. B. Python-Skript auf einem Büro-PC]

Prüfe und berichte getrennt nach: 1. Tut der Code, was der Auftrag verlangt?
2. Gibt es Sicherheitsprobleme (Passwörter im Code, ungeprüfte Eingaben, Datenabfluss)?
3. Ist der Code für eine andere Person verständlich? 4. Welche Tests fehlen?
5. Welche Bausteine von Dritten werden verwendet?
Gib zu jedem Punkt «unbedenklich», «prüfen» oder «Mangel» an, mit kurzer Begründung.
Sage ehrlich, was du nicht beurteilen kannst. Hier ist der Code (ohne Geheimnisse und Kundendaten): [Code]

Passen Sie Zweck und Umgebung an. Fügen Sie Code nur ein, wenn Ihre Firmenregeln das erlauben und alles Vertrauliche entfernt ist.

Worauf Sie achten müssen

• Datenschutz: Quellcode kann Geschäftsgeheimnisse und Zugangsdaten enthalten. Klären Sie intern, welcher Code in welches KI-Programm darf. Siehe Welche Firmendaten gehören nicht in einen Coding-Assistenten?.
• Schein-Prüfung: Eine KI-Prüfung kann Mängel übersehen oder erfinden. Sie ist eine Hilfe, kein Prüfsiegel.
• Fachlichkeit: Wer nicht programmiert, kann nicht jede Zeile beurteilen. Verlangen Sie dann einen schriftlichen Bericht der prüfenden Fachperson.
• Zeitdruck: Die Prüfung wird bei Hektik zuerst gestrichen. Planen Sie sie fest in den Ablauf ein.
• Weitere Hilfen: Allgemeine Sicherheitsrisiken beschreibt etwa das Open Web Application Security Project (OWASP). Aktuelle Hinweise für die Schweiz veröffentlicht das Nationale Zentrum für Cybersicherheit (NCSC).

Ein Beispiel aus der Praxis

Ein Beispiel: In einer Immobilienverwaltung in Zug hat ein Mitarbeiter mit KI-Hilfe ein Skript gebaut, das Mieterlisten aus Excel in Serienbriefe verwandelt. Vorher wird es ohne Prüfung auf dem gemeinsamen Laufwerk abgelegt und von allen genutzt.

Nachher gilt die Zwei-Personen-Regel. Eine Kollegin liest die Beschreibung und lässt sich das Skript erklären. Eine zweite KI-Sitzung weist darauf hin, dass das Skript eine Zwischendatei mit allen Adressen im öffentlichen Ordner ablegt. Das Team ändert den Speicherort, bevor das Skript offiziell genutzt wird.

So hilft Ihnen Alpasana

Für Personen, die selbst entwickeln, bietet absofort den Kurs KI für Developer mit Claude und Codex. Er behandelt laut Beschreibung Review, Tests und das Kontrollieren von Änderungen und enthält ein Entwickler-Playbook mit Review-Regeln.

Wenn Sie die Prüfung nicht selbst abdecken können, kennt ready4future ICT ein Vorgehen mit Vier-Augen-Prüfung und Senior-Review vor der Abnahme. Das gilt für dort umgesetzte Arbeiten.

Häufige Fragen

Reicht es, wenn eine zweite KI den Code prüft?

Nein. Eine zweite KI-Sitzung kann auf Fehler hinweisen, aber sie versteht Ihren Betrieb nicht und kann sich irren. Eine Person muss die Verantwortung übernehmen und die Freigabe erteilen.

Wie gründlich muss ein Review bei einem kleinen Skript sein?

Das hängt vom Risiko ab. Ein Skript, das nur eigene Notizen sortiert, braucht weniger als eines, das Kundendaten verarbeitet oder Zahlungen auslöst. Legen Sie die Stufen vorher fest.

Wer prüft, wenn wir keine eigene IT haben?

Das kann eine externe Fachperson oder ein IT-Dienstleister sein. Wichtig ist, dass die Prüfenden unabhängig von den Autoren sind und ihr Ergebnis schriftlich festhalten.