KI-generierten Code auf Sicherheitsrisiken prüfen

Das Problem

Eine KI schreibt in Minuten ein Anmeldeformular, einen Datei-Upload oder eine Suchfunktion. Der Code läuft, die Seite sieht gut aus, der Test mit einem normalen Benutzer klappt. Doch ob er sicher ist, sieht man ihm nicht an.

Sicherheitslücken entstehen oft an Stellen, an denen Programme Eingaben von aussen verarbeiten: Formularfelder, Adressen, hochgeladene Dateien. Wer dort nicht sorgfältig prüft, ermöglicht Angriffe. Ein bekanntes Beispiel ist die SQL-Injection: Ein Angreifer gibt statt eines Namens einen Datenbankbefehl ein, und das Programm führt ihn aus. Ein anderes ist das Einschleusen von Schadcode in Webseiten.

KI-Code kann solche Fehler enthalten, weil er aus Beispielen lernt, auch aus unsicheren, und weil er oft «das Einfachste, was funktioniert» liefert. Hinzu kommen Zugangsdaten, die direkt im Code stehen, fehlende Berechtigungsprüfungen und Hilfsprogramme (Bibliotheken), die veraltet sind oder gar nicht existieren. Wer KI-Code einsetzt, braucht daher eine Sicherheitsprüfung, bevor er in Betrieb geht.

So lösen Sie es mit KI – Schritt für Schritt

1. Sicherheitsanforderungen klären. Was muss geschützt werden: Personendaten, Zahlungen, Zugänge? Wer darf was? Notieren Sie das, bevor Sie prüfen.

1. Eingaben identifizieren. Suchen Sie alle Stellen, an denen Daten von aussen ins Programm kommen: Formulare, Adressparameter, Dateien, Schnittstellen. Jede ist ein möglicher Angriffspunkt.

1. Eingabeprüfung kontrollieren. Werden Eingaben geprüft und bereinigt? Werden Datenbankabfragen mit Platzhaltern (sogenannten parametrisierten Abfragen) aufgebaut statt durch das Zusammenkleben von Text?

1. Ausgaben absichern. Werden Texte, die Benutzer eingegeben haben, vor der Anzeige so umgewandelt, dass sie nicht als Programmcode ausgeführt werden?

1. Zugangsdaten suchen. Durchsuchen Sie den Code nach Passwörtern, Schlüsseln und Zugangsdaten. Sie gehören in eine sichere Konfiguration ausserhalb des Codes, nicht in den Code selbst.

1. Anmeldung und Rechte prüfen. Prüft jede geschützte Seite und jede Funktion, ob der Benutzer angemeldet und berechtigt ist? Werden Passwörter nur als sichere Prüfwerte (Hashes) gespeichert?

1. Abhängigkeiten prüfen. Gibt es jedes genannte Paket wirklich, ist es gepflegt und stammt es von der richtigen Quelle? Prüfen Sie Namen genau, Fantasienamen sind ein Warnsignal.

1. Sicherheitsreview und Test. Lassen Sie den Code von einer zweiten Person mit Sicherheitsblick ansehen und testen Sie gezielt mit bösartigen Eingaben in einer Testumgebung. Dokumentieren Sie Befunde und Korrekturen.

Vorlage zum Kopieren

Du bist Sicherheitsberaterin für Webanwendungen. Prüfe den folgenden Code auf Sicherheitsrisiken. Du gibst Hinweise für meine Prüfung, keine Freigabe.

Sprache/Framework: [z. B. PHP 8, MySQL]
Zweck des Codes: [z. B. Anmeldung und Suche im Kundenportal]
Wer greift darauf zu: [z. B. angemeldete Kunden über das Internet]
Code (ohne echte Passwörter und Schlüssel):
[Code]

Prüfe und nenne konkrete Stellen (Zeile/Funktion) zu:
1. Eingabeprüfung und Bereinigung (z. B. Datenbankabfragen, Dateiupload, Adressparameter)
2. Ausgabe von Benutzereingaben (Schutz vor eingeschleustem Code in Webseiten)
3. Zugangsdaten und Geheimnisse im Code
4. Anmeldung, Sitzungen und Berechtigungsprüfungen
5. Umgang mit Passwörtern
6. Fehlermeldungen, die zu viel verraten
7. Verwendete Bibliotheken: Nenne nur solche, die im Code vorkommen, und weise darauf hin, was ich prüfen soll (Existenz, Pflege, Quelle)

Gib je Fund an: Schweregrad (hoch/mittel/niedrig), Begründung und einen Vorschlag zur Korrektur. Kennzeichne Unsicheres mit [prüfen]. Behaupte nicht, dass der Code sicher sei.

Prüfen Sie jeden Hinweis am Code und lassen Sie die Korrekturen erneut prüfen. Ersetzen Sie echte Schlüssel vor dem Einfügen durch Platzhalter.

Worauf Sie achten müssen

• Erfundene Pakete: KI nennt manchmal Programmpakete, die es nicht gibt. Es wurde beschrieben, dass Angreifer solche Namen registrieren können, um Schadcode zu verbreiten. Prüfen Sie jedes Paket vor der Installation.
• Veraltete Muster: KI übernimmt auch alte, unsichere Beispiele. Vergleichen Sie mit aktuellen Empfehlungen, etwa den Listen der OWASP-Community zu häufigen Schwachstellen in Webanwendungen.
• Geheimnisse: Fügen Sie keine echten Zugangsdaten in KI-Eingaben ein. Siehe API-Schlüssel sicher speichern.
• Hinweise der KI sind kein Prüfbericht: Die KI kann Fehler übersehen oder Probleme melden, die keine sind. Bei Anwendungen mit sensiblen Daten braucht es eine Fachprüfung.
• Datenschutz und Meldepflichten: Bei Sicherheitsvorfällen mit Personendaten können Pflichten bestehen. Informieren Sie sich bei der Fachstelle. Das Nationale Zentrum für Cybersicherheit (NCSC) bietet Informationen und eine Meldestelle.
• Tests mit bösartigen Eingaben: Prüfen Sie nur eigene Systeme und Testumgebungen. Angriffstests auf fremde Systeme sind nicht erlaubt.
• Laufende Pflege: Sicherheit endet nicht mit dem Start. Aktualisieren Sie Bibliotheken und beobachten Sie Meldungen zu Schwachstellen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Entwickler in einem Aargauer Betrieb lässt eine KI ein Kundenportal mit Anmeldung und Rechnungsansicht schreiben. Der Prototyp läuft. Vor der Inbetriebnahme prüft er den Code mit der Checkliste.

Er findet drei Dinge: Die Suche baut die Datenbankabfrage durch Zusammenfügen von Text auf, was SQL-Injection erlaubt. Das Datenbankpasswort steht direkt im Code. Die Seite, die Rechnungen als PDF liefert, prüft nicht, ob die Rechnung dem angemeldeten Kunden gehört: Wer die Nummer in der Adresse ändert, sieht fremde Rechnungen. Er korrigiert alle drei Stellen, lässt einen Kollegen den Code ansehen und testet die Seite mit absichtlich veränderten Eingaben in der Testumgebung. Erst danach geht das Portal in Betrieb.

So hilft Ihnen Alpasana

Im Kurs KI für Developer mit Claude und Codex von absofort lernen Sie, Aufgaben an KI zu delegieren und die Ergebnisse systematisch zu verifizieren. Nach Kursbeschreibung zählen LLM-Grundlagen, Codegenerierung, Debugging, Review und ein Entwickler-Playbook mit Prompts, Review-Regeln, Tests und Datenschutzgrenzen dazu.

Eine Sicherheitsprüfung Ihrer Anwendung ist damit nicht verbunden. Der Kurs stärkt die Arbeitsweise, mit der Sie KI-Code kontrolliert nutzen.

Häufige Fragen

Kann die KI ihren eigenen Code auf Sicherheit prüfen?

Sie kann Hinweise geben, aber sie übersieht Fehler und kann sich irren. Eine zweite Person und gezielte Tests bleiben nötig, besonders bei sensiblen Daten.

Genügt ein Werkzeug zur automatischen Sicherheitsprüfung?

Solche Werkzeuge finden viele bekannte Muster und sind eine gute Ergänzung. Sie ersetzen aber das Nachdenken über Rechte, Abläufe und Fehlannahmen nicht.

Was, wenn ich nichts von Sicherheit verstehe?

Beziehen Sie eine Fachperson ein, bevor eine Anwendung mit Personendaten oder Zahlungen ins Internet geht. Die Checkliste hilft Ihnen, die richtigen Fragen zu stellen.