Wenn KI Computerbefehle ausführt: Welche Kontrollen fehlen?

Das Problem

Manche KI-Werkzeuge schreiben nicht nur Text, sondern geben auch Befehle in ein Terminal ein oder steuern Ihren Computer direkt: Programme installieren, Dateien kopieren, Einstellungen ändern, Skripte laufen lassen. Für technische Aufgaben ist das praktisch. Die KI behebt einen Fehler, indem sie ihn gleich selbst ausprobiert.

Für den Betrieb heisst das aber: Die KI handelt mit den Rechten der Person, die sie gestartet hat. Hat diese Person Administratorrechte, hat auch die KI sie. Ein falscher Befehl, ein Tippfehler im Pfad oder ein von Dritten untergeschobener Auftrag können reichen, damit Dateien verschwinden, Programme geladen werden oder vertrauliche Daten das Gerät verlassen.

Ein Mensch denkt bei einem Löschbefehl innerhalb von Sekunden: «Moment, das ist der falsche Ordner.» Eine KI führt oft einfach aus. Deshalb braucht es Kontrollen, die nicht von der Aufmerksamkeit der KI abhängen.

Welche Kontrollen sind nötig?

Zur Umgebung: Was ist eine Sandbox für KI-Agenten?.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie, ob die Befehlsausführung nötig ist. Oft genügt es, dass die KI einen Befehl vorschlägt und ein Mensch ihn ausführt. Das ist die sicherste Variante.
2. Wählen Sie die Umgebung. Ausführung wenn möglich nur in einer abgeschirmten Umgebung (virtuelle Maschine, Container, Testsystem), nicht auf dem Arbeitsgerät oder Produktivsystem.
3. Vergeben Sie ein eigenes Konto mit minimalen Rechten. Kein Administrator, kein Zugriff auf Ordner mit Kundendaten oder Zugangsdaten. Siehe Minimale Rechte für KI.
4. Aktivieren Sie die Freigabe vor jedem Befehl. Wenn das Werkzeug es erlaubt, soll jeder Befehl vor der Ausführung sichtbar sein und bestätigt werden. Prüfen Sie, ob es auch Befehlsketten (mehrere Befehle in einem) anzeigt.
5. Sperren Sie gefährliche Befehle. Löschen ganzer Ordner, Formatieren, Ändern von Benutzern und Rechten, Software-Installation, Änderungen am Netzwerk. Lassen Sie von Ihrer IT eine Sperrliste einrichten.
6. Beschränken Sie das Netzwerk. Nur Verbindungen, die für die Aufgabe nötig sind. Siehe Netzwerkzugriff begrenzen.
7. Machen Sie eine Sicherung und testen Sie. Probieren Sie die Aufgabe mit unwichtigen Daten und einem harmlosen Auftrag aus. Beobachten Sie, was sie ausführt.
8. Protokollieren und prüfen Sie. Lesen Sie die Befehlsprotokolle und passen Sie Regeln an.

Vorlage zum Kopieren

Mit diesem Auftrag bereiten Sie eine Freigabecheckliste vor, bevor Sie einer KI Befehle erlauben. Geben Sie keine Zugangsdaten ein:

Wir möchten einer KI erlauben, auf [Gerät/System, z. B. einem Testserver] Computerbefehle auszuführen, um [Aufgabe, z. B. eine Programmierumgebung einzurichten].
Betriebssystem: [z. B. Linux/Windows]. Das Werkzeug heisst [Name, falls bekannt].
Erstelle eine Prüfliste mit Fragen zu: Umgebung (Sandbox oder echtes System), Rechte des ausführenden Kontos, Freigabe vor Befehlen, Sperrliste und Erlaubnisliste, Netzwerkzugang, erreichbare Dateien und Zugangsdaten, Protokollierung, Sicherung und Wiederherstellung, Abbruchmöglichkeit.
Sage bei jedem Punkt, woran wir erkennen, dass er erfüllt ist. Behaupte nichts über Funktionen des Werkzeugs, sondern nenne, was wir in den Einstellungen oder bei der IT prüfen lassen müssen.

Gehen Sie die Liste mit der IT durch. Erst wenn alle Punkte geklärt sind, starten Sie den ersten Test.

Worauf Sie achten müssen

• Verkettete Befehle: Mehrere Befehle in einer Zeile können mehr tun, als der Vorschlag vermuten lässt. Lesen Sie die vollständige Zeile.
• Gewöhnung: Wer hundertmal «Ausführen» bestätigt hat, bestätigt auch den hundertersten Fehler. Schaffen Sie lieber Rechte ab, als alles nachzufragen.
• Versteckte Anweisungen: Dateien, Webseiten oder Fehlermeldungen können Anweisungen enthalten, die die KI befolgt. Siehe Was ist Prompt Injection?. Das Risiko übermässiger Befugnisse nennt auch das OWASP-Projekt.
• Erzeugter Code: Vor dem Ausführen von Code, den die KI geschrieben hat, lohnt eine Prüfung, siehe Ausgaben vor Codeausführung prüfen.
• Schadsoftware: Nachgeladene Software kann Schadcode enthalten. Das BACS informiert über aktuelle Bedrohungen.
• Verantwortung: Verantwortlichkeiten hängen von Rolle, Umständen und anwendbarem Recht ab; definieren Sie intern klare Zuständigkeiten und lassen Sie die rechtliche Einordnung im Einzelfall prüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein IT-Dienstleister in Baden lässt einen KI-Assistenten den Kundenserver aufräumen: «Entferne alte Protokolldateien und gib Speicherplatz frei.»

Vorher: Der Assistent hat Administratorrechte und führt die Befehle direkt aus. Er löscht nicht nur die Protokolle, sondern einen Ordner mit Konfigurationsdateien, der ähnlich benannt war. Der Dienst fällt aus.

Nachher: Der Dienstleister lässt die KI auf einem Testserver arbeiten, der eine Kopie ist. Sie darf nur Befehle ausführen, die ein Techniker vorab sieht und bestätigt, Löschbefehle ausserhalb des Protokollordners sind gesperrt. Auf dem echten Server führt der Techniker die geprüften Befehle selbst aus, nach einer Sicherung.

So hilft Ihnen Alpasana

Wer KI-Werkzeuge mit Befehlsausführung einsetzt, braucht Kenntnis von Rechten, Tests und Review. Der Kurs KI für Developer mit Claude und Codex von absofort behandelt laut Beschreibung Claude, Claude Code, Claude API und Codex als Kursgegenstände, das Delegieren von Aufgaben und das Verifizieren der Ergebnisse, Debugging und Review sowie Datenschutzgrenzen und Tests im Entwickler-Playbook.

Die Absicherung Ihrer eigenen Systeme übernehmen Ihre IT-Verantwortlichen.

Häufige Fragen

Ist es sicher, wenn jeder Befehl bestätigt werden muss?

Es hilft, ist aber nicht genug. Befehle können unverständlich sein, und die Bestätigung wird mit der Zeit zur Gewohnheit. Kombinieren Sie sie mit eingeschränkten Rechten und einer abgeschirmten Umgebung.

Darf die KI Software installieren?

Auf einem Arbeitsgerät besser nicht. Software-Installationen verändern das System und können Schadcode einführen. Nutzen Sie dafür eine abgeschirmte Umgebung oder lassen Sie Installationen die IT durchführen.

Was ist mit KI-Werkzeugen, die meinen ganzen Bildschirm bedienen?

Sie handeln mit Ihren Rechten in allen offenen Programmen. Verwenden Sie sie nur mit abgeschlossenen Fenstern, ohne sensible Anmeldungen und mit Bestätigungen. Für vertrauliche Arbeiten sind sie nicht geeignet.