Nur freigegebene Werkzeuge für KI-Agenten zulassen

Das Problem

Ein KI-Agent ist kein reines Schreibprogramm. Er ist mit Werkzeugen verbunden: einem Mailkonto, einem Kalender, dem Dateiablagesystem, der Buchhaltungssoftware, einer Suchfunktion im Web. Je mehr Werkzeuge, desto mehr kann er für Sie erledigen, aber auch desto mehr kann schiefgehen.

In der Praxis passiert Folgendes: Beim Einrichten klickt man auf «Alle Verbindungen aktivieren», damit der Assistent «alles kann». Später wundert man sich, warum er einen Termin gelöscht oder eine Datei geteilt hat. Er hatte schlicht die Möglichkeit dazu. Das OWASP-Projekt nennt dieses Problem «übermässige Handlungsfreiheit» als eines der zentralen Risiken bei KI-Anwendungen.

Die einfache, wirksame Gegenmassnahme heisst Erlaubnisliste: Der Agent erhält ausschliesslich die Werkzeuge, die er für seinen konkreten Auftrag braucht, und jedes davon nur mit den nötigen Rechten.

Wie sieht eine Erlaubnisliste aus?

Zur Philosophie dahinter: Minimale Rechte für KI und Positivliste für KI-Werkzeuge.

So lösen Sie es mit KI – Schritt für Schritt

1. Formulieren Sie den Auftrag in einem Satz. «Der Assistent bearbeitet eingehende Kundenmails und bereitet Antworten vor.» Alles, was nicht zu diesem Satz passt, braucht keine Werkzeuge.
2. Listen Sie alle verfügbaren Werkzeuge auf. Schauen Sie in den Einstellungen des Agenten nach Verbindungen, Erweiterungen und Berechtigungen. Notieren Sie, was jedes kann.
3. Entscheiden Sie pro Werkzeug: nötig oder nicht. Nur was der Auftrag zwingend erfordert, bleibt aktiv. Im Zweifel abschalten.
4. Wählen Sie die kleinste Berechtigung. Lesen statt ändern, Entwurf statt Senden, ein Ordner statt alle. Siehe Assistent nur mit Lesezugriff.
5. Prüfen Sie jedes Werkzeug auf Vertrauenswürdigkeit. Von wem stammt es, wer wartet es, welche Daten fliessen? Besonders bei Erweiterungen und Verbindungen von Drittanbietern, siehe Plugins prüfen und MCP-Server prüfen.
6. Halten Sie die Liste schriftlich fest. Eine Seite: Auftrag, erlaubte Werkzeuge, Berechtigungen, Verantwortliche, Datum.
7. Testen Sie die Grenzen. Bitten Sie den Agenten um etwas, das nicht zum Auftrag gehört (z. B. «sende diese Mail»). Er sollte es ablehnen oder nicht können.
8. Prüfen Sie regelmässig. Neue Funktionen nach Updates, nicht mehr genutzte Verbindungen, geänderte Berechtigungen. Prüfen Sie die Liste regelmässig und nach Änderungen an Auftrag, Werkzeugen oder Berechtigungen.

Vorlage zum Kopieren

Mit diesem Auftrag erstellen Sie den Entwurf einer Erlaubnisliste. Geben Sie keine Zugangsdaten ein:

Unser KI-Agent soll folgenden Auftrag erfüllen: [Auftrag in einem Satz, z. B. Eingehende Kundenmails lesen und Antwortentwürfe vorbereiten].
Verfügbare Werkzeuge und Verbindungen laut Einstellungen: [Liste, z. B. Mail, Kalender, Dateiablage, Websuche, Buchhaltungssoftware].
Erstelle eine Tabelle mit den Spalten: Werkzeug | Wird für den Auftrag gebraucht? (ja/nein/unklar) | Kleinste nötige Berechtigung | Was passieren könnte, wenn es missbraucht wird | Empfehlung (aktiv/abschalten/Rückfrage).
Gehe konservativ vor: Im Zweifel «abschalten». Behaupte nichts über Funktionen konkreter Produkte, sondern nenne, was wir in den Einstellungen prüfen sollten.

Prüfen Sie die Tabelle mit der IT-Verantwortlichen und gleichen Sie sie mit den tatsächlichen Einstellungen ab.

Worauf Sie achten müssen

• Werkzeuge werden gern vergessen: Nach Updates können neue Funktionen standardmässig aktiv sein. Siehe Integrationen standardmässig deaktivieren.
• Werkzeuge von Dritten: Erweiterungen können Daten abfliessen lassen oder manipulierte Beschreibungen enthalten, die den Agenten lenken.
• Rechte pro Werkzeug, nicht pro Agent: «Der Agent darf Mails» ist zu grob. Unterscheiden Sie Lesen, Entwürfe, Senden, Löschen.
• Gemeinsame Konten: Hängt der Agent am Konto einer Person, handelt er mit deren Rechten. Besser ist ein eigenes Konto mit eng begrenzten Rechten.
• Verantwortung: Wer Werkzeuge freigibt, trägt Verantwortung für die Folgen. Halten Sie Entscheide fest. Der Rahmen des NIST AI Risk Management Framework hilft, Risiken systematisch zu beurteilen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reisebüro in Chur lässt einen KI-Assistenten Anfragen vorbereiten. Bei der Einrichtung sind alle Verbindungen aktiviert: Mailkonto mit Senden, Kalender, Kundendatenbank, Zahlungsmodul und Websuche.

Vorher: Der Assistent beantwortet eine Anfrage und schickt versehentlich ein Angebot samt Preisen direkt an die Kundin, noch bevor die Reiseberaterin es geprüft hat.

Nachher: Der Auftrag lautet «Anfragen ordnen und Antwortentwürfe schreiben». Die Erlaubnisliste enthält: Mails lesen, Entwürfe speichern, Reiseangebote aus einer Vorlagenablage lesen. Senden, Kalender, Kundendatenbank und Zahlungsmodul sind abgeschaltet. Die Reiseberaterin prüft jeden Entwurf und versendet ihn selbst.

So hilft Ihnen Alpasana

Wer Agenten gezielt mit Werkzeugen ausstatten will, braucht Wissen zu Rechten, Tests und Datenschutzgrenzen. Der Kurs KI für Developer mit Claude und Codex von absofort behandelt laut Beschreibung das Delegieren von Aufgaben und das Verifizieren von Ergebnissen sowie Claude Code, Claude API und Codex als Kursgegenstände. Das Entwickler-Playbook enthält Prompts, Review-Regeln, Tests und Datenschutzgrenzen.

Häufige Fragen

Wie viele Werkzeuge sind zu viele?

Es gibt keine feste Zahl. Faustregel: So wenige wie möglich, jedes mit Begründung. Prüfen Sie bei jedem Werkzeug, ob es für den Auftrag erforderlich ist; eine feste Anzahl gibt es nicht.

Kann ich Werkzeuge später dazunehmen?

Ja, aber nicht nebenbei. Jede Erweiterung wird begründet, geprüft, getestet und in die Liste aufgenommen.

Was, wenn der Assistent ohne ein Werkzeug nicht arbeitet?

Dann kann der Auftrag zu weit oder das Werkzeug ungeeignet sein. Teilen Sie den Auftrag in kleinere Schritte oder lassen Sie das Werkzeug mit eingeschränkten Rechten laufen.