Wie prüfen wir Angaben vor einem KI-Werkzeugaufruf?

Das Problem

Ein KI-Agent übergibt einem angeschlossenen Programm Angaben, zum Beispiel Datum, Betrag und Kundennummer für einen Eintrag. Diese Angaben nennt man Parameter. Der Agent erzeugt sie aus Text und kann sich dabei irren: Er lässt ein Feld weg, schreibt «morgen» statt eines Datums oder liefert eine Zahl als Wort.

Das angeschlossene Programm reagiert unterschiedlich. Im besten Fall meldet es einen Fehler. Im schlechteren Fall nimmt es die Angabe an und speichert Unsinn, zum Beispiel einen Termin im Jahr 1900 oder einen Betrag mit falschem Komma. Solche Fehler fallen oft erst später auf.

Frau Müller möchte, dass nichts im System landet, was nicht plausibel ist. Das gelingt, indem man nicht dem Agenten vertraut, sondern jede Angabe von einer eigenen Prüfschicht kontrollieren lässt.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie pro Werkzeug die Felder fest. Schreiben Sie jedes Feld mit Bedeutung, Pflicht oder optional und Beispiel auf. Die Grundlage dafür ist die Werkzeugbeschreibung.
2. Prüfen Sie die Vollständigkeit. Fehlt ein Pflichtfeld, wird der Aufruf nicht ausgeführt. Die Meldung lautet zum Beispiel: «Pflichtfeld ‹datum› fehlt.»
3. Prüfen Sie den Datentyp. Ein Datum muss ein Datum sein, ein Betrag eine Zahl, eine E-Mail-Adresse muss wie eine solche aufgebaut sein.
4. Prüfen Sie den Wertebereich. Ein Betrag nicht negativ, ein Datum nicht in ferner Vergangenheit, eine Auswahl nur aus der erlaubten Liste. Diese Grenzen legen Sie fachlich fest.
5. Prüfen Sie die Existenz. Gibt es die Kundennummer oder den Ordner überhaupt? Ein Abgleich mit dem Bestand verhindert Aufrufe ins Leere.
6. Prüfen Sie die Zuständigkeit. Darf der Agent mit diesen Werten handeln? Zum Beispiel nur Betrag bis zu einer festgelegten Grenze, höhere Beträge nur mit menschlicher Freigabe, siehe Freigabe einbauen.
7. Geben Sie klare Fehlermeldungen zurück. Der Agent soll lesen können, was falsch war und was er korrigieren soll. «Ungültig» hilft nicht, «datum muss das Format TT.MM.JJJJ haben» schon.
8. Begrenzen Sie die Korrekturversuche. Nach zwei bis drei erfolglosen Versuchen stoppt der Agent und fragt eine Person. Das verhindert Endlosschleifen.
9. Protokollieren Sie abgelehnte Aufrufe. Sie zeigen, wo die Beschreibung oder der Auftrag unklar ist, und verbessern das System.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich eine Prüfliste für die Felder eines Werkzeugs erstellen. Die Umsetzung übernimmt die IT.

Ich möchte die Eingaben eines KI-Agenten vor einem Werkzeugaufruf prüfen lassen.

Werkzeug: [Name und Zweck]
Felder: [Feld 1: Beschreibung], [Feld 2: Beschreibung], ...
Fachliche Regeln: [z. B. Betrag nie negativ, Datum nicht in der Vergangenheit]
Auswirkungen eines Fehlers: [z. B. falsche Buchung, doppelter Eintrag]

Erstelle eine Tabelle: Feld | Pflicht | erwarteter Typ | erlaubter Bereich oder Werte | Prüfung auf Existenz | Fehlermeldung an den Agenten (in einfachen Worten) | Was passiert bei Fehler.

Ergänze:
- fünf Beispiele für fehlerhafte Aufrufe, die abgelehnt werden müssen,
- drei Grenzfälle, die wir von Hand entscheiden sollten.

Erfinde keine Grenzwerte, schreibe «fachlich festlegen» wo es nötig ist.

Ersetzen Sie die Klammern durch die Daten Ihres Werkzeugs. Die Grenzfälle klären Sie vor dem Einbau mit der Fachabteilung.

Worauf Sie achten müssen

• Prüfung ausserhalb des Agenten: Die Kontrolle gehört in das Programm, das das Werkzeug ausführt, nicht in die Anweisung an die KI. Ein Hinweis im Text kann ignoriert werden.
• Böswillige Eingaben: Angaben können versteckte Anweisungen oder Sonderzeichen enthalten, zum Beispiel aus fremden Dokumenten. Prüfen Sie auch deshalb streng, siehe Schutz vor fremden Anweisungen.
• Zu strenge Regeln: Wird fast alles abgelehnt, ist die Beschreibung oder die Regel unklar. Beobachten Sie die Ablehnungsquote.
• Zu lockere Regeln: Prüfen Sie lieber einmal zu viel. Besonders bei Zahlungen, Löschungen und Nachrichten.
• Personendaten: Abgelehnte Aufrufe landen im Protokoll. Speichern Sie dort keine unnötigen Personendaten.
• Ergebnis bleibt zu prüfen: Auch formal korrekte Angaben können inhaltlich falsch sein, etwa der falsche Kunde. Wichtige Aktionen bestätigt eine Person.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reisebüro in St. Gallen lässt einen Agenten Anfragen vorbereiten und Reservationsentwürfe in der Verwaltungssoftware anlegen. Der Agent liefert gelegentlich Daten wie «nächsten Freitag».

Vorher akzeptiert die Software diese Angabe und speichert einen leeren Termin. Nachher steht eine Prüfschicht davor: Datumsfelder müssen im Format TT.MM.JJJJ vorliegen, Teilnehmerzahlen müssen ganze Zahlen über null sein. Der Agent erhält bei «nächsten Freitag» die Rückmeldung «datum muss das Format TT.MM.JJJJ haben», rechnet das Datum aus und versucht es erneut. Nach dem zweiten Fehlversuch fragt er die zuständige Mitarbeiterin.

So hilft Ihnen Alpasana

Eine solche Prüfschicht ist ein kleines Entwicklungsprojekt. Bei ready4future ICT werden laut Leistungsbeschreibung unter anderem Skripte, Automatisierungen, Schnittstellen und Datenaufbereitung sowie KI-Workflows und Assistenten von begleiteten Informatiklernenden umgesetzt.

Zum Vorgehen gehören fachliche Begleitung, Vier-Augen-Prüfung, Dokumentation und Kundenabnahme. Als Standard dienen Testdaten, anonymisierte oder synthetische Daten.

Häufige Fragen

Reicht es, dem Agenten das Format zu erklären?

Nein. Die Erklärung hilft, aber nur eine technische Prüfung verhindert zuverlässig, dass falsche Angaben durchrutschen.

Wer legt die erlaubten Werte fest?

Die Fachabteilung. Sie weiss, welche Beträge und Bereiche im Alltag vorkommen. Die IT setzt die Regeln um.

Was passiert nach einer Ablehnung?

Der Agent erhält die Fehlermeldung und kann seine Angabe korrigieren. Nach wenigen erfolglosen Versuchen gibt er an einen Menschen ab.

Kann auch eine KI die Angaben prüfen?

Sie kann als zusätzliche Kontrolle dienen, ersetzt aber keine feste Regelprüfung. Feste Regeln sind überprüfbar und verhalten sich immer gleich.