Wie prüfen wir KI-Ausgaben vor der Weiterverarbeitung?

Das Problem

Eine Garage in Wil verarbeitet Werkstattaufträge. Eine lokale KI liest die Kundenbeschreibung («Auto zieht nach links, Bremsen quietschen») und füllt ein Formular: Kategorie, Dringlichkeit, geschätzte Dauer. Meistens funktioniert das. Aber ab und zu liefert die KI ein Feld nicht, schreibt «dringend» statt der erwarteten Zahl, packt einen Erklärtext um die Daten, und die automatische Verarbeitung bricht mit einer Fehlermeldung ab. Dann bleibt der Auftrag stecken, und niemand merkt es.

Frau Müller aus der Werkstattannahme weiss, dass ein Auftrag verloren gehen kann, wenn die Technik stolpert. Sie möchte erreichen, dass fehlerhafte KI-Antworten erkannt und aufgefangen werden.

Die Lösung ist eine Kontrolle zwischen KI und Weiterverarbeitung: Ein «Schema» beschreibt, wie eine gültige Antwort aussehen muss, und ein Programm prüft jede Antwort dagegen.

So lösen Sie es mit KI – Schritt für Schritt

1. Festlegen, was weiterverarbeitet wird. Notieren Sie, welche Angaben das nachfolgende System braucht: Feldnamen, Art (Text, Zahl, Auswahl) und welche Felder Pflicht sind.

1. Ein festes Format wählen. Üblich ist JSON, eine Schreibweise mit Feldnamen und Werten, etwa {"kategorie": "Bremsen", "dringlichkeit": 2}. Sie ist für Programme leicht lesbar.

1. Ein Schema schreiben. Das Schema beschreibt das erwartete Format: Pflichtfelder, erlaubte Werte, Zahlenbereiche. Ein Muster steht unten. Zum Standard JSON Schema gibt es öffentliche Dokumentation.

1. Die KI zum Format anleiten. Im Auftrag steht das Format mit Beispiel, und bei Diensten, die strukturierte Ausgaben unterstützen, wird das Schema direkt mitgegeben. Prüfen Sie, ob Ihr Dienst das kann, zum Beispiel Ollama in neueren Versionen.

1. Jede Antwort prüfen. Das Programm liest die Antwort als JSON und vergleicht sie mit dem Schema. Ist die Antwort kein gültiges JSON oder verletzt sie das Schema, gilt sie als fehlerhaft.

1. Fehlerfälle behandeln. Zuerst eine begrenzte Anzahl Wiederholungen mit dem Hinweis, was fehlte (zum Beispiel zweimal), danach Übergabe an eine Person. Nie unendlich wiederholen.

1. Inhalt zusätzlich prüfen. Das Schema prüft nur die Form. Ob «Bremsen» zur Beschreibung passt, prüft es nicht. Ergänzen Sie sinnvolle Plausibilitätsregeln und Stichproben von Menschen.

1. Fehler protokollieren. Halten Sie fest, wie oft und warum Antworten abgelehnt wurden. Häufige Fehler zeigen, wo Anweisung oder Schema zu verbessern sind.

Vorlage zum Kopieren

Ein Muster für ein Schema, das ein Auftragsformular beschreibt. Ihre IT-Fachperson passt es an:

{
  "type": "object",
  "properties": {
    "kategorie": { "type": "string", "enum": ["[Kategorie 1]", "[Kategorie 2]", "[Kategorie 3]", "Sonstiges"] },
    "dringlichkeit": { "type": "integer", "minimum": 1, "maximum": 3 },
    "geschaetzte_dauer_stunden": { "type": "number", "minimum": 0 },
    "zusammenfassung": { "type": "string", "maxLength": 300 }
  },
  "required": ["kategorie", "dringlichkeit", "zusammenfassung"],
  "additionalProperties": false
}

Dazu der passende Auftrag an das Modell:

Lies die folgende Kundenbeschreibung und gib ausschliesslich ein JSON-Objekt aus, das genau diesem Schema entspricht:
[Schema einfügen]. Kein Text davor oder danach. Wenn eine Angabe fehlt, lasse das optionale Feld weg.
Erfinde nichts. Kundenbeschreibung: [Text]

Ersetzen Sie Kategorien, Felder und Beschreibung. Die Regel «Erfinde nichts» ersetzt die Prüfung durch das Programm nicht.

Worauf Sie achten müssen

• Form ist nicht Inhalt: Ein gültiges JSON kann trotzdem falsch sein. Das Schema fängt Formfehler ab, nicht Denkfehler.
• Keine endlosen Wiederholungen: Begrenzen Sie die Versuche, sonst entstehen Kosten und Wartezeit. Danach geht der Fall an einen Menschen.
• Fehlende Angaben nicht erfinden lassen: Ein Schema, das ein Feld erzwingt, kann die KI zum Raten verleiten. Erlauben Sie Werte wie «unbekannt» und optionale Felder.
• Datenschutz: Prüfprotokolle enthalten Teile der Eingaben. Speichern Sie nur, was nötig ist, und löschen Sie nach einer festgelegten Frist.
• Sicherheit: Behandeln Sie Antworten der KI wie Eingaben von aussen: nie ungeprüft in Datenbankbefehle oder Programmcode übernehmen. Siehe Parameter von Werkzeugaufrufen prüfen.
• Schema pflegen: Ändert sich das nachfolgende System, muss das Schema angepasst und neu getestet werden.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Garage in Wil nutzt das Schema für ihre Auftragsannahme. Von 200 Testaufträgen entsprechen 187 sofort dem Schema. Bei zehn schreibt die KI die Dringlichkeit als Wort, bei drei fehlt die Zusammenfassung. Das Programm wiederholt die Anfrage mit dem Hinweis auf den Fehler, und neun der Fälle werden korrekt. Vier gehen an die Werkstattleiterin.

Vorher: Jeder Fehler bricht die Verarbeitung ab, und Aufträge bleiben unbemerkt hängen. Nachher: Fehler werden erkannt, wiederholt oder an Frau Müller übergeben, und im Protokoll sehen alle, wie oft das passiert. Bei der Stichprobe findet sie zwei formal gültige, aber fachlich falsche Zuordnungen. Daraufhin wird die Kategorienliste präziser beschrieben.

So hilft Ihnen Alpasana

Wenn Ihre Automatisierung mit KI-Ausgaben arbeitet und stabil laufen soll, kann ready4future ICT unterstützen. Im betreuten ICT-Praxisjahr setzen begleitete Informatiklernende Skripte, Automatisierungen, Schnittstellen, Datenaufbereitung, KI-Workflows und das Auslesen von Dokumenten um. Fachliche Begleitung, Vier-Augen-Prüfung, Dokumentation und Kundenabnahme sind Teil des beschriebenen Vorgehens.

Als Standard dienen Testdaten, anonymisierte oder synthetische Daten.

Häufige Fragen

Reicht es, die KI zu bitten, «nur JSON» auszugeben?

Das hilft, ist aber nicht verlässlich. Manche Modelle fügen Text hinzu oder verlassen das Format. Deshalb gehört die Prüfung ins Programm.

Kann man das Schema weglassen, wenn das Modell gut ist?

Auch gute Modelle machen gelegentlich Fehler. Die Prüfung kostet wenig und verhindert Ausfälle. Verzichten Sie nur bei Anwendungen, in denen ein Fehler keine Folgen hat.

Wie schwierig ist die Prüfung einzurichten?

Für IT-Fachleute ist sie überschaubar, denn es gibt fertige Prüfbibliotheken für gängige Programmiersprachen. Der grössere Aufwand liegt in der Planung der Felder und der Fehlerfälle.