Wie sammeln und bearbeiten wir Fehler im KI-Pilot?

Das Problem

Im Pilot treten laufend Fehler auf: Die KI erfindet eine Angabe, verwechselt zwei Kunden, schreibt im falschen Ton, übersieht eine Zeile, antwortet auf Englisch. Jede Testperson erzählt von «ihrem» Fehler. Manche gehen per Mail an die Projektleiterin, andere stehen im Chat, wieder andere werden mündlich in der Kaffeepause erwähnt.

Das Ergebnis: Niemand hat den Überblick. Wichtige Fehler gehen unter, kleine werden mit grossem Aufwand behoben, und gleiche Fehler treten wiederholt auf. Am Ende des Pilots lässt sich nicht sagen, welche Fehler es gab, welche behoben wurden und welche offen sind.

Mit einer einfachen Fehlerliste und einem klaren Ablauf wird das Chaos zum Verbesserungsprozess. Das Prinzip ist aus der Qualitätssicherung bekannt und passt gut zu KI-Piloten.

Wie ordnen Sie Fehler?

So lösen Sie es mit KI – Schritt für Schritt

1. Richten Sie eine zentrale Fehlerliste ein. Eine gemeinsame Tabelle oder ein einfaches Ticketsystem. Alle melden dort, nicht per Mail oder mündlich.
2. Definieren Sie das Raster. Nummer, Datum, Meldende Person, Beschreibung, Eingabe (anonymisiert), erwartetes und tatsächliches Ergebnis, Schwere, Häufigkeit, Status. Das Testprotokoll liefert Daten dafür, siehe Testprotokoll.
3. Legen Sie Schweregrade fest. Kritisch heisst: Ein Fehler könnte Kundinnen schaden, vertrauliche Daten preisgeben oder Rechte verletzen. Er stoppt gegebenenfalls den Pilot.
4. Sichten Sie die Meldungen regelmässig. Zum Beispiel zweimal pro Woche in einer kurzen Besprechung. Dubletten zusammenführen, Unklares nachfragen.
5. Priorisieren Sie. Zuerst kritische, dann häufige und gravierende Fehler. Seltene kleine Fehler können warten oder bleiben bewusst bestehen.
6. Suchen Sie die Ursache. Liegt es am Auftrag (unklar formuliert), an den Daten (veraltet, widersprüchlich), am Werkzeug (Grenze des Modells) oder am Prozess (fehlende Prüfung)? Die Ursache bestimmt die Lösung. Hilfe: Fehlerquote messen.
7. Beheben Sie und halten Sie fest, was geändert wurde. Auftrag anpassen, Daten bereinigen, Regel ergänzen, Prüfschritt einführen. Jede Änderung mit Datum.
8. Testen Sie nach. Wiederholen Sie die betroffenen Testfälle und prüfen Sie, ob der Fehler weg ist und nichts Neues kaputtging. Siehe Testfälle.
9. Schliessen Sie den Fehler ab. Mit Ergebnis des Nachtests, oder entscheiden Sie bewusst, ihn zu akzeptieren, mit Begründung und Prüfschritt.
10. Werten Sie am Ende aus. Welche Fehlerarten dominierten, welche Ursachen? Das gehört in den Abschlussbericht.

Vorlage zum Kopieren

Mit diesem Auftrag bereiten Sie eine Fehlermeldung zur Analyse auf. Verwenden Sie anonymisierte Beispiele:

In unserem KI-Pilot ([Aufgabe, z. B. Kundenmails sortieren und Antwortentwürfe schreiben]) ist folgender Fehler aufgetreten:
Eingabe (anonymisiert): [Text]. Erwartetes Ergebnis: [Text]. Tatsächliches Ergebnis: [Text]. Häufigkeit: [einmalig/gelegentlich/oft].
Unser Auftrag an die KI lautet: [Auftrag einfügen].
Analysiere:
1. Welche Ursachen kommen in Frage (unklarer Auftrag, fehlende Information, Grenze des Modells, Prozess)? Nenne sie nach Wahrscheinlichkeit und begründe knapp.
2. Welche Änderungen am Auftrag oder Ablauf würdest du vorschlagen?
3. Welche Testfälle sollten wir ergänzen, um zu prüfen, ob der Fehler behoben ist?
Erfinde keine Fakten über das Werkzeug. Sage, wo du unsicher bist.

Die Analyse liefert Hypothesen. Ob eine Änderung hilft, zeigt erst der Nachtest.

Worauf Sie achten müssen

• Alle Fehler melden dürfen: Wer für Fehlermeldungen kritisiert wird, meldet nicht mehr. Schaffen Sie eine Kultur, in der Fehler willkommene Information sind, siehe Fehlerkultur im Team.
• Datenschutz: Fehlermeldungen können Personendaten enthalten. Anonymisieren Sie Beispiele.
• Nicht jeder Fehler ist behebbar: KI-Fehler lassen sich oft nur reduzieren, nicht beseitigen. Legen Sie fest, welche Restfehler akzeptabel sind und wie sie abgefangen werden (Prüfschritt).
• Seiteneffekte: Jede Änderung kann andere Ergebnisse beeinflussen. Deshalb der Nachtest mit mehreren Fällen.
• Zusammenhang erkennen: Häufen sich ähnliche Fehler, liegt oft eine gemeinsame Ursache vor.
• Verantwortung: Benennen Sie eine Person für die Fehlerliste, sonst bleibt sie liegen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Holzbaubetrieb in Langenthal testet eine KI, die Kundenanfragen kategorisiert und Offertentwürfe vorbereitet.

Vorher: Fehler werden per Mail, Chat und mündlich gemeldet. Nach vier Wochen sagt der Geschäftsführer: «Es gibt viele Probleme, aber ich weiss nicht, welche.» Die Projektleiterin behebt, was ihr am meisten auffiel, nicht, was am schwersten wog.

Nachher: Eine gemeinsame Liste mit Schwere und Häufigkeit zeigt: Zwei kritische Fehler (erfundene Preisangaben) und ein häufiger mittlerer Fehler (falsche Kategorie bei Anbauten). Die Ursache der Preisfehler ist ein zu offener Auftrag. Das Team verbietet Preisangaben, passt die Kategorien an und testet nach. Beide Fehlerarten treten danach in den Testfällen nicht mehr auf.

So hilft Ihnen Alpasana

Ein geordneter Umgang mit Fehlern gehört zu jedem Pilot. Die KI-Beratung und digitale Transformation von Alpasana unterstützt dabei, Prozesse aufzunehmen, Vorhaben zu priorisieren und einen Umsetzungsplan zu erstellen, ausserdem bei der Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie beim Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Welches Werkzeug brauche ich für die Fehlerliste?

Eine gemeinsame Tabelle genügt für kleine Piloten. Bei grösseren Projekten bietet sich ein einfaches Ticketsystem an. Wichtig ist, dass alle denselben Ort nutzen.

Wie schnell muss ich Fehler beheben?

Kritische Fehler sofort oder mit Stopp des betroffenen Bereichs, andere nach Priorität. Legen Sie Reaktionszeiten für die Schweregrade fest.

Was, wenn ein Fehler nicht reproduzierbar ist?

Notieren Sie Eingabe, Version und Zeitpunkt. Prüfen Sie, ob er wieder auftritt. Bei Sprachmodellen sind Schwankungen normal. Beobachten Sie die Häufigkeit über mehrere Durchläufe.