Warum verschlechtert sich unsere KI mit der Zeit?

Das Problem

Im Frühling war das Team begeistert: Die interne KI beantwortete Fragen zu Abläufen treffend und zuverlässig. Im Herbst häufen sich die Klagen. Antworten sind ungenau, verweisen auf alte Regeln oder gehen an der Frage vorbei. Dabei hat niemand das Modell gewechselt.

Dieses schleichende Nachlassen nennt man Drift, wörtlich «Abdriften». Gemeint ist: Die Qualität verändert sich langsam, ohne dass ein einzelner Fehler auffällt. Gerade weil es schleichend geschieht, bemerkt man es oft erst, wenn das Vertrauen schon weg ist.

Frau Müller fragt sich: «Hat die KI etwas verlernt?» Meistens nicht. Ein einmal installiertes Modell verändert sich nicht von selbst. Verändert hat sich fast immer das Umfeld.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie, was sich geändert hat. Fragen Sie die IT: Gab es Updates am Programm, neue Einstellungen, ein anderes Modell oder neu eingespielte Dokumente? Notieren Sie Datum und Änderung. Oft findet sich hier schon die Ursache, siehe Updates im Betrieb.
2. Prüfen Sie die Wissensquellen. Antwortet die KI aus Firmendokumenten, kann sie nur so aktuell sein wie diese. Sind Richtlinien neu und die Ablage alt, liefert sie Überholtes. Lesen Sie dazu Alte Dokumente aussortieren.
3. Vergleichen Sie mit Ihren Testfragen. Lassen Sie dieselben 20 bis 30 Fragen von damals nochmals beantworten und bewerten Sie diese mit demselben Raster. Das ist der wichtigste Schritt, siehe Testfragen sammeln.
4. Bewerten Sie nach festen Kriterien. Richtig, teilweise richtig, falsch, veraltet. Ein Bewertungsraster macht Eindrücke vergleichbar: Antworten bewerten.
5. Schauen Sie auf neue Fragen. Haben sich Themen verschoben, etwa wegen eines neuen Produkts oder einer Gesetzesänderung? Fragen, die es beim Start nicht gab, sind oft schlecht abgedeckt.
6. Sammeln Sie Rückmeldungen. Daumen hoch oder runter und ein kurzes Freitextfeld zeigen, wo es hakt. Mehr in Nutzerfeedback auswerten.
7. Beheben Sie die Ursache, nicht das Symptom. Dokumente aktualisieren, Anweisungen überarbeiten, Einstellungen zurücksetzen oder Modell wechseln. Ändern Sie immer nur eines und testen Sie danach neu.
8. Legen Sie einen festen Rhythmus fest. Zum Beispiel eine Kurzprüfung pro Quartal und eine zusätzliche nach jeder Änderung.

Vorlage zum Kopieren

Mit diesem Auftrag werten Sie Ihre Vergleichsergebnisse strukturiert aus. Fügen Sie nur anonymisierte oder erfundene Beispiele ein.

Unsere interne KI liefert zunehmend unpassende Antworten. Hilf mir, die Ursache einzugrenzen.

Unsere Beobachtungen:
- Seit wann: [Datum oder Zeitraum]
- Typische Fehler: [z. B. veraltete Auskunft, ausweichende Antworten, falsche Sprache]
- Bekannte Änderungen seither: [Update, neue Dokumente, neue Einstellungen]
- Ergebnis der letzten Testrunde im Vergleich zur ersten: [Beschreibung]

Aufgabe:
1. Liste mögliche Ursachen auf, nach Wahrscheinlichkeit geordnet (Dokumente, Einstellungen, Fragen, Programm).
2. Schlage zu jeder Ursache einen einfachen Prüfschritt vor.
3. Sage klar, was du aus meinen Angaben nicht beurteilen kannst.
4. Entwirf einen Quartalsplan zur Qualitätsprüfung mit höchstens fünf Punkten.

Erfinde keine Zahlen.

Ersetzen Sie die Klammern mit Ihren Beobachtungen. Die vorgeschlagenen Prüfschritte setzt dann Ihre IT-Person um.

Worauf Sie achten müssen

• Nicht vorschnell das Modell beschuldigen: In der Praxis liegt die Ursache häufiger bei den Dokumenten oder bei Einstellungen.
• Eindrücke sind keine Messung: «Früher war es besser» ist ein Hinweis, aber kein Beleg. Nur der Vergleich mit gleichen Fragen zählt.
• Dienste von Anbietern können sich ändern: Bei einer externen KI aus der Cloud kann der Anbieter Modelle ohne Ihr Zutun anpassen. Das zeigt sich nur im Vergleich.
• Datenschutz: Testfragen und Antworten gehören ohne Personendaten in die Auswertung.
• Dokumentation: Notieren Sie jede Änderung am System mit Datum. Ohne Änderungsprotokoll bleibt die Ursachensuche Raten.
• Grenzen: KI-Antworten können auch im besten Zustand Fehler enthalten. Wichtige Auskünfte prüft weiterhin ein Mensch.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Gemeindeverwaltung im Aargau nutzt eine interne KI für Fragen zum Personalreglement. Nach einem halben Jahr melden Mitarbeitende, die Auskünfte zu Ferienregeln seien «komisch».

Vorher gab es nur das Bauchgefühl. Nachher stellt die Verantwortliche die 25 Testfragen vom Start erneut. Bei drei Ferienfragen nennt die KI die alte Regel. Die Ursache war schnell gefunden: Die überarbeitete Fassung des Reglements lag in der Ablage, die alte Version aber ebenfalls. Nach dem Entfernen der alten Fassung und einem erneuten Einlesen stimmten die Antworten wieder. Neu prüft die Gemeinde die Testfragen jedes Quartal.

So hilft Ihnen Alpasana

Wer eine KI dauerhaft im Betrieb halten will, braucht klare Zuständigkeiten, Prüfrhythmen und Einsatzregeln. Die KI-Beratung und digitale Transformation von Alpasana hilft, Prozesse aufzunehmen, Vorhaben zu priorisieren und einen Umsetzungsplan zu erstellen.

Beim Einsatz von KI-Agenten wird dort ausdrücklich vom Anwendungsfall über den Pilot bis zu Einsatzregeln und Skalierung begleitet. Projekte werden individuell offeriert.

Häufige Fragen

Kann ein Modell von allein schlechter werden?

Ein lokal installiertes Modell ändert sich nicht. Bei Diensten aus der Cloud kann der Anbieter Anpassungen vornehmen. Ob sich Ihre Ergebnisse tatsächlich verändert haben, zeigt nur der Vergleich mit Testfragen.

Wie viele Testfragen brauche ich?

Für den Anfang genügen 20 bis 30 typische Fragen. Wichtig ist, dass sie den Alltag abbilden und dass Sie sie nicht laufend ändern.

Wer soll die Prüfung durchführen?

Eine fachlich versierte Person aus dem Team, nicht nur die IT. Nur Fachpersonen sehen, ob eine Antwort inhaltlich stimmt.

Hilft ein neueres Modell automatisch?

Nicht unbedingt. Ein anderes Modell kann in einem Bereich besser und in einem anderen schlechter sein. Prüfen Sie es vor dem Wechsel mit Ihren Testfragen.