KI-Modell geändert: Wie prüfen wir die Qualität erneut?

Das Problem

Ihr Team nutzt seit Monaten ein KI-Modell für feste Aufgaben, etwa Offerten-Entwürfe, Zusammenfassungen oder die Vorsortierung von Anfragen. Alles läuft gut. Dann ändert der Anbieter das Modell: Eine neue Version erscheint, die alte wird eingestellt, oder das Verhalten wird im Hintergrund angepasst. Plötzlich sind Antworten länger, der Ton ist anders, ein Format stimmt nicht mehr, oder bei einer bestimmten Aufgabe schleichen sich Fehler ein.

Solche Änderungen sind schwer zu bemerken, wenn niemand systematisch vergleicht. Man merkt es erst, wenn sich Kundschaft beschwert oder ein Fehler teuer wird. Und die Ankündigung «neu und besser» heisst nicht, dass es für Ihre Aufgaben besser ist. Siehe Modellupdates und geänderte Antworten.

Mit einem einfachen Prüfsatz lässt sich dieses Risiko klein halten. Diese Seite zeigt, wie Sie ihn aufbauen und nutzen.

So lösen Sie es mit KI – Schritt für Schritt

1. Wichtige Aufgaben auflisten. Notieren Sie, wofür Sie das Modell regelmässig nutzen und wie kritisch jede Aufgabe ist.

1. Prüfsatz zusammenstellen. Wählen Sie für jede wichtige Aufgabe zwei bis fünf typische Beispiele aus dem Alltag, einschliesslich eines schwierigen Falls. Anonymisieren Sie sie.

1. Referenzergebnisse sichern. Speichern Sie zu jedem Beispiel die Antwort, die Sie als gut beurteilt haben, samt Modellname, Version, Datum und Prompt.

1. Kriterien festlegen. Bestimmen Sie, was geprüft wird: Richtigkeit, Vollständigkeit, Ton, Format, Länge, Schweizer Schreibweise. Siehe Blindtest für neutrale Bewertung.

1. Änderungen beobachten. Achten Sie auf Mitteilungen des Anbieters zu neuen Versionen oder Abschaltungen. Siehe Wenn ein Modell eingestellt wird.

1. Prüfsatz erneut laufen lassen. Wenn sich etwas ändert, lassen Sie alle Beispiele mit dem neuen Modell oder der neuen Einstellung laufen und vergleichen Sie die Ergebnisse mit den Referenzen.

1. Auswerten. Markieren Sie Verbesserungen, Verschlechterungen und Unterschiede im Stil. Entscheidend sind Verschlechterungen bei wichtigen Aufgaben.

1. Prompts anpassen oder zurückgehen. Manche Probleme lassen sich mit angepassten Prompts beheben. Siehe Prompts beim Modellwechsel. Ist das nicht möglich, bleiben Sie, wenn der Anbieter es erlaubt, vorerst bei der alten Version.

1. Freigeben und dokumentieren. Geben Sie das neue Modell erst frei, wenn der Prüfsatz bestanden ist. Halten Sie Datum, Ergebnis und Verantwortliche fest.

Vorlage zum Kopieren

Mit dieser Vorlage führen Sie den Prüfsatz nach einem Update strukturiert durch:

Prüfprotokoll nach Modelländerung
Datum: [Datum]   Geprüft von: [Name]
Bisheriges Modell/Version: [ ]   Neues Modell/Version: [ ]
Grund der Änderung: [Update / Abschaltung / Wechsel]
Beispiel Nr. | Aufgabe | Bisher (gut?) | Neu (gut?) | Unterschied | Bewertung (besser/gleich/schlechter)
[1] | [ ] | [ ] | [ ] | [ ] | [ ]
[2] | [ ] | [ ] | [ ] | [ ] | [ ]
Kritische Verschlechterungen: [ ]
Massnahmen (Prompt anpassen, alte Version behalten, Wechsel): [ ]
Freigabe: [ja / nein / mit Auflagen] durch [Name], am [Datum]

Passen Sie die Zeilen an Ihre Aufgaben an und füllen Sie sie bei jeder Modelländerung neu aus.

Worauf Sie achten müssen

• Unbemerkte Änderungen: Manche Anbieter ändern Verhalten, ohne dass sich der Name ändert. Planen Sie deshalb regelmässige Stichproben, auch ohne Ankündigung.
• Zufallsschwankungen: Antworten sind nie ganz identisch. Beurteilen Sie Tendenzen über mehrere Durchläufe, nicht einzelne Unterschiede.
• Kritische Aufgaben: Aufgaben mit rechtlichen oder finanziellen Folgen verdienen einen grösseren Prüfsatz und eine Freigabe durch eine verantwortliche Person.
• Datenschutz: Verwenden Sie anonymisierte Beispiele im Prüfsatz und bewahren Sie ihn geschützt auf.
• Aufwand begrenzen: Ein Prüfsatz muss nicht gross sein. Zehn bis zwanzig gute Beispiele genügen für den Anfang. Siehe Regressionstest für eigene Modelle.
• Kosten: Neue Modelle können andere Preise haben. Prüfen Sie auch die Kosten.
• Abschaltfristen: Alte Modelle werden nach einer Frist abgeschaltet. Beginnen Sie früh mit der Prüfung.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Versicherungsagentur in Luzern nutzt ein KI-Modell, das eingehende Schadenmeldungen zusammenfasst und fehlende Angaben markiert. Der Anbieter kündigt an, das bisherige Modell in drei Monaten abzuschalten.

Vorher: Das Team wäre zum neuen Modell gewechselt und hätte Probleme erst im Alltag bemerkt. Nachher: Die Büroleiterin hat einen Prüfsatz mit fünfzehn anonymisierten Meldungen samt guten Zusammenfassungen. Sie lässt ihn mit dem neuen Modell laufen. Ergebnis: Die Zusammenfassungen sind verständlicher, aber bei zwei Fällen fehlt der Hinweis auf eine fehlende Unterschrift. Sie ergänzt im Prompt eine ausdrückliche Prüfung dieser Angaben, testet erneut und gibt das Modell frei. Die Freigabe wird im Protokoll festgehalten.

Hilfreich ist auch eine kleine Verantwortlichkeitsregel: Eine Person im Team ist dafür zuständig, Ankündigungen des Anbieters zu lesen und den Prüfsatz anzustossen. Ohne Zuständigkeit passiert es oft nicht. Wählen Sie jemanden mit Sinn für Details und geben Sie ihr oder ihm etwas Zeit dafür.

Bewahren Sie die Prüfprotokolle auf. Sie zeigen mit der Zeit, wie sich Modelle verändern, und helfen, bei künftigen Entscheiden früher zu reagieren.

So hilft Ihnen Alpasana

Wenn Sie KI-Anwendungen im Betrieb dauerhaft zuverlässig betreiben möchten, unterstützt Alpasana mit KI-Beratung und digitaler Transformation. Laut Beschreibung gehören dazu die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Wie oft soll ich den Prüfsatz laufen lassen?

Bei jeder Modelländerung und zusätzlich in festen Abständen, etwa vierteljährlich. So bemerken Sie auch stille Änderungen.

Was tun, wenn das neue Modell in einem Punkt schlechter ist?

Prüfen Sie, ob sich das mit einem angepassten Prompt beheben lässt. Wenn nicht, wägen Sie ab, ob der Mangel tragbar ist, und fragen Sie, ob die bisherige Version noch verfügbar ist.

Brauche ich dafür Fachwissen?

Nein. Sie brauchen echte Beispiele, ein Protokoll und die Fähigkeit, Ergebnisse zu beurteilen. Eine Person aus dem Fachbereich ist dafür besser geeignet als jemand ohne Kenntnis der Aufgabe.