Was tun, wenn der Anbieter das Sprachmodell austauscht?

Das Problem

Der Chatbot hat monatelang gut geantwortet: freundlich, in kurzen Sätzen, mit Link zur richtigen Seite. Seit Montag klingt er anders. Er schreibt längere Antworten, verwendet das Du statt Sie, und bei Fragen zur Rückgabe liefert er plötzlich andere Formulierungen. Frau Müller hat nichts geändert. Auf Nachfrage meldet der Anbieter: «Wir haben das Sprachmodell aktualisiert.»

Das kommt vor. Sprachmodelle sind keine Programme, die jahrelang unverändert laufen. Hersteller stellen alte Versionen ein und bringen neue. Wer einen Chatbot bei einem Anbieter nutzt, hängt oft von diesen Wechseln ab. Neue Modelle sind meist besser, aber nicht in jedem Punkt gleich, und gute Anweisungen können plötzlich anders wirken.

Wichtig ist deshalb, einen Wechsel nicht zu fürchten, sondern zu regeln: ankündigen lassen, nachtesten, bei Bedarf anpassen.

So lösen Sie es mit KI – Schritt für Schritt

1. Vertrag und Bedingungen lesen. Steht dort, ob und wie der Anbieter Modelle wechseln darf? Gibt es Vorankündigungen? Siehe Vertragslaufzeit und Kündigung.

1. Eine Änderungsmitteilung verlangen. Bitten Sie den Anbieter, grössere Änderungen mindestens zwei bis vier Wochen vorher mitzuteilen, wenn möglich mit Testzugang.

1. Einen Standardtest vorbereiten. Sammeln Sie 20 bis 40 Fragen, die typisch sind: einfache, schwierige und solche, die der Chatbot ablehnen soll. Siehe Antworttest-Vorlage.

1. Vor dem Wechsel Referenzantworten speichern. Halten Sie fest, wie der Chatbot heute antwortet, damit Sie später vergleichen können.

1. Nach dem Wechsel erneut testen. Stellen Sie dieselben Fragen und vergleichen Sie: Inhalt, Ton, Länge, Quellen, Verhalten bei unbekannten Fragen.

1. Abweichungen bewerten. Ist der Ton geändert, aber der Inhalt richtig? Werden Quellenangaben ausgelassen? Hält der Chatbot Ihre Grenzen noch ein?

1. Anweisungen anpassen. Oft lassen sich Abweichungen mit einer präziseren Systemanweisung beheben. Notieren Sie jede Änderung mit Datum.

1. Bei Verschlechterung eskalieren. Melden Sie dem Anbieter konkrete Beispiele und fragen Sie nach einer Rückkehr zum früheren Modell oder einer Korrektur.

Vorlage zum Kopieren

Mit diesem Prompt lassen Sie zwei Antworten vergleichen. Verwenden Sie nur Testfragen ohne Personendaten.

Ich habe denselben Chatbot vor und nach einem Modellwechsel getestet.
Frage: [Testfrage]
Antwort vorher: [Text]
Antwort nachher: [Text]
Vergleiche beide Antworten nach diesen Kriterien: sachliche Richtigkeit gegenüber [Quelle/Regel], Ton (Sie-Anrede, Freundlichkeit), Länge, Quellenangabe, Einhaltung der Grenzen.
Nenne in einer Tabelle die Unterschiede und markiere kritische Abweichungen mit [PRÜFEN]. Beurteile nichts, was du nicht im Text siehst.

Prüfen Sie die Beurteilung selbst, bevor Sie dem Anbieter Rückmeldung geben.

Ein Praxistipp: Halten Sie die Testfragen in einer einfachen Excel-Tabelle fest, mit den Spalten «Frage», «Soll-Antwort in Stichworten» und «Ergebnis nach Wechsel». Wer diese Tabelle einmal erstellt hat, kann sie nach jedem Update in einer Stunde durcharbeiten, auch bei einem Wechsel des Anbieters. Fügen Sie jedes Mal ein bis zwei neue Fragen hinzu, die im Alltag aufgefallen sind. So wächst Ihr Test mit dem Chatbot.

Worauf Sie achten müssen

• Unangekündigte Wechsel: Ein Anbieter kann das Modell im Hintergrund wechseln. Fragen Sie nach, ob Sie eine bestimmte Version festlegen können oder informiert werden.
• Auslaufende Modelle: Hersteller veröffentlichen Termine, an denen alte Versionen abgeschaltet werden, zum Beispiel auf ihren Deprecation-Seiten. Fragen Sie den Anbieter, wie er damit umgeht.
• Datenschutz: Ein neues Modell kann bei einem anderen Unterauftragnehmer oder an einem anderen Standort laufen. Prüfen Sie, ob Ihr Vertrag dafür eine Meldung vorsieht.
• Nicht jede Änderung ist schlechter: Ein neues Modell kann besser sein. Entscheidend ist, ob es für Ihre Aufgaben passt.
• Dokumentation: Notieren Sie Datum, Beobachtung und Reaktion. Das hilft bei Streit und bei der Auswahl des nächsten Anbieters.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Onlinehändler für Bürobedarf in Winterthur nutzt einen Kunden-Chatbot eines Anbieters. Nach einem Update werden Antworten ausführlicher, und der Chatbot beginnt, Rabatte zu erwähnen, die es nicht gibt.

Vorher: Niemand hat Testfragen gespeichert, und die Kundenbetreuung bemerkt die Abweichung erst durch Rückfragen. Nachher: Frau Müller hat 30 Testfragen mit Soll-Antworten. Am Tag nach der Mitteilung des Anbieters läuft der Test, drei Antworten weichen ab, eine ist kritisch. Der Anbieter bessert die Einstellung nach, und im Vertrag wird eine Vorankündigung von drei Wochen vereinbart.

So hilft Ihnen Alpasana

Wer KI-Dienste von Anbietern nutzt, braucht Einsatzregeln und eine Qualitätskontrolle, die auch nach Änderungen funktioniert. Die KI-Beratung und digitale Transformation von Alpasana unterstützt bei der Einführung von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie bei Governance und Dokumentation.

So legen Sie fest, wie Sie Änderungen prüfen und auf sie reagieren. Projekte werden individuell offeriert.

Häufige Fragen

Darf der Anbieter das Modell einfach wechseln?

Das hängt vom Vertrag. Oft behalten sich Anbieter Änderungen vor. Gute Verträge enthalten Vorankündigung, Testmöglichkeit und ein Recht zur Kündigung bei wesentlicher Verschlechterung. Lassen Sie sich im Zweifel beraten.

Kann ich ein bestimmtes Modell festlegen?

Manche Anbieter erlauben das, andere nicht. Fragen Sie nach, ob eine feste Modellversion wählbar ist und wie lange sie unterstützt wird.

Wie viele Testfragen brauche ich?

Für den Anfang genügen 20 bis 40 gut gewählte Fragen. Achten Sie auf Vielfalt: Standardfälle, Grenzfälle und Fragen, auf die der Chatbot nicht antworten darf.

Was, wenn der Anbieter nichts zum Modell sagt?

Das ist selbst ein Hinweis. Fragen Sie schriftlich und halten Sie die Antwort fest. Bei grossen Abhängigkeiten sollten Sie über Alternativen nachdenken, siehe Anbieterabhängigkeit vermeiden.