Wie aktualisiert man ein eigenes LLM im laufenden Betrieb?

Das Problem

Ihr Chatbot läuft seit Monaten stabil. Nun erscheint ein neues, besseres Modell, und Ihre IT möchte es einspielen. Gleichzeitig gibt es neue Versionen der Software. Sie möchten Verbesserungen übernehmen, ohne den funktionierenden Chatbot zu beschädigen.

Das Risiko ist real: Ein Update kann Antworten verändern, Einstellungen überschreiben, Schnittstellen brechen oder die Geschwindigkeit verschlechtern. Besonders tückisch ist, dass ein neues Modell besser sein kann und trotzdem bei Ihren Spezialthemen schlechter antwortet.

Mit einer einfachen Routine wird das Aktualisieren planbar. Entscheidend sind Tests vorher, ein Rückweg und Disziplin.

So lösen Sie es mit KI – Schritt für Schritt

1. Halten Sie den Ist-Zustand fest. Notieren Sie Modellname, Version, Software-Stand und Einstellungen. Siehe Modellversion festhalten.

1. Erstellen Sie eine Sicherung. Sichern Sie Einstellungen, Dokumente und Konfiguration. Prüfen Sie, dass sich die Sicherung wiederherstellen lässt. Siehe Backup wiederherstellen.

1. Richten Sie eine Testumgebung ein. Eine Kopie des Chatbots, die nicht von Kunden genutzt wird. Dort spielen Sie das Update zuerst ein.

1. Bereiten Sie Testfragen vor. Nehmen Sie dreissig bis fünfzig typische Fragen mit erwarteten Antworten, darunter heikle Fälle. Eine Vorlage finden Sie unter Antworttest-Vorlage.

1. Spielen Sie das Update in der Testumgebung ein. Ändern Sie nur eine Sache auf einmal: entweder das Modell oder die Software.

1. Vergleichen Sie die Ergebnisse. Antworten, Tempo, Fehlerquote, Ton, Quellenangaben. Bei Verschlechterungen verzichten Sie auf das Update oder passen Anweisungen an.

1. Wählen Sie den Zeitpunkt. Ein ruhiger Moment, nicht vor einer Aktion oder am Freitagabend. Informieren Sie Nutzende und Anbieter.

1. Aktualisieren Sie das Live-System und prüfen Sie sofort. Stellen Sie zehn Testfragen und kontrollieren Sie Überwachung und Meldungen.

1. Halten Sie den Rückweg bereit. Wenn etwas schiefgeht, spielen Sie die Sicherung zurück und melden Sie den Fehler.

1. Dokumentieren Sie. Datum, Version, Ergebnis der Tests, Änderungen. So lässt sich später nachvollziehen, was sich verändert hat.

Vorlage zum Kopieren

Mit dieser Vorlage erstellen Sie den Ablaufplan für ein Update:

Du bist Betriebsberater für KI-Systeme in Schweizer KMU. Erstelle einen einfachen Ablaufplan für das Aktualisieren eines Chatbot-Modells im laufenden Betrieb. Du erfindest keine Versionsnummern und Produktnamen.

Chatbot: [intern / öffentlich]
Aktueller Stand: [Modell, Version, Software, soweit bekannt]
Geplantes Update: [z. B. neue Modellversion, neue Software]
Nutzende: [Anzahl, Hauptzeiten]
Sicherung vorhanden: [ja/nein/unklar]

Erstelle:
1. Einen Ablaufplan mit Verantwortlichen (Rollen), Zeitfenstern und Prüfpunkten.
2. Eine Checkliste für vorher, während und nachher.
3. Eine Tabelle für den Vergleich alt gegen neu (Antwortqualität, Tempo, Fehler, Ton, Bemerkung).
4. Einen Rückfallplan mit klaren Auslösern («Wir spielen zurück, wenn …»).
5. Eine kurze Mitteilung an die Nutzenden.

Verwende einfache Sprache.

Passen Sie die Angaben an und besprechen Sie den Plan mit Ihrer IT-Betreuung. Er ersetzt nicht deren Fachwissen.

Worauf Sie achten müssen

• Modelle ändern Antworten: Auch kleine Versionssprünge können Ton, Länge und Genauigkeit verändern. Testen Sie Ihre wichtigen Fragen.
• Nicht alles auf einmal: Mehrere gleichzeitige Änderungen machen die Fehlersuche schwer.
• Anbieter-Updates: Bei Cloud-Lösungen aktualisiert der Anbieter manchmal ohne Ihr Zutun. Fragen Sie nach Ankündigungen und festen Versionen. Siehe Modellwechsel beim Anbieter.
• Sicherheitsupdates: Diese sollten Sie nicht aufschieben. Planen Sie sie mit kurzem Test, aber zügig.
• Lizenz: Prüfen Sie bei neuen Modellen die Lizenz, sie kann sich ändern.
• Daten: Prüfen Sie, ob Gesprächsverläufe und Dokumente nach dem Update noch vorhanden und richtig zugeordnet sind.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Immobilienverwaltung in Zürich betreibt einen internen Chatbot für Hausordnungen und Verträge. Der IT-Partner schlägt vor, ein neues Modell einzuspielen, das «bessere Antworten» verspricht.

Vorher: Die Verwaltung hat keine Testfragen, würde das Update direkt einspielen. Nachher: Sie sammelt vierzig Testfragen, lässt das neue Modell in einer Kopie laufen und vergleicht. Das neue Modell antwortet flüssiger, verwechselt aber bei zwei Fragen Kündigungsfristen. Die Verwaltung bittet den Partner, Anweisung und Suche anzupassen, und testet erneut. Erst dann geht das Update live, an einem Dienstagmorgen, mit bereitgehaltener Sicherung.

So hilft Ihnen Alpasana

Wenn Sie Update-Abläufe, Tests und Dokumentation für Ihren Chatbot aufsetzen möchten, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung, das Dokumentieren der Umsetzung sowie digitale Workflows und Automatisierungen. Projekte werden individuell offeriert.

Häufige Fragen

Muss ich jedes neue Modell sofort einspielen?

Nein. Ein neues Modell ist nicht automatisch besser für Ihre Aufgaben. Beobachten Sie den Markt, testen Sie in Ruhe und wechseln Sie, wenn der Nutzen klar ist. Sicherheitsupdates der Software sind eine eigene Sache und sollten zeitnah erfolgen.

Kann ich eine Testumgebung günstig aufbauen?

Oft ja, etwa als zweite, kleine Installation oder als Testbereich beim Anbieter. Fragen Sie nach. Schon eine einfache Kopie mit wenigen Dokumenten zeigt, ob das Update grundsätzlich funktioniert.

Wie lange dauert ein Update?

Das hängt von der Lösung ab. Planen Sie Zeit für Vorbereitung, Test und Nachkontrolle ein, nicht nur für das Einspielen. Gerade der Test mit Ihren Fragen braucht Aufmerksamkeit.

Was ist, wenn der Anbieter ein Update erzwingt?

Dann verlangen Sie eine Vorankündigung, eine Testmöglichkeit und eine Beschreibung der Änderungen. Prüfen Sie nach dem Update sofort Ihre Testfragen. Zeigen sich Probleme, melden Sie diese schriftlich und fragen Sie nach einer Lösung oder einem Rückweg.