Embedding-Modell wechseln: Was muss neu berechnet werden?

Das Problem

Ihre KI-Suche läuft, aber ein neues Embedding-Modell verspricht bessere Ergebnisse für deutsche Texte, oder das bisherige Modell wird nicht mehr gepflegt, oder die Lizenz ändert sich. Sie möchten wechseln und fragen sich: Was passiert mit allen Daten, die wir schon verarbeitet haben?

Die kurze Antwort: Sie müssen alles neu berechnen. Ein Embedding ist eine Zahlenfolge, die den Sinn eines Textes beschreibt. Jedes Modell «denkt» anders, die Zahlen eines Modells haben im Zahlenraum des anderen keine Bedeutung. Wer neue Fragen mit einem neuen Modell erstellt, aber alte Dokumente im alten Format lässt, bekommt unbrauchbare Treffer.

Das ist keine Katastrophe, aber ein Projekt mit Aufwand. Eine Checkliste hilft, nichts zu vergessen. Eine KI unterstützt beim Strukturieren. Die technische Durchführung und der Test liegen bei Ihnen oder Ihrer IT.

So lösen Sie es mit KI – Schritt für Schritt

1. Grund klären: Warum wechseln Sie? Bessere Qualität, Lizenz, Sprache, Kosten, Ausfall? Nur wenn der Nutzen den Aufwand rechtfertigt, lohnt sich der Schritt.
2. Bestand erfassen: Wie viele Abschnitte sind gespeichert? Wo liegen die Originaltexte? Haben Sie sie noch in vollständiger Form?
3. Neues Modell testen: Vergleichen Sie das neue Modell auf Ihrer Testliste mit dem alten, bevor Sie etwas ändern. Siehe Embeddings für deutsche Fachtexte testen.
4. Technische Unterschiede prüfen: Hat das neue Modell eine andere Länge der Zahlenfolge (Dimension)? Dann muss die Vektordatenbank angepasst werden.
5. Parallelen Index aufbauen: Erstellen Sie die neuen Embeddings in einem separaten Index, ohne den alten zu verändern.
6. Rechenzeit und Speicher planen: Das Neuberechnen aller Abschnitte kann je nach Menge Stunden bis Tage dauern und benötigt zusätzlichen Speicher.
7. Vergleich und Test: Prüfen Sie den neuen Index mit der Testliste und mit echten Fragen von Nutzenden, bevor Sie umschalten.
8. Umschalten und Rückweg: Schalten Sie erst um, wenn die Ergebnisse stimmen, und behalten Sie den alten Index für eine Übergangszeit.
9. Dokumentieren: Halten Sie Modellname, Version und Datum fest. Legen Sie fest, wer künftige Wechsel verantwortet.

Vorlage zum Kopieren

Du hilfst mir, den Wechsel eines Embedding-Modells in unserer KI-Suche zu planen. Deutsch (Schweiz), einfache Sprache.
Aktuell: Embedding-Modell [Name], Vektordatenbank [Name], Anzahl Abschnitte [Zahl], Originaltexte vorhanden: [ja/nein]
Neues Modell: [Name], Grund für den Wechsel: [Qualität/Lizenz/…]
Aufgabe: 1. Erkläre in vier Sätzen, warum alle Embeddings neu berechnet werden müssen. 2. Erstelle eine Checkliste für den Wechsel mit Vorbereitung, Parallelaufbau, Test, Umschalten, Rückweg, Aufräumen. 3. Nenne Risiken (z. B. andere Dimension, Ausfallzeit, Kosten) und je eine Gegenmassnahme. 4. Schlage Kriterien vor, wann der Wechsel als gelungen gilt.
Nenne keine Rechenzeiten oder Kosten, wenn du sie nicht sicher weisst, und weise darauf hin, was ich messen muss.

Ergänzen Sie Ihre Angaben. Rechenzeit und Speicherbedarf messen Sie mit einem kleinen Teil des Bestands und rechnen hoch.

Worauf Sie achten müssen

• Alles muss neu berechnet werden: Auch ein «kleines Update» desselben Modells kann andere Zahlen liefern. Prüfen Sie die Hinweise des Herstellers und halten Sie die Version fest.
• Originaltexte aufbewahren: Aus den Zahlen lassen sich die Texte nicht wiederherstellen. Ohne Originale ist ein Wechsel unmöglich.
• Kein Mischbetrieb: Fragen und Abschnitte müssen mit demselben Modell erstellt sein, sonst sind Treffer zufällig.
• Dimension und Datenbank: Die Länge der Zahlenfolge muss zur Konfiguration der Vektordatenbank passen. Oft ist ein neuer Index nötig.
• Datenschutz: Während der Migration entstehen Kopien. Schützen Sie sie und löschen Sie alte Daten nach dem Wechsel, wenn sie nicht mehr gebraucht werden.
• Lizenz und Kosten: Prüfen Sie, ob das neue Modell geschäftlich genutzt werden darf und wie viel Rechenzeit es braucht.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Gesundheitsverband in Bern betreibt eine interne Suche über Richtlinien und Merkblätter. Das bisherige Modell versteht Deutsch gut, wird aber nicht mehr weiterentwickelt. Ein Nachfolger verspricht bessere Ergebnisse.

Vorher: Der IT-Verantwortliche möchte das Modell «einfach austauschen».

Nachher: Er erstellt einen zweiten Index mit dem neuen Modell, lässt beide mit 50 Testfragen vergleichen und stellt fest, dass der neue Index bei Fachbegriffen besser ist, bei Abkürzungen aber schlechter. Er ergänzt ein Glossar und schaltet erst nach zwei Wochen Testbetrieb um. Den alten Index behält er vier Wochen.

Der Wechsel dauerte länger als gedacht, aber der parallele Aufbau verhinderte einen Ausfall.

So hilft Ihnen Alpasana

Wenn Sie Ihre KI-Suche weiterentwickeln und Änderungen geordnet umsetzen möchten, unterstützt die KI-Beratung und digitale Transformation von Alpasana: Umsetzungsplan erstellen, Systeme verbinden und die Umsetzung dokumentieren.

Projekte werden individuell offeriert. Eine Anleitung für den laufenden Betrieb bietet Vektorindex ohne Ausfall erneuern.

Häufige Fragen

Kann ich nur neue Dokumente mit dem neuen Modell verarbeiten?

Nein. Ein Mischbetrieb führt zu unbrauchbaren Treffern. Entweder verarbeiten Sie alles neu oder behalten das bisherige Modell.

Wie lange dauert das Neuberechnen?

Das hängt von Menge, Modell und Hardware ab. Messen Sie an einem kleinen Teil und rechnen Sie hoch. Planen Sie Reserve ein.

Muss die Suche währenddessen abgeschaltet werden?

Nicht, wenn Sie einen zweiten Index parallel aufbauen und erst am Ende umschalten. Das braucht zusätzlichen Speicher.

Wie vermeide ich künftige Wechselprobleme?

Bewahren Sie Originaltexte und Testlisten auf und dokumentieren Sie das Modell. Mehr dazu in Modellversion festhalten.