Chroma: Wie bleibt der Suchindex nach dem Neustart erhalten?

Das Problem

Ihre Suchdemo funktioniert prächtig: Dokumente einlesen, Frage stellen, passende Treffer erhalten. Dann starten Sie den Rechner neu oder schliessen das Programm, und am nächsten Morgen ist alles weg. Die Suche liefert nichts mehr, und die Dokumente müssen wieder eingelesen werden. Das dauert, und bei einem Cloud-Dienst für Embeddings kostet es jedes Mal Geld.

Der Grund ist meist eine Voreinstellung. Chroma, eine verbreitete und für Einsteiger beliebte Vektordatenbank (ein Speicher für Zahlenfolgen, die den Sinn von Texten beschreiben), kann ohne Angabe eines Speicherorts im Arbeitsspeicher arbeiten. Das ist schnell und praktisch für Experimente, aber flüchtig: Sobald das Programm endet, verschwinden die Daten.

Die Lösung ist klein: Sie sagen Chroma, wo auf der Festplatte es speichern soll. Ein bisschen technisches Grundverständnis ist nötig. Eine KI (ein Programm, das Texte versteht und schreibt) kann Ihnen beim Verstehen der Schritte helfen.

So lösen Sie es mit KI – Schritt für Schritt

1. Ist-Zustand prüfen: Sehen Sie in Ihrem Programm nach, wie Chroma gestartet wird. Steht dort ein Ordnerpfad? Wenn nicht, arbeitet es vermutlich nur im Arbeitsspeicher.
2. Ablageort wählen: Bestimmen Sie einen festen Ordner, der gesichert wird und nicht im temporären Bereich liegt, zum Beispiel einen eigenen Ordner «suchindex» auf einem Laufwerk mit regelmässiger Sicherung.
3. Persistenten Modus verwenden: Starten Sie Chroma mit dem Ordner als Speicherort. Beim Chroma-Python-Paket gibt es dafür einen eigenen «persistenten» Client. Den genauen Namen und die Schreibweise entnehmen Sie der aktuellen Dokumentation.
4. Sammlung wiederverwenden: Legen Sie die Sammlung nicht jedes Mal neu an. Nutzen Sie die Funktion «holen oder erstellen», sodass beim zweiten Start die vorhandene Sammlung geöffnet wird.
5. Prüfen, was schon drin ist: Zählen Sie beim Start die Einträge. Sind schon Daten vorhanden, überspringen Sie das erneute Einlesen. Siehe Wie werden nur geänderte Dokumente neu verarbeitet?.
6. Gleiches Embedding-Modell verwenden: Beim Öffnen muss dasselbe Modell wie beim Einlesen für die Fragen genutzt werden, sonst passen die Zahlenfolgen nicht zusammen.
7. Neustart testen: Beenden Sie das Programm vollständig, starten Sie es neu und stellen Sie dieselbe Frage. Die Treffer müssen dieselben sein, und es darf kein erneutes Einlesen stattfinden.
8. Sicherung einrichten: Kopieren Sie den Ordner regelmässig, zum Beispiel, wenn das Programm nicht läuft. Siehe Vektorindex sichern und wiederherstellen.
9. Einstellungen festhalten: Notieren Sie Ordner, Name der Sammlung, Modell und Datum.

Ein Beispiel (Technikkenntnisse nötig, bitte mit der aktuellen Dokumentation abgleichen):

import chromadb
client = chromadb.PersistentClient(path="[Ordner für den Index]")
sammlung = client.get_or_create_collection("[Name der Sammlung]")

Vorlage zum Kopieren

Du hilfst mir, ein Programm so einzurichten, dass der Suchindex der Vektordatenbank Chroma nach dem Neustart erhalten bleibt. Deutsch (Schweiz), einfache Sprache.
Mein Programm: [Programmiersprache, kurze Beschreibung oder Code ohne Zugangsdaten]
Aktuelles Problem: [z. B. «Nach jedem Neustart müssen alle Dokumente neu eingelesen werden»]
Aufgabe: 1. Erkläre, warum Daten ohne festen Speicherort verloren gehen. 2. Zeige, wo im Code der Speicherort angegeben wird, und markiere die Stelle. 3. Erkläre, wie ich beim Start prüfe, ob schon Einträge vorhanden sind. 4. Nenne fünf Fehlerquellen (z. B. verschiedene Embedding-Modelle, Schreibrechte im Ordner).
Erfinde keine Funktionen und Versionsangaben. Wenn du unsicher bist, schreibe «in der Chroma-Dokumentation prüfen».

Entfernen Sie vor dem Einfügen Passwörter, Schlüssel und vertrauliche Daten aus dem Code.

Worauf Sie achten müssen

• Zugangsdaten nicht weitergeben: Fügen Sie in eine Cloud-KI nie Passwörter oder Schlüssel aus Ihrem Code ein.
• Schreibrechte: Das Programm braucht Rechte, im Ordner zu speichern. Fehlen sie, entsteht eine Fehlermeldung oder gar nichts wird gespeichert.
• Nicht gleichzeitig öffnen: Mehrere Programme, die denselben Ordner verwenden, können Probleme verursachen. Für mehrere Nutzer ist ein Serverbetrieb besser. Siehe Vektordatenbank auswählen.
• Kein Ersatz für Sicherung: Gespeichert ist nicht gesichert. Eine defekte Festplatte nimmt den Index mit.
• Versionswechsel: Beim Aktualisieren von Chroma kann sich das Speicherformat ändern. Machen Sie vorher eine Kopie und lesen Sie die Hinweise der Entwickler.
• Datenschutz: Der Ordner enthält Ihre Texte in verdichteter Form und gehört zu den schützenswerten Daten. Siehe Embeddings und Datenschutz.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Leiterin Marketing eines Verbands in Bern hat mit Hilfe eines externen Entwicklers eine Suchdemo über Protokolle und Medienmitteilungen aufbauen lassen. Bei jeder Präsentation wird die Demo neu gestartet und liest dabei rund 400 Dokumente neu ein. Das dauert fast 20 Minuten, und der Dienst für die Embeddings berechnet sie jedes Mal neu.

Vorher: Chroma läuft ohne Ablageort. Vor jeder Vorführung beginnt das Einlesen von vorn.

Nachher: Der Entwickler gibt einen festen Ordner an und prüft beim Start die Zahl der Einträge. Die Demo startet in Sekunden. Der Ordner wird zusätzlich nachts gesichert. Vor der nächsten Vorführung testet die Leiterin den Neustart einmal und fragt ein bekanntes Beispiel ab. Die Angaben sind erfunden und zeigen nur das Muster.

So hilft Ihnen Alpasana

Wenn Ihr Prototyp zuverlässig laufen soll und Ihnen die Zeit oder das Fachwissen fehlt, kann ready4future ICT helfen. Laut Beschreibung setzen begleitete Informatiklernende unter anderem Prototypen, Skripte, Datenaufbereitung und KI-Workflows um, mit Vier-Augen-Prüfung, Senior-Review und Dokumentation.

Standardmässig wird mit Test-, anonymisierten oder synthetischen Daten gearbeitet. Was ein Jahrespaket für Ihr Vorhaben leisten kann, klären Sie vorab im Gespräch.

Häufige Fragen

Wie erkenne ich, ob meine Daten wirklich gespeichert werden?

Schauen Sie nach dem Einlesen in den Ordner: Dort müssen Dateien entstanden sein. Starten Sie dann das Programm neu und prüfen Sie, ob die Zahl der Einträge gleich bleibt.

Wie gross wird der Ordner?

Das hängt von der Zahl der Abschnitte und der Länge der Zahlenfolgen ab. Für einen Prototyp mit einigen hundert Dokumenten ist es meist unproblematisch. Für die Planung grösserer Mengen siehe Speicherbedarf der Vektordatenbank.

Muss ich bei jedem Neustart alles neu einlesen, wenn ich das Modell ändere?

Ja. Ein anderes Embedding-Modell erzeugt andere Zahlenfolgen. Planen Sie dann eine vollständige Neuberechnung, siehe Embedding-Modell wechseln.

Soll ich für den Alltag eher Chroma oder Qdrant nehmen?

Für erste Versuche ist Chroma unkompliziert. Für den Dauerbetrieb im Team sind Server-Lösungen mit Zugriffsschutz und Sicherung besser geeignet. Einen Einstieg in eine Alternative bietet Qdrant lokal einrichten.