Wie viel Speicher braucht unsere Vektordatenbank?

Das Problem

Ihr Dienstleister fragt: «Wie gross wird die Wissenssammlung, und welchen Server brauchen wir?» Frau Müller zuckt mit den Schultern. Sie weiss, dass es etwa 4000 PDF-Dateien gibt, dazu Word-Dokumente und die Website. Wie viel Speicher das in einer Vektordatenbank ausmacht, kann sie nicht sagen.

Die Frage ist wichtig, weil sie Kosten und Betrieb bestimmt. Ein zu kleiner Server macht die Suche langsam oder bricht ab. Ein zu grosser verschwendet Geld. Und die Sammlung wächst, denn jedes neue Dokument bringt weitere Abschnitte.

Die gute Nachricht: Mit einer einfachen Rechnung gelingt eine brauchbare Schätzung. Sie brauchen dafür keine Spezialsoftware, nur einen Taschenrechner und einige Angaben, die Ihr Dienstleister kennt.

So lösen Sie es mit KI – Schritt für Schritt

1. Die Zahl der Textabschnitte schätzen. Dokumente werden für die Suche in kleine Abschnitte («Chunks») zerlegt. Siehe Chunking einfach erklärt. Faustregel: Pro Seite Text entstehen oft ein bis drei Abschnitte, je nach Abschnittslänge. Rechnen Sie Seitenzahl mal 2 als grobe Schätzung und notieren Sie sie als Schätzung.

1. Die Vektorlänge erfragen. Jeder Abschnitt wird in eine Zahlenreihe umgewandelt. Die Länge heisst «Dimensionen» und hängt vom Embedding-Modell ab, zum Beispiel 384, 768 oder 1536. Siehe Embedding-Dimensionen.

1. Platz für die Vektoren berechnen. Anzahl Abschnitte mal Dimensionen mal 4 Byte. Die 4 Byte gelten für Zahlen im üblichen Format «float32».

1. Zuschlag für Index und Zusatzangaben. Die Datenbank baut einen Suchindex auf und speichert Zusatzangaben wie Datum, Abteilung und Dokumentname. Rechnen Sie je nach Datenbank mit einem Aufschlag von einigen zehn Prozent oder mehr. Fragen Sie nach Herstellerangaben.

1. Den Text selbst berücksichtigen. Wenn der Originaltext der Abschnitte in der Datenbank liegt, kommt er hinzu. Ein Abschnitt von 1000 Zeichen braucht grob ein Kilobyte.

1. Wachstum einplanen. Wie viele Dokumente kommen pro Jahr dazu? Rechnen Sie drei Jahre voraus und addieren Sie eine Reserve von etwa einem Drittel.

1. Arbeitsspeicher getrennt betrachten. Manche Datenbanken halten den Index im Arbeitsspeicher (RAM), damit die Suche schnell ist. Fragen Sie, wie viel RAM Ihre Datenmenge braucht und ob es sparsamere Einstellungen gibt.

1. Mit einem kleinen Test prüfen. Laden Sie 10 Prozent Ihrer Daten, messen Sie den tatsächlichen Platz und rechnen Sie hoch.

Vorlage zum Kopieren

Mit dieser Tabelle rechnen Sie nach. Die Beispielzahlen sind Annahmen, setzen Sie Ihre eigenen ein.

Zum Vergleich: Bei 384 Dimensionen sind es für 100 000 Abschnitte nur etwa 0,15 GB für die Vektoren. Die Wahl des Modells wirkt sich also direkt auf den Platzbedarf aus.

Mit diesem Prompt lassen Sie sich die Rechnung gegenprüfen:

Prüfe meine Berechnung des Speicherbedarfs einer Vektordatenbank.
Annahmen: [Anzahl Abschnitte], [Dimensionen], 4 Byte pro Zahl, Zuschlag [Prozent], Originaltext [KB pro Abschnitt], Reserve [Prozent].
Rechne Schritt für Schritt und nenne Zwischenergebnisse in GB. Weise darauf hin, welche Annahmen unsicher sind. Erfinde keine Herstellerangaben.

Kontrollieren Sie das Ergebnis mit dem Taschenrechner und mit den Angaben Ihres Dienstleisters.

Worauf Sie achten müssen

• Schätzung, nicht Garantie: Der tatsächliche Bedarf hängt von Datenbank, Einstellungen und Datenform ab. Fragen Sie nach Herstellerangaben und messen Sie mit einem Test.
• Arbeitsspeicher und Festplatte: Das sind zwei verschiedene Grössen. Der Index braucht oft viel RAM, die Festplatte speichert die Daten dauerhaft.
• Mehrere Fassungen: Wenn mehrere Versionen desselben Dokuments eingelesen werden, wächst die Datenmenge unnötig. Siehe Doppelte Dokumente bereinigen.
• Sicherungen: Backups brauchen zusätzlich Platz. Planen Sie sie mit ein. Siehe Sicherung des KI-Servers.
• Verdichtungsverfahren: Manche Datenbanken können Vektoren komprimieren, was Platz spart, die Suchqualität aber beeinflussen kann. Testen Sie vor dem Einsatz.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Baufirma in Zug mit 90 Mitarbeitenden möchte Normen, Pläne-Beschreibungen und Handbücher in einem Chatbot nutzen. Das sind etwa 12 000 Seiten Text.

Vorher: Keine Vorstellung, welchen Server es braucht. Nachher: Frau Müller und der Dienstleister rechnen mit etwa 25 000 Abschnitten, 768 Dimensionen und einer Reserve von einem Drittel. Das Ergebnis liegt im unteren einstelligen Gigabyte-Bereich, ein kleiner Server genügt. Ein Test mit 10 Prozent der Daten bestätigt die Rechnung, und das Wachstum der nächsten drei Jahre ist eingeplant.

So hilft Ihnen Alpasana

Wer Infrastruktur nach dem tatsächlichen Bedarf plant, vermeidet Fehlinvestitionen. Die KI-Beratung und digitale Transformation von Alpasana umfasst die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben und einen Umsetzungsplan. Systeme werden über Schnittstellen verbunden, und die Umsetzung wird dokumentiert.

So kommen Anforderungen, Daten und Betrieb zusammen. Projekte werden individuell offeriert.

Häufige Fragen

Brauchen wir viel Arbeitsspeicher?

Das hängt von Datenmenge und Datenbank ab. Für kleine Firmenwissenssammlungen reicht oft ein Server mit wenigen Gigabyte RAM. Für grosse Mengen sollten Sie Fachleute beiziehen.

Wachsen die Daten, wenn wir Dokumente aktualisieren?

Nur, wenn alte Versionen bleiben. Ersetzen Sie Dokumente sauber, siehe Wie entfernt man ein Dokument vollständig?, und lesen Sie nur Änderungen neu ein.

Spielt die Sprache eine Rolle?

Indirekt: Das Embedding-Modell bestimmt die Vektorlänge, nicht die Sprache. Aber längere Texte ergeben mehr Abschnitte.

Wie rechne ich, wenn ich noch keine Daten habe?

Nehmen Sie eine Stichprobe von 20 Dokumenten, zählen Sie die Abschnitte und rechnen Sie auf Ihre Gesamtzahl hoch. Kennzeichnen Sie die Zahl als Schätzung.