Wie wählen wir ein Embedding-Modell für unsere Texte?

Das Problem

Wenn eine KI Ihre Dokumente durchsuchen soll, wandelt sie Texte zuerst in «Embeddings» um. Das sind lange Zahlenreihen, die die Bedeutung eines Textes abbilden. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlen. So findet die Suche «Kündigungsfrist» auch dort, wo «Auflösung des Vertrags» steht.

Dafür braucht es ein Embedding-Modell, und davon gibt es sehr viele. Ihre IT nennt Namen, Ranglisten im Internet versprechen die besten, und Sie können nicht beurteilen, welches zu Ihren Dokumenten passt.

Die gute Nachricht: Sie müssen kein Modell verstehen, um eine gute Wahl zu treffen. Ein kleiner Test mit eigenen Fragen entscheidet mehr als jede Rangliste.

So lösen Sie es mit KI – Schritt für Schritt

1. Ihre Texte beschreiben. Welche Sprachen? Deutsch, Schweizer Fachbegriffe, Französisch, Englisch? Welche Dokumenttypen: Verträge, Handbücher, E-Mails, Tabellen? Wie lang sind einzelne Abschnitte?

1. Betriebsart festlegen. Soll das Modell im Haus laufen oder als Cloud-Dienst genutzt werden? Bei Personendaten und Vertraulichem spricht viel für den Betrieb im Haus oder bei einem geprüften Anbieter. Siehe Datenschutz bei Embeddings.

1. Kandidaten sammeln. Wählen Sie drei bis vier Modelle, die Deutsch unterstützen. Als Orientierung dienen Modellseiten und Ranglisten wie das Leaderboard von MTEB auf Hugging Face. Betrachten Sie Ranglisten als Hinweis, nicht als Urteil.

1. Eigenschaften prüfen. Notieren Sie je Modell: unterstützte Sprachen, maximale Textlänge, Grösse, Zahl der Dimensionen (Länge der Zahlenreihe), Lizenz und Betriebsaufwand. Siehe Embedding-Dimensionen.

1. Testset erstellen. Schreiben Sie 20 bis 30 echte Fragen und notieren Sie, in welchem Dokument die Antwort steht. Das ist Ihr Massstab. Verwenden Sie Fragen in der Sprache Ihrer Mitarbeitenden, auch mit Umgangssprache.

1. Modelle testen. Lassen Sie jedes Modell Ihre Dokumente verarbeiten und die Fragen suchen. Zählen Sie, wie oft das richtige Dokument unter den ersten fünf Treffern erscheint.

1. Auswerten mit KI. Mit der Vorlage unten bringen Sie die Ergebnisse in eine Tabelle. Prüfen Sie die Zahlen selbst nach.

1. Entscheiden und festhalten. Notieren Sie Modell, Version und Einstellungen. Ein Wechsel später bedeutet, alle Dokumente neu zu verarbeiten. Siehe Embedding-Modell wechseln.

Vorlage zum Kopieren

Du bist eine erfahrene Beraterin für Suchsysteme. Ich vergleiche mehrere Embedding-Modelle für die Dokumentensuche meines Unternehmens. Hilf mir, die Testergebnisse nachvollziehbar auszuwerten.

Dokumente: [Art, Sprache, Anzahl, durchschnittliche Länge]
Kandidaten: [Modell A, Modell B, Modell C]
Testfragen mit erwartetem Dokument und Trefferrang je Modell: [Tabelle einfügen]
Anforderungen: [z. B. Betrieb im Haus, Deutsch, Dokumente bis 10 Seiten]

Aufgabe:
1. Berechne je Modell, wie oft das richtige Dokument auf Rang 1 und unter den ersten fünf lag.
2. Zeige in einer Tabelle Stärken und Schwächen (z. B. bei Fachbegriffen, Zahlen, kurzen Fragen).
3. Nenne Fragen, bei denen alle Modelle scheiterten, und mögliche Ursachen.
4. Gib eine Empfehlung mit Begründung und nenne Risiken.
Regeln: Verwende nur meine Daten. Erfinde keine Messwerte. Weise auf Grenzen eines kleinen Testsets hin.

Tragen Sie Ihre Ergebnisse ein. Die KI rechnet und ordnet, die Auswahl bleibt Ihre Entscheidung.

Checkliste: Worauf es ankommt

Worauf Sie achten müssen

• Kleines Testset schwankt: Mit 20 Fragen sind die Ergebnisse nur ein Hinweis. Ergänzen Sie später echte Fragen aus dem Betrieb.
• Hinweise des Herstellers beachten: Manche Modelle verlangen, Fragen und Dokumente mit bestimmten Zusätzen zu versehen. Wer das auslässt, bekommt schlechtere Treffer. Lesen Sie die Modellseite.
• Mehrsprachigkeit prüfen: Fragen auf Deutsch zu englischen Dokumenten funktionieren nicht bei allen Modellen. Siehe Mehrsprachige Suche.
• Datenschutz: Wer Texte an einen Cloud-Dienst sendet, gibt sie aus der Hand. Prüfen Sie Standort, Verträge und Aufbewahrung.
• Lizenz: Prüfen Sie die Nutzungsbedingungen des Modells vor dem geschäftlichen Einsatz.
• Qualität der Texte: Schlechte Dokumente ergeben schlechte Treffer, egal mit welchem Modell.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Bauunternehmen in Chur, vertreten durch Frau Caduff, 52, möchte Normen, Offerten und Bauprotokolle durchsuchbar machen. Vorher: Der IT-Partner nennt vier Modelle, und niemand kann sagen, welches besser ist.

Frau Caduff sammelt 25 echte Fragen, etwa «Welche Garantiefrist galt beim Schulhaus?». Der Partner testet drei Modelle. Nachher: Eines findet 21 von 25 Dokumenten unter den ersten fünf Treffern, die anderen 17 und 15. Das Büro wählt das erste, hält die Version fest und plant jährlich einen neuen Test.

So hilft Ihnen Alpasana

Wenn Sie eine Dokumentensuche für Ihren Betrieb planen, hilft Alpasana mit KI-Beratung und digitale Transformation. Beschrieben sind unter anderem die Aufnahme von Prozessen, die Priorisierung von Vorhaben, das Konzipieren von Schnittstellen, das Verbinden von Systemen sowie Pilot und Einsatzregeln bei KI-Agenten.

Die Auswahl eines Embedding-Modells ist dort nicht als eigenes Angebot beschrieben. Sie gehört in die technische Umsetzung, die individuell offeriert wird.

Häufige Fragen

Brauche ich für Deutsch ein spezielles Modell?

Nicht unbedingt, aber das Modell muss Deutsch gut abdecken. Entscheidend ist Ihr Test mit Schweizer Fachbegriffen. Eine Übersicht bietet Embeddings für deutsche Texte.

Kann ich das Modell später wechseln?

Ja, aber dann müssen alle Dokumente neu verarbeitet werden, weil Zahlenreihen verschiedener Modelle nicht vergleichbar sind. Planen Sie dafür Zeit und Rechenaufwand ein.

Ist ein grösseres Modell immer besser?

Nein. Grössere Modelle brauchen mehr Speicher und Zeit und sind nicht in jedem Fall genauer. Entscheidend ist das Ergebnis auf Ihren Daten.