Wie testen wir Embeddings für deutsche Fachtexte?

Das Problem

Ihre KI-Suche findet Texte zu «Kündigung», übersieht aber den Abschnitt über «Beendigung des Arbeitsverhältnisses». Eine Suche nach «MWST» liefert Treffer zu Mehrwertsteuer, nicht aber zu «Umsatzsteuer». Bei einer Frage mit einem langen deutschen Fachwort findet sie nichts, obwohl es im Handbuch steht.

Deutsch stellt Suchsysteme vor besondere Aufgaben: lange zusammengesetzte Wörter, viele Fachbegriffe, Abkürzungen, Schweizer Ausdrücke und Umschreibungen für dasselbe. Nicht jedes Embedding-Modell geht damit gleich gut um. Ein Embedding ist eine Zahlenfolge, die den Sinn eines Textes beschreibt und dafür sorgt, dass ähnlich gemeinte Texte gefunden werden.

Statt auf Herstellerangaben zu vertrauen, testen Sie das Modell mit Ihren eigenen Texten. Das ist weniger aufwendig, als es klingt. Eine KI hilft beim Sammeln von Testfragen, die Beurteilung machen Sie oder eine Fachperson.

Besonders in der Schweiz kommt hinzu, dass Dokumente mehrsprachig oder mit Mundartausdrücken durchsetzt sein können. Auch das gehört in Ihre Tests, wenn es in Ihrem Betrieb vorkommt.

So lösen Sie es mit KI – Schritt für Schritt

1. Textbestand festlegen: Wählen Sie die Dokumente, in denen gesucht werden soll, und teilen Sie sie in Abschnitte.
2. Testfragen sammeln: Notieren Sie 40 bis 60 Fragen, die Ihre Leute wirklich stellen. Nehmen Sie sie aus E-Mails, Telefonnotizen und der Praxis.
3. Richtige Fundstellen festhalten: Notieren Sie zu jeder Frage, in welchem Abschnitt die Antwort steht. Das ist Ihre Lösung.
4. Schwierige Fälle einbauen: Ergänzen Sie Fragen mit Fachbegriffen, Abkürzungen, Synonymen, Zusammensetzungen, Schweizer Ausdrücken und Tippfehlern.
5. Embeddings erzeugen: Lassen Sie jedes Kandidatenmodell dieselben Abschnitte und Fragen verarbeiten.
6. Treffer auswerten: Prüfen Sie je Frage, ob die richtige Stelle unter den ersten drei oder fünf Treffern liegt. Zählen Sie den Anteil.
7. Misserfolge analysieren: Schauen Sie sich die Fehlversuche an. Liegt es an Fachwörtern, Abkürzungen oder am Textaufbau?
8. Gegenmassnahmen testen: Ergänzen Sie ein Glossar, passen Sie die Abschnitte an oder kombinieren Sie Bedeutungssuche mit Stichwortsuche. Siehe Hybride Suche einrichten.
9. Ergebnis dokumentieren: Halten Sie Modell, Testliste und Trefferquote fest, um spätere Änderungen vergleichen zu können.

Vorlage zum Kopieren

Du hilfst mir, Testfragen für die Suche in deutschen Fachtexten zu entwerfen. Deutsch (Schweiz).
Fachgebiet und Textart: [z. B. Personalreglement, Handbuch Haustechnik]
Beispielabschnitt (anonymisiert): [Text einfügen]
Aufgabe: 1. Formuliere zu diesem Abschnitt acht Fragen, die Mitarbeitende realistisch stellen würden, mit unterschiedlicher Wortwahl (Alltagssprache, Fachsprache, Abkürzungen, Synonyme). 2. Formuliere zwei Fragen mit Tippfehlern oder unvollständigen Angaben. 3. Formuliere zwei Fragen, auf die der Abschnitt keine Antwort enthält. 4. Erstelle eine Tabelle mit den Spalten «Frage», «Art der Schwierigkeit», «richtiger Abschnitt», «Treffer unter den ersten 3 (ja/nein)».
Beantworte die Fragen nicht selbst, und füge keine Inhalte hinzu, die nicht im Abschnitt stehen. Lasse die letzte Spalte leer.

Fügen Sie Ihre Abschnitte ein. Prüfen Sie die erzeugten Fragen auf Realismus und ergänzen Sie echte Fragen aus Ihrem Alltag.

Worauf Sie achten müssen

• Eigene Texte zählen: Ergebnisse aus Vergleichstests im Internet sagen wenig über Ihre Fachsprache aus.
• Nur ein Modell zu testen genügt nicht: Vergleichen Sie mindestens zwei oder drei auf derselben Liste.
• Fragen nicht aus den Texten kopieren: Wenn die Fragen wörtlich im Text stehen, ist der Test zu leicht. Formulieren Sie in Alltagssprache.
• Datenschutz: Verwenden Sie für Testfragen und Beispielabschnitte anonymisierte Texte, wenn Sie Werkzeuge Dritter nutzen.
• Zufall und kleine Listen: Mit zehn Fragen sind Aussagen unsicher. Mehr Fragen geben verlässlichere Ergebnisse.
• Suchqualität ist nicht Antwortqualität: Selbst wenn die Suche die richtige Stelle findet, kann die KI sie falsch wiedergeben. Beides prüfen Sie getrennt.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Facility-Management-Unternehmen in Luzern will seine Betriebsanleitungen für Heizung, Lüftung und Sanitär durchsuchbar machen. Das Fachvokabular ist reich an Abkürzungen und Zusammensetzungen.

Vorher: Das Team verlässt sich auf die Angaben zum Modell, es sei «mehrsprachig».

Nachher: Es sammelt 50 Fragen, davon zehn mit Abkürzungen und zehn mit Umschreibungen. Zwei Modelle werden verglichen. Das eine findet 36 von 50 richtigen Stellen unter den ersten fünf Treffern, das andere 41. Bei Abkürzungen versagen beide. Das Team erstellt ein Glossar der Abkürzungen und kombiniert die Bedeutungssuche mit einer Stichwortsuche. Danach steigt die Trefferquote weiter.

Das Beispiel ist erfunden; die Zahlen dienen nur der Veranschaulichung. Ihre Ergebnisse hängen von Ihren Texten ab.

So hilft Ihnen Alpasana

Wenn Sie eine Dokumentensuche für Ihren Betrieb planen und Aufwand sowie Nutzen klären möchten, hilft die KI-Beratung und digitale Transformation von Alpasana: Prozesse aufnehmen, KI-Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen.

Projekte werden individuell offeriert. Passend dazu: Embeddings für Schweizer Begriffe.

Häufige Fragen

Wie viele Testfragen brauche ich?

Für einen ersten Vergleich genügen 40 bis 60. Wichtig ist, dass sie typisch und vielfältig sind. Weniger als 20 sind meist zu unsicher.

Spielt die Schweizer Schreibweise eine Rolle?

Ja, etwa ss statt ß und Schweizer Ausdrücke. Testen Sie Fragen in beiden Varianten, wenn Ihre Texte gemischt sind.

Kann ein besseres Modell alle Probleme lösen?

Nicht unbedingt. Abkürzungen und interne Begriffe kennt kein Modell. Ein Glossar oder eine Stichwortsuche als Ergänzung hilft oft mehr als ein Modellwechsel.

Wie wähle ich das Modell aus, wenn mehrere ähnlich gut sind?

Nehmen Sie das kleinere, schnellere und mit passender Lizenz. Mehr dazu in Embedding-Modell auswählen.