Wie erstellt man Embeddings auf dem eigenen Rechner?

Das Problem

Sie möchten, dass eine KI Ihre Dokumente durchsuchen kann, und zwar nicht nur nach einzelnen Wörtern, sondern nach Bedeutung. Wer «Kündigungsfrist» sucht, soll auch den Abschnitt zu «Beendigung des Arbeitsverhältnisses» finden. Dafür braucht es sogenannte Embeddings.

Viele Anbieter bieten Embeddings als Cloud-Dienst an. Das ist bequem, doch Ihre Texte werden dabei an einen Dritten gesendet. Bei vertraulichen Unterlagen, etwa Verträgen, Personalakten oder Kundendaten, wollen Sie das oft nicht. Dann bietet sich die lokale Erstellung auf dem eigenen Rechner an.

Das klingt technisch, ist aber gut machbar. Ein Embedding ist eine Folge von Zahlen, die den Inhalt eines Textabschnitts beschreibt. Ähnliche Texte erhalten ähnliche Zahlenfolgen, und so lässt sich Ähnliches finden. Eine KI kann Ihnen helfen, den Ablauf zu planen. Die Umsetzung braucht grundlegende technische Kenntnisse.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel klären: Wofür brauchen Sie die Suche? Interne Handbücher, Kundenanfragen, Verträge? Das bestimmt Sprache, Textmenge und Anforderungen.
2. Texte vorbereiten: Wandeln Sie Dokumente in reinen Text um und teilen Sie sie in sinnvolle Abschnitte. Siehe Chunking einfach erklärt.
3. Embedding-Modell wählen: Wählen Sie ein Modell, das Deutsch gut versteht und lokal läuft. Prüfen Sie Lizenz, Grösse und Sprachen auf der Herstellerseite.
4. Hardware prüfen: Embedding-Modelle sind kleiner als Chat-Modelle und laufen oft auch ohne grosse Grafikkarte. Testen Sie mit einer kleinen Textmenge.
5. Modell installieren: Nutzen Sie ein Werkzeug für lokale Modelle, zum Beispiel Ollama, und laden Sie das gewählte Modell herunter.
6. Erste Embeddings erzeugen: Lassen Sie einige Abschnitte verarbeiten und speichern Sie die Ergebnisse zusammen mit Text, Dateiname und Position.
7. Ähnlichkeit testen: Erstellen Sie Embeddings für Fragen und prüfen Sie, ob die passenden Textabschnitte gefunden werden.
8. Abläufe festhalten: Notieren Sie Modellname, Version und Einstellungen. Wenn Sie das Modell später wechseln, müssen alle Embeddings neu erstellt werden.

Vorlage zum Kopieren

Du hilfst mir, Embeddings lokal auf meinem Rechner zu planen. Deutsch (Schweiz), einfache Sprache, ohne Fachjargon.
Meine Texte: [Art, Sprache, ungefähre Menge, vertraulich ja/nein]
Mein Rechner: [Betriebssystem, Arbeitsspeicher, Grafikkarte falls vorhanden]
Mein Ziel: [z. B. interne Suche in Handbüchern]
Aufgabe: 1. Erkläre in fünf Sätzen, was ein Embedding ist, mit einem Alltagsvergleich. 2. Erstelle eine Checkliste mit den Schritten von der Dokumentvorbereitung bis zum ersten Suchtest. 3. Nenne fünf Kriterien für die Wahl eines Embedding-Modells (z. B. Sprache, Lizenz, Grösse). 4. Schlage zehn Testfragen-Typen vor, mit denen ich prüfe, ob die Suche taugt.
Nenne keine konkreten Modellversionen oder Leistungszahlen, die du nicht sicher weisst, und weise darauf hin, was ich auf den Herstellerseiten prüfen muss.

Ergänzen Sie Ihre Angaben. Aktuelle Modellnamen prüfen Sie auf den Seiten der Hersteller, denn das Angebot ändert sich schnell.

Worauf Sie achten müssen

• Datenschutz: Lokal heisst nur dann sicher, wenn Rechner und Speicher geschützt sind. Prüfen Sie Zugriffe, Backups und wer die Embeddings einsehen darf.
• Embeddings sind nicht anonym: Aus den Zahlen kann man Rückschlüsse auf Inhalte ziehen. Behandeln Sie sie wie die Originaltexte. Siehe Embeddings und Datenschutz prüfen.
• Sprache: Nicht alle Modelle verstehen Deutsch gleich gut. Testen Sie mit Fachbegriffen und Schweizer Ausdrücken.
• Modellwechsel: Embeddings verschiedener Modelle sind nicht kompatibel. Bei einem Wechsel müssen alle neu berechnet werden.
• Lizenz: Prüfen Sie, ob die Nutzung im Betrieb erlaubt ist.
• Eigene Prüfung: Eine Suche, die in der Demo gut klingt, kann bei Ihren Dokumenten versagen. Testen Sie mit echten Fragen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Personalberatungsbüro in Basel möchte seine internen Richtlinien und Vorlagen durchsuchbar machen. Die Unterlagen enthalten vertrauliche Angaben, daher soll nichts in die Cloud.

Vorher: Mitarbeitende suchen in Ordnern nach Stichwörtern und finden oft nichts, weil Dokumente andere Begriffe nutzen.

Nachher: Ein externer Informatiker richtet auf einem Büro-PC ein lokales Embedding-Modell ein. Die Richtlinien werden in Abschnitte geteilt und verarbeitet. Beim Test mit 30 echten Fragen findet die Suche die meisten passenden Stellen, bei Abkürzungen versagt sie zum Teil. Das Büro ergänzt ein Glossar und prüft erneut.

Das Beispiel zeigt: Der grösste Teil der Arbeit liegt in der Vorbereitung der Texte und im Testen, nicht im Erzeugen der Embeddings.

So hilft Ihnen Alpasana

Wenn Sie lokale KI-Werkzeuge kennenlernen möchten, bietet absofort mit KI und IT für konkrete Arbeitsaufgaben Kurse an. Dazu gehören laut Beschreibung No-Code-Automatisierung, KI-Agenten und lokale KI mit Ollama und Open-Source-Modellen. Praxisaufgaben, ein KI-Lerncoach und ein verifizierbarer Abschluss unterstützen das Lernen.

Ob Embeddings speziell Teil eines Kurses sind, prüfen Sie im Kursangebot. Zum Einstieg lesen Sie Embeddings einfach erklärt.

Häufige Fragen

Brauche ich eine Grafikkarte?

Für kleine Embedding-Modelle oft nicht. Sie laufen auf einem normalen Rechner, aber langsamer. Bei grossen Textmengen lohnt sich schnellere Hardware.

Wie viele Zahlen hat ein Embedding?

Das hängt vom Modell. Man spricht von Dimensionen, mehr dazu in Embedding-Dimensionen. Wichtig ist nur, dass dieselbe Grösse für alle Texte und Fragen gilt.

Kann ich Embeddings später mit einem anderen Modell mischen?

Nein. Fragen und Dokumente müssen mit demselben Modell erstellt werden. Beim Wechsel berechnen Sie alles neu.

Ist das Ergebnis genauso gut wie bei Cloud-Anbietern?

Nicht unbedingt, aber oft ausreichend. Testen Sie mit eigenen Fragen und vergleichen Sie, bevor Sie sich festlegen.