Embedding

Definition

Ein Embedding (auf Deutsch etwa «Einbettung») ist die Darstellung eines Textes durch eine Liste von Zahlen, einen sogenannten Vektor. Ein Programm, das Embedding-Modell heisst, berechnet diese Zahlen aus dem Text. Dabei bekommen Texte mit ähnlichem Sinn ähnliche Zahlen.

Die Zahlen selbst sind für Menschen nicht lesbar. Nützlich ist, dass man sie vergleichen kann: Wie nah liegen zwei Zahlenlisten beieinander?

Einfach erklärt

Stellen Sie sich eine riesige Landkarte vor, auf der jede Bedeutung einen Ort hat. «Rechnung» und «Faktura» liegen nahe beieinander, «Ferien» weiter weg. Das Embedding ist die Koordinate eines Textes auf dieser Karte. Die Karte hat nicht zwei, sondern hunderte oder tausende Richtungen, aber das Prinzip ist gleich.

Wozu ist das gut? Wenn Sie in Ihren Unterlagen «Wie kündige ich den Mietvertrag?» suchen, findet eine Suche mit Embeddings auch den Abschnitt «Beendigung des Mietverhältnisses», obwohl kein Wort identisch ist.

Beispiel

Ein Beispiel: Ein Handwerksbetrieb im Kanton Bern möchte seine Arbeitsanweisungen durchsuchbar machen. Die Texte werden in Abschnitte geteilt und in Embeddings umgewandelt, die in einer Vektordatenbank liegen. Fragt eine Mitarbeiterin «Wie entsorge ich Farbreste?», holt das System die ähnlichsten Abschnitte, und ein Sprachmodell formuliert daraus die Antwort, siehe RAG.

Nicht verwechseln

Ein Embedding ist kein Sprachmodell, das Texte schreibt, sondern ein Rechenverfahren für Bedeutung. Es ist auch kein Verschlüsselungsverfahren: Aus Embeddings lässt sich unter Umständen auf den Inhalt schliessen, deshalb gelten Datenschutzregeln weiter. Mehr dazu in Embeddings einfach erklärt. Verschiedene Embedding-Modelle liefern verschiedene Zahlen und sind nicht untereinander austauschbar.

So hilft Ihnen Alpasana

Für Entwickelnde bietet absofort den Kurs KI für Developer mit Claude und Codex an. Laut Beschreibung behandelt er LLM-Grundlagen mit Tokens, Kontext und Grenzen sowie Codegenerierung, Debugging und Review. Embeddings werden in der Beschreibung nicht einzeln genannt; die Grundlagen helfen aber, solche Begriffe einzuordnen.