Retrieval

Embedding

Definition

Ein Embedding wandelt Text (oder Bilder) in eine Zahlenreihe um, die seine Bedeutung erfasst. Inhaltlich Ähnliches erhält ähnliche Zahlen - die Grundlage für semantische Suche und Retrieval.

Computer können Bedeutung nicht direkt vergleichen, Zahlen aber schon. Ein Embedding-Modell übersetzt eine Textstelle in einen Punkt in einem hochdimensionalen Raum, sodass „Rechnung“ und „Faktura“ nah beieinander liegen, „Rechnung“ und „Regenwald“ dagegen weit auseinander. Nähe im Raum bedeutet Ähnlichkeit in der Bedeutung.

Diese unscheinbare Umwandlung ist der Motor moderner Suche. Statt nur nach exakten Stichwörtern zu suchen, findet ein System über Embeddings auch sinnverwandte Treffer. In RAG-Systemen werden Ihre Dokumente einmal in Embeddings zerlegt und in einer Vektordatenbank abgelegt; bei jeder Frage wird das passendste Material über Vektor-Ähnlichkeit herausgesucht.

In der Praxis

Ein Sanitärgroßhändler findet die eigenen Artikel nicht mehr

Ein Großhändler für Sanitär- und Heizungstechnik mit rund 90 Mitarbeitenden führt gut 40.000 Artikel im Onlineshop. Die Suche arbeitet mit Stichwörtern - und liefert null Treffer, wenn ein Handwerker „Wasserhahn für die Küche“ eingibt, der Artikel im Katalog aber „Spültischarmatur Einhebel“ heißt. Die Folge landet im Innendienst: Anrufe, in denen jemand am Telefon die richtige Artikelnummer heraussucht.

Die Abhilfe beginnt nicht bei einem Sprachmodell, sondern bei Embeddings. Bezeichnung, Kurzbeschreibung und Anwendungshinweis jedes Artikels werden einmal in eine Zahlenreihe umgewandelt und abgelegt. Die Suchanfrage wird beim Tippen genauso umgewandelt; ausgegeben werden die Artikel, deren Zahlenreihen der Anfrage am nächsten liegen. Die jahrelang gepflegte Synonymliste - „Armatur = Hahn = Mischbatterie“ - wird damit überflüssig, weil die Nähe aus der Sprache selbst stammt und nicht aus einer Tabelle.

Zwei Grenzen zeigen sich schnell. Exakte Angaben wie eine Artikelnummer oder „DN 15“ trifft die Bedeutungssuche schlechter als eine Stichwortsuche - beide laufen deshalb parallel, und das bessere Ergebnis gewinnt. Und Embeddings altern nicht von selbst: Ein neu gelisteter Artikel ist unsichtbar, solange niemand seine Zahlenreihe berechnet und einspielt. Wer diesen Schritt nicht in den Artikelanlage-Prozess einbaut, hat nach einem halben Jahr eine Suche, die den aktuellen Katalog nicht kennt.

Abgrenzung

Nicht zu verwechseln mit

Vektordatenbank: Das Embedding ist der Inhalt, die Vektordatenbank der Behälter. Das Embedding-Modell entscheidet über die Qualität der Treffer, die Datenbank über Geschwindigkeit, Betrieb und Datenhoheit. Beides wird getrennt entschieden - und ein gutes Produkt gleicht ein schwaches Embedding-Modell nicht aus.
Fine-Tuning: Embeddings verändern kein Sprachmodell, sie beschreiben nur Ihre Inhalte in einer vergleichbaren Form. Fine-Tuning greift in das Modell selbst ein. Wer sein Firmenwissen zugänglich machen will, braucht Embeddings; wer Formulierung und Format ändern will, landet beim Fine-Tuning.
Token: Ein Token ist eine Texteinheit, nach der Verarbeitung und Abrechnung bemessen werden. Ein Embedding ist eine Bedeutungsdarstellung eines ganzen Textabschnitts. Die Zahl der Token sagt, wie viel Text verarbeitet wurde; das Embedding sagt, worum es darin ging.

Fehlerbilder

Worauf es ankommt

Das Embedding-Modell im laufenden Betrieb wechseln
Zahlenreihen aus zwei verschiedenen Modellen sind nicht vergleichbar. Wird das Modell getauscht, ohne den gesamten Bestand neu zu berechnen, bricht die Trefferqualität ein - ohne Fehlermeldung, ohne Absturz, nur mit schlechteren Ergebnissen, die niemand sofort zuordnet. Ein Modellwechsel bedeutet immer einen vollständigen Neuaufbau des Index und gehört entsprechend geplant.
Die Dokumente falsch zerteilen
Ein ganzes 60-seitiges Handbuch in eine einzige Zahlenreihe zu pressen verwischt jede Bedeutung; einzelne Sätze wiederum verlieren den Zusammenhang und liefern Auszüge, die für sich genommen nichts aussagen. Sinnvoll sind Abschnitte entlang der Dokumentstruktur - ein Kapitel, ein Klauselabschnitt, ein Arbeitsschritt - mit Überschrift und Herkunft als Zusatzangabe.
Berechtigungen beim Index vergessen
Ein Embedding-Index ist eine zweite Kopie Ihrer Inhalte. Wer ihn durchsuchen darf, bekommt Auszüge aus Dokumenten zu sehen, die er im Originalsystem womöglich nicht öffnen dürfte. Die Zugriffsrechte müssen deshalb am einzelnen Auszug hängen und bereits bei der Suche greifen - nicht erst als Filter in der Oberfläche, der sich umgehen lässt.
Mehrsprachigkeit erst im Betrieb bemerken
Viele Bestände sind gemischt: deutsche Arbeitsanweisungen, englische Herstellerdokumentation. Ein Modell, das nur eine Sprache gut abbildet, findet dann die halbe Antwort nicht. Prüfen Sie das vorab mit einem Dutzend echter Fragen über Sprachgrenzen hinweg, statt sich auf allgemeine Leistungsangaben zu verlassen.

Häufige Fragen

Was zu Embedding oft gefragt wird

Was kostet es, unsere Dokumente in Embeddings umzuwandeln?

Die Umwandlung selbst ist in aller Regel der kleinste Posten eines Retrieval-Projekts: Sie wird nach verarbeiteter Textmenge abgerechnet und fällt beim Erstaufbau einmal an. Kostenrelevant wird erst der Dauerbetrieb, weil jede geänderte Fassung eines Dokuments neu berechnet werden muss. Die belastbare Frage lautet deshalb nicht „was kostet eine Seite“, sondern „wie oft ändert sich unser Bestand“ - und ob jemand dafür zuständig ist.

Wie unterscheidet sich ein Embedding von einer normalen Volltextsuche?

Eine Volltextsuche vergleicht Zeichenketten: Sie findet ein Dokument, wenn das gesuchte Wort darin vorkommt. Ein Embedding vergleicht Bedeutungen, daher findet es auch Inhalte, die dieselbe Sache anders benennen. Der Preis dafür ist Unschärfe - exakte Kennungen wie Rechnungs- oder Artikelnummern trifft die Volltextsuche zuverlässiger. In der Praxis laufen beide Verfahren nebeneinander.

Müssen wir unsere Dokumente dafür aus dem Haus geben?

Nein, nicht zwingend. Embedding-Modelle gibt es sowohl als Cloud-Dienst als auch zum Selbstbetrieb, und sie sind deutlich kleiner als Sprachmodelle - der Betrieb im eigenen Rechenzentrum ist daher realistisch und nicht an teure Spezialhardware gebunden. Wer den Cloud-Weg wählt, sollte vertraglich klären, dass die übermittelten Texte nicht zum Training verwendet werden, und die Region festlegen.

Wie oft müssen Embeddings neu berechnet werden?

Für unveränderte Dokumente nie - eine einmal berechnete Zahlenreihe bleibt gültig. Neu berechnet werden muss, was sich ändert: geänderte Dokumente, neue Dokumente, und der komplette Bestand dann, wenn das Embedding-Modell gewechselt wird. Praktisch heißt das, den Index an den Freigabeprozess der Dokumente zu koppeln statt an einen Kalendereintrag.

Verwandte Begriffe