Retrieval

RAG (Retrieval-Augmented Generation)

Definition

RAG heißt: Bevor das Sprachmodell antwortet, sucht das System in Ihren eigenen Dokumenten die passenden Stellen und legt sie als Kontext bei. Das Modell antwortet aus belegtem Material statt aus vagem Gedächtnis.

Der Vergleich, der hängen bleibt: Fine-Tuning ist wie Auswendiglernen für eine Prüfung, RAG ist eine Open-Book-Prüfung - das Wissen liegt aufgeschlagen daneben und wird bei jeder Frage neu nachgeschlagen. Deshalb kann RAG mit Wissen umgehen, das sich täglich ändert, ohne dass das Modell neu trainiert werden muss, und es kann seine Antworten mit Quellen belegen.

Für den Mittelstand ist RAG fast immer der richtige erste Schritt, um KI auf eigene Daten anzuwenden: schneller live, günstiger, nachvollziehbar. Die Qualität entscheidet sich an der Datenaufbereitung - sauberes Zerteilen der Dokumente, gute Embeddings und, für hohe Trefferqualität, ein Reranking-Schritt. Ein tieferer Vergleich findet sich im Wissens-Artikel „RAG oder Fine-Tuning?“.

In der Praxis

Ein Stadtwerk beantwortet Tariffragen aus ständig wechselnden Regelwerken

Ein kommunales Stadtwerk mit rund 600 Mitarbeitenden beschäftigt im Kundenservice etwa 25 Personen. Sie beantworten Fragen zu Tarifen, Förderbedingungen und Netzanschlüssen - aus Unterlagen, die sich mehrmals im Jahr ändern und über PDF-Ablagen, Intranetseiten und Rundmails verteilt sind. Neue Mitarbeitende brauchen Monate, bis sie wissen, wo was steht; und eine falsche Auskunft erzeugt eine Beschwerde, die deutlich teurer ist als das Gespräch.

Ein RAG-System ändert daran nichts am Modell und alles am Weg dorthin: Alle geltenden Unterlagen werden in Abschnitte zerlegt und durchsuchbar gemacht. Stellt jemand eine Frage in normaler Sprache, sucht das System die fünf bis acht passendsten Abschnitte heraus, legt sie dem Sprachmodell bei und lässt daraus eine Antwort formulieren - mit Verweis auf Dokument und Abschnitt. Wird ein Regelwerk geändert, tauscht man die betroffenen Abschnitte aus; ein neues Training findet nicht statt.

Der Gewinn liegt im Finden, nicht im Formulieren. Die Antwort geht nicht an den Kunden, sondern an den Mitarbeitenden, der sie mit einem Blick auf die zitierte Stelle prüft und dann selbst spricht. Voraussetzung ist ein aufgeräumter Bestand: Liegen zwei widersprüchliche Fassungen derselben Tarifregel im Index, erzeugt ein RAG-System daraus zuverlässig eine widersprüchliche Antwort. Das Aussortieren vor dem Indexieren ist deshalb kein Vorgeplänkel, sondern der eigentliche Projektinhalt.

Abgrenzung

Nicht zu verwechseln mit

Fine-Tuning: Fine-Tuning verändert das Modell und bringt ihm Stil, Format und Fachsprache bei. RAG lässt das Modell unangetastet und legt ihm bei jeder Frage das passende Material bei. Die Faustregel: Fine-Tuning beantwortet „wie soll es antworten“, RAG beantwortet „was soll es wissen“. Wissen, das sich ändert, gehört nie ins Training - sonst muss jede Änderung eines Dokuments mit einem Trainingslauf bezahlt werden.
Embedding: Ein Embedding ist ein Bauteil, RAG die ganze Konstruktion. Embeddings ermöglichen das Auffinden ähnlicher Textstellen; RAG umfasst zusätzlich das Zerteilen der Dokumente, die Suche, das Nachsortieren, den Aufbau des Kontexts, die Anweisung an das Modell und die Prüfung der Antwort. Wer nur Embeddings erzeugt, hat noch kein RAG.
Vektordatenbank: Die Vektordatenbank ist der Speicher, RAG das Verfahren. Eine Vektordatenbank ist in Tagen beschafft und eingerichtet; ein belastbares RAG-System entsteht erst durch Aufbereitung, Rechtekonzept, Aktualisierung und Messung. Wer die Produktauswahl für das Projekt hält, vertagt die eigentliche Arbeit.
Alles ins Kontextfenster laden: Moderne Modelle können sehr lange Texte auf einmal aufnehmen - die naheliegende Idee ist deshalb, einfach alle Dokumente mitzuschicken. Das funktioniert bei einer Handvoll Dateien und skaliert nicht: Die Kosten jeder einzelnen Anfrage wachsen mit dem Umfang, die Antwortzeit steigt, und relevante Stellen gehen in der Masse unter. RAG schickt gezielt wenig - dafür das Richtige.

Fehlerbilder

Worauf es ankommt

Beim Modell anfangen statt bei den Dokumenten
Die Frage „welches Sprachmodell nehmen wir“ ist in einem RAG-Projekt die am wenigsten entscheidende. Der Aufwand liegt fast vollständig davor: Welche Dokumente gelten, welche Fassung ist aktuell, wer darf was sehen, in welchem Format liegt das Material vor. Projekte, die mit der Modellauswahl starten, entdecken diese Fragen erst, wenn der Prototyp schon versprochen ist.
Veraltete und widersprüchliche Unterlagen indexieren
Ein RAG-System hat keine Meinung darüber, welche von zwei Fassungen gilt - es liefert die inhaltlich passendste. Ohne Aussortieren und ohne Gültigkeitsangabe je Abschnitt zitiert das System die abgelaufene Betriebsvereinbarung mit derselben Überzeugung wie die aktuelle. Ein Gültigkeitsfeld je Dokument und ein Ablaufdatum sind billiger als jede spätere Korrektur.
Keine Berechtigungsgrenze im Index
Wird alles in einen einzigen Index gekippt, landen Personalunterlagen neben Serviceanleitungen - und eine harmlose Frage kann einen Auszug daraus zurückliefern. Zugriffsrechte müssen beim Suchschritt greifen, nicht erst in der Oberfläche: Was ein Nutzer nicht sehen darf, darf gar nicht erst in seine Trefferliste geraten. Das nachträglich einzuziehen ist deutlich teurer als es von Anfang an mitzudenken.
Ohne Testfragen live gehen
Ohne eine feste Sammlung echter Fragen samt bekannter richtiger Antwort ist jede spätere Änderung ein Blindflug - niemand kann sagen, ob ein neues Modell, ein anderer Suchparameter oder ein umgebauter Prompt das System besser oder schlechter gemacht hat. Ein Satz von einigen Dutzend Fragen aus dem Alltag der Fachabteilung kostet wenige Tage und bleibt über die gesamte Laufzeit nützlich.

Häufige Fragen

Was zu RAG (Retrieval-Augmented Generation) oft gefragt wird

Wann lohnt sich RAG und wann Fine-Tuning?

RAG lohnt sich, wenn es um Wissen geht, das sich ändert, belegt werden muss oder Zugriffsrechten unterliegt - also bei praktisch allem, was in Unternehmensdokumenten steht. Fine-Tuning lohnt sich, wenn nicht der Inhalt, sondern die Form das Problem ist: eine sehr spezielle Fachsprache, ein festes Ausgabeformat, ein bestimmter Antwortstil über viele gleichartige Fälle. Für den überwiegenden Teil mittelständischer Anwendungsfälle ist RAG der erste und oft einzige nötige Schritt.

Was kostet ein RAG-System im Mittelstand?

Sinnvoll sind drei getrennte Posten: die einmalige Aufbereitung und Anbindung, die laufenden Kosten pro Anfrage für Suche und Sprachmodell, und die laufende Pflege des Dokumentbestands. Der dritte Posten wird bei der Planung fast immer vergessen und ist derjenige, an dem Systeme nach einem Jahr scheitern - nicht weil sie zu teuer wären, sondern weil sich niemand zuständig fühlt, den Index aktuell zu halten.

Halluziniert ein RAG-System noch?

Ja, aber seltener und auf andere Weise. Das Modell formuliert weiterhin selbst, und zwei Fehlerbilder bleiben: Findet die Suche die passende Stelle nicht, füllt das Modell die Lücke mit Plausiblem; oder es verbindet zwei Auszüge, die inhaltlich nicht zusammengehören. Gegenmittel sind eine sichtbare Quellenangabe je Aussage und die ausdrückliche Erlaubnis, „dazu finde ich nichts“ zu antworten.

Wie lange dauert es, bis ein RAG-System einsatzbereit ist?

Ein Prototyp auf einem sauberen, klar abgegrenzten Dokumentbestand ist eine Sache von Wochen. Zwischen Prototyp und Betrieb liegt der eigentliche Abstand: Zugriffsrechte, automatische Aktualisierung des Index, Protokollierung, Messung der Antwortqualität und ein benannter Verantwortlicher für den Inhalt. Wer nur den Prototyp einplant, hält das Projekt für fast fertig, wenn etwa die Hälfte der Arbeit getan ist.

Verwandte Begriffe