Retrieval

Reranking

Definition

Reranking ist ein Nachsortierschritt im Retrieval: Ein spezialisiertes Modell bewertet die zunächst gefundenen Treffer noch einmal genauer und stellt die wirklich relevantesten nach vorn.

Die erste, schnelle Vektorsuche liefert viele grob passende Kandidaten, ist aber nicht perfekt in der Rangfolge. Ein Reranker prüft anschließend jedes Kandidatenpaar aus Frage und Textstelle im Detail und ordnet sie nach echter Relevanz. So gelangen nur die besten wenigen Auszüge ins Kontextfenster - der Rest wird verworfen.

Dieser kleine Zwischenschritt hat große Wirkung: Weil das Sprachmodell nur mit dem relevantesten Material arbeitet, sinken Halluzinationen und Kosten zugleich. Reranking ist damit einer der wirkungsvollsten Hebel, um ein mittelmäßiges RAG-System zu einem verlässlichen zu machen - ohne das Sprachmodell selbst zu wechseln.

In der Praxis

Ein Maschinenbauer bringt seinen Serviceassistenten auf verlässliches Niveau

Ein Hersteller von Verpackungsmaschinen mit rund 350 Mitarbeitenden betreibt seit einigen Monaten einen Assistenten für den technischen Service: gut 40.000 Textabschnitte aus Handbüchern, Störungsmeldungen und Ersatzteillisten, die fünf besten Treffer gehen jeweils direkt an das Sprachmodell. Die Antworten sind meistens richtig - und genau das ist das Problem. Die Servicetechniker prüfen jede Antwort doppelt, weil sie nicht wissen, welche die falsche ist. Der Zeitgewinn verschwindet damit vollständig.

Die Auswertung eines Testfragensatzes zeigt ein klares Muster: Die richtige Textstelle war fast immer im Bestand und wurde auch gefunden - nur eben auf Rang 12 oder 23 und damit außerhalb der fünf Auszüge, die das Modell zu sehen bekam. Eingebaut wird deshalb kein neues Sprachmodell und kein neuer Index, sondern ein Zwischenschritt: Die Suche liefert jetzt vierzig Kandidaten, ein Reranker bewertet jedes Paar aus Frage und Textstelle einzeln, und die besten fünf gehen weiter.

Der Preis ist überschaubar und muss trotzdem geprüft werden: ein zusätzlicher Modellaufruf je Frage und etwas Wartezeit. Dem steht gegenüber, dass weniger, aber besseres Material an das Sprachmodell geht - was die Kosten pro Antwort senkt. Belegen lässt sich der Fortschritt nur, weil derselbe Testfragensatz vorher und nachher gelaufen ist. Ohne diese Messung wäre der Umbau eine Behauptung geblieben.

Abgrenzung

Nicht zu verwechseln mit

Vektor-Retrieval: Vektor-Retrieval vergleicht vorab berechnete Zahlenreihen und kann deshalb Millionen Abschnitte in Millisekunden durchsehen - grob, aber schnell. Ein Reranker liest Frage und Textstelle gemeinsam und urteilt dadurch deutlich genauer, ist aber zu langsam für den ganzen Bestand. Erst die Reihenfolge beider Schritte ergibt ein System, das sowohl schnell als auch treffsicher ist.
Mehr Kontext mitschicken: Der naheliegende Reflex bei schlechten Antworten ist, dem Modell einfach mehr Auszüge zu geben. Das verschlechtert das Ergebnis häufig: Relevante Stellen gehen in der Masse unter, die Antwort wird unschärfer, und jede Anfrage kostet mehr. Reranking geht den umgekehrten Weg - weniger Material, aber das richtige.
Fine-Tuning: Wenn ein Assistent falsch antwortet, wird oft zuerst über das Training des Modells nachgedacht. Meist liegt der Fehler jedoch nicht im Modell, sondern im Material, das es bekommt. Reranking repariert die Auswahl, Fine-Tuning verändert das Modell - die Diagnose entscheidet, und sie ist mit einem Testfragensatz in wenigen Stunden zu stellen.

Fehlerbilder

Worauf es ankommt

Reranking einbauen, ohne die Kandidatenmenge zu erhöhen
Bleibt die Suche bei fünf Treffern, sortiert der Reranker fünf Treffer um - die richtige Stelle, die auf Rang 23 lag, ist weiterhin nicht dabei. Reranking wirkt nur, wenn die vorgelagerte Suche breiter ausgelegt wird, typischerweise auf einige Dutzend Kandidaten. Dieser Fehler ist häufig und führt zu dem Urteil, Reranking bringe nichts.
Das Antwortzeitbudget nicht prüfen
Der zusätzliche Schritt kostet Zeit. In einem Chat, dessen Antwort ohnehin schrittweise erscheint, fällt das kaum auf; in einer Schnittstelle, die synchron antworten muss, oder in einem Prozess mit mehreren aufeinanderfolgenden Modellaufrufen summiert es sich spürbar. Die Frage gehört vor den Einbau, nicht in die erste Beschwerde aus dem Fachbereich.
Die Sprachfähigkeit des Rerankers übersehen
Ein erheblicher Teil der verfügbaren Reranking-Modelle ist überwiegend auf englischem Material trainiert. Auf deutschen Handbüchern und Verträgen kann die Sortierung dann schlechter ausfallen als die ursprüngliche Vektorsuche. Das lässt sich nur mit eigenen, deutschsprachigen Testfragen feststellen - nicht aus Datenblättern.
Reranking als Etikett statt als Messgröße
Wer Reranking einbaut, weil es zum Stand der Technik gehört, und danach keine Zahlen erhebt, hat ein zusätzliches Bauteil im Betrieb und keinen Beleg für dessen Nutzen. Jeder Eingriff in die Retrieval-Kette gehört vor und nach dem Einbau über denselben Fragensatz gemessen - sonst lässt sich später nicht entscheiden, was wieder ausgebaut werden kann.

Häufige Fragen

Was zu Reranking oft gefragt wird

Wann brauchen wir Reranking?

Dann, wenn die richtige Information im Bestand vorhanden ist, aber nicht in der Antwort auftaucht. Die Diagnose ist einfach: Lassen Sie die Suche für Ihre Testfragen fünfzig Treffer liefern und prüfen Sie, auf welchem Rang die korrekte Stelle steht. Liegt sie regelmäßig hinter den ersten fünf, hilft Reranking. Taucht sie gar nicht auf, liegt das Problem bei der Aufbereitung oder beim Index - dann ändert Reranking nichts.

Macht Reranking ein RAG-System teurer?

Es kommt ein zusätzlicher Modellaufruf je Frage hinzu, allerdings mit einem deutlich kleineren und günstigeren Modell als dem Sprachmodell. Gegenzurechnen ist, dass anschließend weniger Text an das Sprachmodell geht, was dessen Kosten senkt. In der Summe ist der Unterschied bei den meisten Anwendungen klein; spürbar teurer wird nicht das Reranking, sondern das gedankenlose Mitschicken großer Kontexte.

Können wir statt Reranking einfach mehr Kontext mitgeben?

Technisch ja, inhaltlich meist nein. Mit der Menge an mitgeschicktem Material steigen Kosten und Antwortzeit, und die Trefferquote leidet häufig, weil die relevante Stelle zwischen zwanzig mittelmäßigen untergeht. Große Kontextfenster ersetzen keine gute Auswahl - sie machen eine schlechte Auswahl nur teurer.

Braucht Reranking ein eigenes Modell?

Ja, aber ein spezialisiertes und deutlich kleineres als ein Sprachmodell. Solche Modelle gibt es als Cloud-Dienst und zum Selbstbetrieb; die Hardwareanforderungen sind moderat und für den eigenen Betrieb realistisch. Wichtiger als das konkrete Produkt ist, dass es die Sprache Ihrer Dokumente beherrscht und sich gegen Ihren eigenen Testfragensatz bewährt.

Verwandte Begriffe