Betrieb

LLM-Routing

Definition

LLM-Routing schickt jede Anfrage automatisch an das passende Modell: einfache Fälle an ein kleines, günstiges Modell, schwierige an ein großes - das senkt Kosten und Antwortzeiten, ohne die Qualität zu opfern.

Nicht jede Anfrage braucht das teuerste Spitzenmodell. Ein Router bewertet die eingehende Aufgabe und wählt das wirtschaftlichste Modell, das sie noch zuverlässig löst - ähnlich wie eine Notaufnahme Fälle nach Dringlichkeit triagiert. Routine läuft günstig, echte Grenzfälle bekommen die volle Leistung.

Für Anwendungen mit hohem Anfragevolumen ist Routing einer der größten Kostenhebel überhaupt und oft mit einem spezialisierten kleinen Modell (siehe Distillation) kombiniert. Es ist ein typischer Baustein von Compound-AI-Systemen: Die Intelligenz steckt nicht in einem einzelnen Modell, sondern in der klugen Verteilung der Arbeit. Voraussetzung ist eine gute Evaluation, um zu wissen, welches Modell welche Fälle noch sicher beherrscht.

In der Praxis

Ein Versandhändler sortiert seine Serviceanfragen vor

Ein Versandhändler für Gartenbedarf beantwortet in der Saison mehrere tausend Serviceanfragen im Monat mit Unterstützung eines Assistenten. Eine Auswertung der Anfragen zeigt ein Muster, das fast überall auftaucht: Der größte Teil sind immer dieselben, einfach zu beantwortenden Fälle - Wo ist meine Lieferung, wie storniere ich, welche Zahlarten gibt es. Ein kleinerer Teil ist echte Sacharbeit: Reklamation mit Fotos, Teillieferung, Gewährleistungsfrage.

Bisher lief jede dieser Anfragen durch dasselbe große Modell. Ein Router klassifiziert nun zuerst die eingehende Anfrage und entscheidet: Standardauskunft, die sich aus Bestelldaten und einer Handvoll Textbausteinen beantworten lässt, geht an ein kleines Modell. Alles, was Kulanzspielraum, Bewertung von Bildern oder mehrere zusammenhängende Vorgänge betrifft, geht an das große. Unsichere Fälle gehen im Zweifel nach oben, nicht nach unten.

Wirtschaftlich ist das der größte einzelne Hebel in dieser Anwendung, weil sich die Modellkosten für die Mehrheit der Anfragen um eine Größenordnung verschieben. Praktisch wichtiger ist aber, was die Voraussetzung dafür war: ein Testsatz, der für jede Fallgruppe belegt, dass das kleine Modell sie noch sicher beherrscht. Ohne diesen Nachweis wäre Routing eine Wette auf Kosten der Servicequalität - mit ihm ist es eine Entscheidung mit bekannter Fehlergrenze.

Abgrenzung

Nicht zu verwechseln mit

Load Balancing: Ein Load Balancer verteilt gleichartige Anfragen auf gleichwertige Ziele, um Last und Ausfälle abzufangen - die Frage lautet „welcher Server hat Kapazität“. Ein Router entscheidet fachlich, welches Modell der Aufgabe angemessen ist. Beides kann nebeneinander laufen und löst unterschiedliche Probleme.
Distillation: Distillation erzeugt ein kleines Modell, das eine bestimmte Aufgabe fast so gut kann wie ein großes. Routing entscheidet, welche Anfrage dort überhaupt hingeht. Die beiden ergänzen sich: Das destillierte Modell ist häufig genau das günstige Ziel, an das der Router die Routinefälle schickt.
Compound AI: Compound AI ist der Oberbegriff für Systeme, die mehrere Modelle, Werkzeuge und Datenquellen zusammenschalten. Routing ist eines ihrer Bauteile - und zwar das, das die Arbeit verteilt. Wer Routing einführt, baut bereits ein Compound-System, auch wenn er es nicht so nennt.

Fehlerbilder

Worauf es ankommt

Routing ohne Evaluation einführen
Die Annahme, das kleine Modell werde die einfachen Fälle schon schaffen, bleibt ohne Testsatz eine Vermutung. Was tatsächlich passiert, merken Sie erst an den Beschwerden - und dann ist offen, ob das Routing schuld ist oder etwas anderes. Belegen Sie je Fallgruppe mit echten Fällen, welches Modell sie noch zuverlässig beherrscht, bevor Sie umschalten.
Der Router wird selbst zum teuren Zwischenschritt
Wenn die Klassifikation ihrerseits ein großes Modell aufruft, zahlen Sie den Aufschlag für jede Anfrage und geben einen Teil der Ersparnis sofort wieder aus - bei kurzen Anfragen kann sich die Rechnung sogar umdrehen. Die Einordnung muss billiger sein als der Unterschied, den sie einspart: einfache Regeln, ein Klassifikator oder ein sehr kleines Modell.
Kein Weg nach oben für Grenzfälle
Fehlt die Eskalation, landet ein falsch eingeordneter Fall still beim schwachen Modell und der Kunde bekommt eine schlechte Antwort, ohne dass jemand davon erfährt. Sehen Sie zwei Auswege vor: Bei geringer Zuversicht der Einordnung gleich das größere Modell nehmen, und bei erkennbar unbefriedigender Antwort automatisch erneut mit dem größeren Modell versuchen.
Optimieren, bevor die Anwendung funktioniert
Routing ist eine Kostenoptimierung und setzt voraus, dass die Anwendung fachlich bereits gut ist. Wird es zu früh eingeführt, vermischen sich zwei Fehlerquellen - schlechte Antworten durch das falsche Modell und schlechte Antworten durch einen unfertigen Prompt - und die Fehlersuche wird unnötig schwer. Erst Qualität herstellen, dann verbilligen.

Häufige Fragen

Was zu LLM-Routing oft gefragt wird

Ab wann lohnt sich LLM-Routing?

Zwei Bedingungen müssen zusammenkommen. Erstens müssen die Modellkosten in der monatlichen Abrechnung überhaupt sichtbar sein - solange sie unter den Betriebskosten verschwinden, ist der Aufwand für Routing höher als der Nutzen. Zweitens müssen sich die Anfragen erkennbar in unterschiedlich schwere Gruppen teilen lassen; bei durchweg gleich anspruchsvollen Aufgaben gibt es nichts zu verteilen. Trifft beides zu, ist Routing meist der größte einzelne Kostenhebel der Anwendung.

Merken Nutzer, dass unterschiedliche Modelle antworten?

Bei sauber kalibriertem Routing nicht - die Fälle, die an das kleine Modell gehen, sind ja gerade die, bei denen es nachweislich gleichwertig antwortet. Auffällig wird es sofort, wenn die Grenze zu optimistisch gezogen wurde: Dann kippt der Ton, Antworten werden knapper oder es fehlen Nuancen bei Sonderfällen. Genau deshalb ist der Testsatz je Fallgruppe die eigentliche Arbeit und nicht der Router selbst.

Bindet uns Routing an einen bestimmten Anbieter?

Eher das Gegenteil. Ein Router ist per Konstruktion eine Zwischenschicht, in der die Anwendung nicht mehr direkt ein bestimmtes Modell aufruft, sondern eine Aufgabe stellt. Damit lässt sich ein Modell austauschen, ohne die Anwendung zu ändern - und Sie können zwei Anbieter parallel betreiben, etwa um Ausfälle abzufangen oder um ein neues Modell auf einem Teil des Verkehrs zu erproben.

Wie viele Modelle braucht ein sinnvolles Routing?

Zwei genügen fast immer: ein günstiges für die Masse und ein starkes für die Ausnahmen. Jede weitere Stufe bringt wenig zusätzliche Ersparnis, vervielfacht aber den Prüfaufwand, weil Sie für jede Stufe belegen müssen, welche Fallgruppen sie beherrscht. Fangen Sie mit zwei Stufen und einer klaren Eskalation nach oben an; eine dritte Stufe rechtfertigt sich erst bei sehr großen Volumina.

Verwandte Begriffe