LLM-Routing
Definition
LLM-Routing schickt jede Anfrage automatisch an das passende Modell: einfache Fälle an ein kleines, günstiges Modell, schwierige an ein großes — das senkt Kosten und Antwortzeiten, ohne die Qualität zu opfern.
Nicht jede Anfrage braucht das teuerste Spitzenmodell. Ein Router bewertet die eingehende Aufgabe und wählt das wirtschaftlichste Modell, das sie noch zuverlässig löst — ähnlich wie eine Notaufnahme Fälle nach Dringlichkeit triagiert. Routine läuft günstig, echte Grenzfälle bekommen die volle Leistung.
Für Anwendungen mit hohem Anfragevolumen ist Routing einer der größten Kostenhebel überhaupt und oft mit einem spezialisierten kleinen Modell (siehe Distillation) kombiniert. Es ist ein typischer Baustein von Compound-AI-Systemen: Die Intelligenz steckt nicht in einem einzelnen Modell, sondern in der klugen Verteilung der Arbeit. Voraussetzung ist eine gute Evaluation, um zu wissen, welches Modell welche Fälle noch sicher beherrscht.
Passend dazu
Passende Leistung
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen