Distillation
Definition
Distillation bringt einem kleinen, günstigen Modell eine eng umrissene Aufgabe bei, indem ein großes, teures Modell als Lehrer dient. Ergebnis: fast gleiche Qualität bei deutlich niedrigeren Betriebskosten.
Ein großes Modell erzeugt viele Musterlösungen für eine bestimmte Aufgabe, mit denen ein kleineres Modell trainiert wird. Das kleine Modell „destilliert“ so das Können des großen für genau diesen Zweck - und läuft danach schneller und billiger in der Inferenz.
Für Unternehmen lohnt Distillation, sobald eine Aufgabe stabil ist und oft genug wiederkehrt, dass die Modellkosten ins Gewicht fallen: etwa das Einordnen eingehender Anfragen, das täglich hundertfach anfällt. Statt für jede Anfrage ein teures Spitzenmodell zu bemühen, übernimmt ein spezialisiertes kleines Modell die Routine, und das große Modell bleibt den echten Grenzfällen vorbehalten. Das senkt Kosten und Antwortzeiten, ohne die Qualität spürbar zu opfern.
In der Praxis
Ein Bildungsträger klassifiziert Kursanfragen mit einem kleinen Modell
Ein Weiterbildungsträger mit mehreren Standorten erhält täglich einige hundert Anfragen zu Kursen, Förderfähigkeit, Terminen und Zertifikaten. Ein großes Modell erledigt die Einordnung zuverlässig, aber die Aufgabe ist eng und wiederholt sich - für jede Anfrage ein großes Modell zu bemühen, ist wie einen Gutachter nach der Uhrzeit zu fragen.
Der Träger lässt darum das große Modell einige tausend Anfragen einordnen und begründen, prüft eine Stichprobe dieser Ergebnisse fachlich nach und trainiert damit ein deutlich kleineres Modell auf genau diese eine Aufgabe. Das Ergebnis erreicht in der Klassifikation nahezu dieselbe Trefferquote, läuft aber um ein Vielfaches günstiger und schnell genug, um die Einordnung direkt im Eingangsformular anzuzeigen.
Entscheidend ist, was dabei nicht mitwandert: Das kleine Modell kann die Aufgabe, für die es trainiert wurde - und nur diese. Eine Rückfrage zur Fördersystematik beantwortet es nicht, sie geht weiterhin an das große Modell. Diese Arbeitsteilung muss man bewusst bauen; wer das kleine Modell danach wie einen allgemeinen Assistenten behandelt, bekommt selbstbewusst falsche Auskünfte.
Abgrenzung
Nicht zu verwechseln mit
- Fine-Tuning
- Beide trainieren ein bestehendes Modell weiter. Beim Fine-Tuning stammen die Beispiele üblicherweise von Menschen und das Ziel ist neues Verhalten; bei der Distillation stammen sie von einem größeren Modell und das Ziel ist gleiches Verhalten zu niedrigeren Kosten.
- LLM-Routing
- Routing entscheidet zur Laufzeit, welches vorhandene Modell eine Anfrage bekommt. Distillation erzeugt vorab ein günstigeres Modell. In der Praxis ergänzen sich beide: Das destillierte Modell übernimmt die Masse, das Routing schickt Zweifelsfälle nach oben.
- Quantisierung
- Quantisierung macht dasselbe Modell schneller und sparsamer, indem sie mit geringerer Rechengenauigkeit arbeitet - ohne neues Training und ohne neues Modell. Distillation erzeugt dagegen ein eigenes, kleineres Modell für eine bestimmte Aufgabe.
Fehlerbilder
Worauf es ankommt
Destillieren, bevor die Aufgabe steht
Solange sich Kategorien, Regeln oder Ausgabeformat noch monatlich ändern, ist jedes destillierte Modell nach kurzer Zeit überholt und muss neu trainiert werden. Distillation lohnt sich erst, wenn eine Aufgabe fachlich stabil ist und ihr Volumen die Mühe rechtfertigt.
Die Antworten des Lehrers ungeprüft übernehmen
Das kleine Modell lernt genau das, was das große vorgemacht hat - samt seiner systematischen Fehler, die es danach schneller und billiger wiederholt. Eine Stichprobenprüfung der Lehrerantworten durch Fachleute ist kein optionaler Feinschliff, sondern Voraussetzung.
Nur die Durchschnittsqualität messen
Kleine Modelle brechen typischerweise an den Rändern ein: bei seltenen Kategorien, ungewöhnlicher Formulierung, fremdsprachigen Einsprengseln. Ein guter Gesamtwert kann einen gravierenden Einbruch in einer wichtigen Teilmenge verdecken. Messen Sie getrennt nach Fallgruppe, nicht summarisch.
Die Nutzungsbedingungen übersehen
Einige Anbieter untersagen in ihren Bedingungen ausdrücklich, die Ausgaben ihrer Modelle zum Training konkurrierender Modelle zu verwenden; andere erlauben es für eigene, nicht weitergegebene Modelle. Diese Prüfung gehört an den Anfang des Vorhabens, nicht in die Abnahme.
Häufige Fragen
Was zu Distillation oft gefragt wird
Ab wann lohnt sich Distillation?
Wenn drei Bedingungen zusammenkommen: Die Aufgabe ist eng umrissen und stabil, sie läuft in hohem Volumen, und Kosten oder Antwortzeit sind spürbare Größen. Bei einigen hundert Vorgängen im Monat übersteigt der Aufwand für Datensammlung, Training und Messung den Nutzen fast immer - dann ist ein kleineres Standardmodell mit gutem Prompt der schnellere Weg.
Wie viel günstiger wird der Betrieb?
Zwischen der Spitzenklasse und den kleinen Modellen eines Anbieters liegen bei den Preisen je Token oft mehr als eine Größenordnung, dazu kommen kürzere Antwortzeiten. Wie viel davon bei Ihnen ankommt, hängt davon ab, welcher Anteil der Fälle tatsächlich beim kleinen Modell bleibt - das lässt sich nur an den eigenen Daten messen, nicht aus Preislisten ableiten.
Dürfen wir die Ausgaben eines kommerziellen Modells zum Training nutzen?
Das regeln die Nutzungsbedingungen des jeweiligen Anbieters, und sie unterscheiden sich deutlich. Verbreitet ist eine Erlaubnis für eigene, intern genutzte Modelle bei gleichzeitigem Verbot, damit ein konkurrierendes Angebot zu bauen. Lassen Sie die aktuelle Fassung prüfen, bevor Daten gesammelt werden - nachträglich ist ein trainiertes Modell nicht mehr zu bereinigen.
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen