Distillation
Definition
Distillation bringt einem kleinen, günstigen Modell eine eng umrissene Aufgabe bei, indem ein großes, teures Modell als Lehrer dient. Ergebnis: fast gleiche Qualität bei deutlich niedrigeren Betriebskosten.
Ein großes Modell erzeugt viele Musterlösungen für eine bestimmte Aufgabe, mit denen ein kleineres Modell trainiert wird. Das kleine Modell „destilliert" so das Können des großen für genau diesen Zweck — und läuft danach schneller und billiger in der Inferenz.
Für Unternehmen lohnt Distillation, sobald eine Aufgabe stabil ist und in hohem Volumen läuft: etwa das Klassifizieren tausender Support-Tickets pro Tag. Statt für jede Anfrage ein teures Spitzenmodell zu bemühen, übernimmt ein spezialisiertes kleines Modell die Routine, und das große Modell bleibt den echten Grenzfällen vorbehalten. Das senkt Kosten und Antwortzeiten, ohne die Qualität spürbar zu opfern.
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen