Betrieb

Inferenz (Inference)

Definition

Inferenz ist das Ausführen eines fertig trainierten Modells, um aus einer Eingabe eine Antwort zu erzeugen. Anders als das einmalige Training fällt Inferenz bei jeder einzelnen Anfrage an - sie bestimmt die laufenden Kosten.

Man unterscheidet zwei Phasen: das Training, bei dem ein Modell einmal (sehr teuer) lernt, und die Inferenz, bei der es danach millionenfach benutzt wird. Für die meisten Unternehmen, die fertige Modelle einsetzen, sind allein die Inferenzkosten relevant - sie werden pro verarbeitetem Token abgerechnet und skalieren mit der Nutzung.

Weil Inferenz bei jeder Anfrage anfällt, entscheidet ihre Effizienz über die Wirtschaftlichkeit einer KI-Anwendung. Hebel sind kürzere Prompts, Prompt-Caching für wiederkehrende Bausteine, kleinere Modelle für einfache Aufgaben (Distillation) und LLM-Routing. Auch die Antwortzeit - spürbar für Nutzer - ist eine Frage der Inferenz.

In der Praxis

Ein Prüfdienstleister rechnet den Assistenten durch, bevor er ausrollt

Ein technischer Prüfdienstleister mit 150 Prüfern hat einen Assistenten erprobt, der aus Prüfnormen und internen Arbeitsanweisungen Fragen der Außendienstmitarbeiter beantwortet. Der Pilot mit zwölf Kollegen lief gut, die Modellrechnung war unauffällig. Vor dem Ausrollen auf alle Prüfer soll jemand ausrechnen, was das im Betrieb kostet - und stellt fest, dass die naive Hochrechnung deutlich danebenliegt.

Der Grund liegt in der Eingabeseite. Jede Anfrage schickt einen mehrseitigen System-Prompt, die letzten Gesprächsschritte und mehrere aus der Wissensbasis herangezogene Normabschnitte mit. Die Antwort selbst ist kurz. Die Kosten entstehen damit weit überwiegend beim Verarbeiten der Eingabe, nicht beim Erzeugen der Antwort - und sie steigen nicht nur mit der Zahl der Nutzer, sondern mit der Länge der Gespräche, die im Alltag deutlich länger sind als im Pilotbetrieb.

Aus dieser Rechnung folgen drei Maßnahmen, die alle nichts mit dem Modellpreis zu tun haben: Der stabile Vorspann wird zwischengespeichert, statt bei jeder Anfrage neu verarbeitet zu werden. Die Wissensbasis liefert gezielt die einschlägigen Absätze statt ganzer Normkapitel. Und lange Gespräche werden nach einer festgelegten Zahl von Schritten zusammengefasst, statt vollständig mitgeschleppt zu werden. Das Ergebnis ist eine Rechnung, die man dem Controlling zeigen kann - je Vorgang, nicht als Sammelposten.

Abgrenzung

Nicht zu verwechseln mit

Training und Fine-Tuning: Training und Fine-Tuning verändern das Modell selbst und fallen einmalig an. Inferenz lässt das fertige Modell unverändert und fällt bei jeder Benutzung erneut an. Für Unternehmen, die fertige Modelle einsetzen, ist deshalb fast immer die Inferenz der einzige relevante Kostenblock - und ein Fine-Tuning senkt diese laufenden Kosten nur dann, wenn es ein deutlich kleineres Modell tragfähig macht.
Token: Das Token ist die Abrechnungseinheit, die Inferenz der Vorgang, der sie verbraucht. Wer nur den Preis je Token vergleicht, übersieht die entscheidende Größe: wie viele Token ein einzelner Vorgang in Ihrer Anwendung tatsächlich benötigt. Zwei Anbieter mit gleichem Tokenpreis können sich in der Monatsrechnung deutlich unterscheiden.

Fehlerbilder

Worauf es ankommt

Die Hochrechnung ignoriert die Eingabeseite
Kostenschätzungen orientieren sich intuitiv an der Antwortlänge, weil die sichtbar ist. Tatsächlich dominiert in Assistenten und Agenten meist die Eingabe: System-Prompt, Gesprächsverlauf, herangezogene Dokumente. Rechnen Sie mit einer realistischen Gesamtzahl je Vorgang, gemessen an echten Gesprächen - nicht an der kurzen Beispielfrage aus der Demo.
Ganze Dokumente in jeden Prompt packen
Es ist verlockend, dem Modell einfach das komplette Handbuch mitzugeben, statt gezielt zu suchen. Das kostet bei jeder einzelnen Anfrage - und verschlechtert zugleich die Antwortqualität, weil die einschlägige Stelle in viel Irrelevantem untergeht. Ein Retrieval-Schritt, der die passenden Abschnitte auswählt, ist an dieser Stelle gleichzeitig der Qualitäts- und der Kostenhebel.
Nur auf den Preis je Token schauen
Der Tokenpreis ist der leicht vergleichbare Teil und selten der entscheidende. Antwortzeit, Verfügbarkeit, Durchsatzgrenzen und das Verhalten bei Lastspitzen bestimmen im Betrieb, ob die Anwendung benutzbar ist. Ein Modell, das zwei Cent spart und in der Spitze in Wartezeiten läuft, ist in einer Serviceanwendung die teurere Wahl.
Kosten werden keinem Anwendungsfall zugeordnet
Wenn alle Anwendungen über einen Zugang abgerechnet werden, entsteht eine Sammelrechnung, die niemand steuern kann: Es ist nicht erkennbar, welcher Anwendungsfall das Geld verbraucht und welcher sich lohnt. Trennen Sie die Zugänge oder kennzeichnen Sie die Aufrufe je Anwendungsfall von Anfang an - nachträglich lässt sich das nicht rekonstruieren.

Häufige Fragen

Was zu Inferenz (Inference) oft gefragt wird

Was kostet eine einzelne KI-Anfrage?

Bei den gängigen Anbietern liegt ein normaler Vorgang - eine Frage mit etwas Kontext und einer Absatz-Antwort - im Bereich weniger Cent, bei kleinen Modellen deutlich darunter. Diese Zahl allein sagt aber wenig: Relevant ist, wie viele Vorgänge pro Monat anfallen und wie viel Kontext jeder davon mitschleppt. Ein Agent, der für einen Vorgang zehn Modellaufrufe mit wachsendem Verlauf macht, kostet ein Vielfaches einer einzelnen Frage, obwohl der Nutzer nur einmal etwas eingegeben hat.

Warum steigt unsere Rechnung, obwohl die Nutzerzahl gleich bleibt?

Typischerweise wächst nicht die Zahl der Anfragen, sondern der Kontext je Anfrage: Gespräche werden länger, die Wissensbasis liefert mehr Treffer, der System-Prompt ist über Monate um Sonderregeln gewachsen, oder eine Funktion wurde auf einen mehrstufigen Agenten umgestellt. Der Blick in die Protokolle klärt das schnell - die durchschnittliche Tokenzahl je Vorgang über die Zeit aufgetragen zeigt den Verursacher meist auf Anhieb.

Ist ein selbst betriebenes Modell günstiger als ein Anbieter-Zugang?

Erst ab hoher und vor allem gleichmäßiger Auslastung. Eigene Hardware kostet unabhängig von der Nutzung, während ein Anbieterzugang nur das Genutzte abrechnet - bei den schwankenden Lasten typischer Unternehmensanwendungen ist der Eigenbetrieb deshalb meist teurer, nicht billiger. Sinnvoll wird er aus anderen Gründen: wenn Daten das eigene Netz nicht verlassen dürfen oder die Abhängigkeit von einem Anbieter unerwünscht ist. Diese Entscheidung sollte man also nicht als Kostenfrage führen.

Warum dauert es so lange, bis die erste Antwort erscheint?

Bevor das erste Wort erscheint, muss das Modell die gesamte Eingabe verarbeiten - je länger Vorspann, Gesprächsverlauf und mitgegebene Dokumente, desto länger diese Wartezeit. Danach erscheint die Antwort fortlaufend Wort für Wort. Wirksam dagegen sind kürzere Eingaben, Prompt-Caching für den unveränderten Teil und die Ausgabe im laufenden Textfluss, damit die Wartezeit für den Nutzer wenigstens sichtbar endet.

Verwandte Begriffe