Betrieb

Prompt-Caching

Definition

Prompt-Caching speichert wiederkehrende Teile eines Prompts zwischen, sodass sie nicht bei jeder Anfrage neu verarbeitet werden müssen - das senkt Kosten und Antwortzeiten deutlich.

Viele KI-Anwendungen schicken bei jeder Anfrage denselben umfangreichen Vorspann mit: einen langen System-Prompt, Richtlinien, Beispiele oder feste Kontextdokumente. Ohne Caching zahlt und wartet man für diesen unveränderten Teil jedes Mal aufs Neue. Prompt-Caching merkt sich die bereits verarbeiteten Bausteine und verarbeitet nur noch das Neue.

Der Effekt ist unmittelbar spürbar: Für Anwendungen mit großem, stabilem Kontext sinken die Token-Kosten des wiederholten Teils drastisch, und die Antworten kommen schneller. Prompt-Caching ist damit ein einfacher, oft übersehener Hebel der Inferenz-Optimierung - besonders wirksam bei Assistenten und Agenten, die immer wieder mit demselben Grundkontext arbeiten.

In der Praxis

Ein Softwarehaus beschleunigt seinen Support-Assistenten

Ein Softwarehaus mit 90 Mitarbeitenden stellt seinem Support einen Assistenten zur Seite, der Tickets mit Blick auf die eigene Produktdokumentation beantwortet. Jede Anfrage schickt denselben Vorspann mit: die Rollenbeschreibung, die Eskalationsregeln, das Antwortformat und rund zwanzig Beispielantworten, an denen sich Ton und Genauigkeit ausrichten sollen. Dieser Vorspann ist mehrere Seiten lang und ändert sich vielleicht einmal im Quartal.

Ohne Caching wird er bei jedem einzelnen Ticket vollständig neu verarbeitet - bezahlt und abgewartet. Spürbar wird das zuerst an der Wartezeit: Bis das erste Wort der Antwort erscheint, vergehen für die Supportmitarbeiterin mehrere Sekunden, in denen sie nichts tun kann. Bei mehreren hundert Tickets am Tag summiert sich das zu einer nennenswerten Menge Leerlauf, und in der Abrechnung summiert sich der immer gleiche Vorspann zum größten Einzelposten.

Die Umstellung ist vor allem eine Frage der Reihenfolge. Der Prompt wird so umgebaut, dass alles Unveränderliche - Rolle, Regeln, Format, Beispiele - ganz am Anfang steht und als zwischenspeicherbar markiert wird; erst danach folgen Ticketinhalt, Kundendaten und Zeitstempel. Denn die Zwischenspeicherung greift am gemeinsamen Anfang zweier Anfragen: Steht das aktuelle Datum in der ersten Zeile, ist der Cache jeden Tag wertlos. An der Anwendung selbst ändert sich dabei nichts - nur an der Anordnung.

Abgrenzung

Nicht zu verwechseln mit

Antwort-Cache (semantisches Caching): Ein Antwort-Cache erkennt, dass dieselbe Frage schon einmal gestellt wurde, und liefert die gespeicherte Antwort zurück - das Modell läuft gar nicht erst. Prompt-Caching dagegen spart nur das erneute Verarbeiten des unveränderten Eingabeteils; die Antwort wird jedes Mal neu erzeugt. Das eine spart mehr und ist riskanter (veraltete Antworten), das andere ist unauffällig und immer korrekt.
Kontextfenster: Das Kontextfenster ist die Obergrenze dessen, was in eine Anfrage hineinpasst. Caching verändert diese Grenze nicht - der zwischengespeicherte Teil belegt weiterhin Platz im Fenster. Es macht das Mitgeben nur billiger und schneller, nicht unbegrenzt.
RAG: RAG sucht zu jeder Frage die passenden Ausschnitte heraus und gibt gezielt wenig mit. Caching macht das wiederholte Mitgeben von viel Gleichbleibendem günstig. Bei großen, wechselnden Wissensbeständen führt an RAG nichts vorbei - Caching ist kein Ersatz dafür, sondern hilft beim stabilen Teil davor.

Fehlerbilder

Worauf es ankommt

Variable Angaben stehen am Anfang des Prompts
Zwischengespeichert wird der gemeinsame Anfang aufeinanderfolgender Anfragen. Stehen Datum, Nutzername oder eine Sitzungskennung in den ersten Zeilen, unterscheiden sich alle Anfragen ab dem ersten Zeichen und der Cache greift nie. Der Fehler ist unauffällig, weil die Anwendung korrekt funktioniert - nur die erhoffte Ersparnis bleibt aus. Alles Unveränderliche gehört nach vorn, alles Wechselnde nach hinten.
Die Lebensdauer des Caches übersehen
Zwischengespeicherte Inhalte bleiben nur eine begrenzte Zeit gültig, und das Anlegen eines Cache-Eintrags kann teurer sein als eine normale Verarbeitung. Bei sporadischer Nutzung - wenige Anfragen über den Tag verteilt - läuft der Eintrag jedes Mal ab, bevor er sich amortisiert, und die Rechnung steigt sogar. Caching lohnt sich bei dichter, wiederkehrender Nutzung; prüfen Sie die Konditionen Ihres Anbieters, bevor Sie es pauschal überall einschalten.
Caching mit Antwort-Caching verwechseln
Prompt-Caching spart das Verarbeiten der Eingabe, nicht das Erzeugen der Antwort. Wer erwartet, dass eine wiederholte Frage dadurch sofort beantwortet wird, ist enttäuscht - und wer umgekehrt fürchtet, Nutzer bekämen veraltete Antworten serviert, sorgt sich unnötig. Die Antwort wird jedes Mal neu erzeugt; verlässlich schneller wird nur der Weg dorthin.
Caching statt Aufräumen
Ein über Monate gewachsener System-Prompt voller Sonderregeln wird durch Caching billiger, aber nicht besser - widersprüchliche Anweisungen verschlechtern die Antwortqualität unabhängig vom Preis. Und er belegt weiterhin Platz im Kontextfenster. Kürzen und ordnen Sie den Vorspann zuerst; danach zwischenspeichern, was übrig bleibt.

Häufige Fragen

Was zu Prompt-Caching oft gefragt wird

Wie viel spart Prompt-Caching konkret?

Anbieter rechnen zwischengespeicherte Eingabe-Token erheblich günstiger ab als frisch verarbeitete - die genauen Konditionen unterscheiden sich und stehen in der jeweiligen Preisliste. Wie viel das bei Ihnen ausmacht, hängt an einer einzigen Größe: dem Anteil unveränderten Vorspanns an einer durchschnittlichen Anfrage. Bei einem Assistenten mit mehrseitigen Regeln und kurzen Nutzerfragen ist dieser Anteil hoch und die Wirkung entsprechend groß; bei langen, jedes Mal anderen Eingaben ist kaum etwas zu holen. Rechnen Sie es an echten Anfragen nach, nicht an einem Beispiel.

Funktioniert Prompt-Caching bei allen Anbietern gleich?

Nein. Die Anbieter unterscheiden sich darin, ob das Zwischenspeichern automatisch geschieht oder ausdrücklich im Aufruf markiert werden muss, wie lange ein Eintrag gültig bleibt, ab welcher Mindestlänge er überhaupt angelegt wird und wie er abgerechnet wird. Für die Anwendungsarchitektur folgt daraus eine praktische Empfehlung: Bauen Sie den Prompt grundsätzlich so, dass Stabiles vorn und Variables hinten steht. Diese Anordnung nützt bei jedem Anbieter und macht einen Wechsel unproblematisch.

Bleiben unsere Daten im Cache vertraulich?

Bei den geschäftlichen Angeboten der großen Anbieter ist ein Cache-Eintrag an Ihr Konto beziehungsweise Ihr Projekt gebunden und wird nicht mit anderen Kunden geteilt; er ist ein technischer Zwischenspeicher mit begrenzter Lebensdauer, kein Trainingsmaterial. Wenn Sie mit besonders sensiblen Inhalten arbeiten, lassen Sie sich Speicherort, Aufbewahrungsdauer und Löschverhalten vertraglich bestätigen, statt sich auf die Produktdokumentation zu verlassen.

Wann lohnt sich Prompt-Caching?

Wenn zwei Dinge zusammenkommen: ein umfangreicher, über viele Anfragen hinweg unveränderter Vorspann und eine dichte Nutzung, bei der die Anfragen zeitlich nah beieinander liegen. Typische Fälle sind Support- und Beratungsassistenten mit festem Regelwerk, Agenten, die für einen Vorgang mehrfach mit demselben Grundkontext aufgerufen werden, und Auswertungen, die dieselbe Anweisung auf viele Dokumente anwenden. Bei wenigen, über den Tag verstreuten Anfragen mit jeweils anderem Kontext lohnt es sich nicht.

Verwandte Begriffe