Prompt-Caching
Definition
Prompt-Caching speichert wiederkehrende Teile eines Prompts zwischen, sodass sie nicht bei jeder Anfrage neu verarbeitet werden müssen — das senkt Kosten und Antwortzeiten deutlich.
Viele KI-Anwendungen schicken bei jeder Anfrage denselben umfangreichen Vorspann mit: einen langen System-Prompt, Richtlinien, Beispiele oder feste Kontextdokumente. Ohne Caching zahlt und wartet man für diesen unveränderten Teil jedes Mal aufs Neue. Prompt-Caching merkt sich die bereits verarbeiteten Bausteine und verarbeitet nur noch das Neue.
Der Effekt ist unmittelbar spürbar: Für Anwendungen mit großem, stabilem Kontext sinken die Token-Kosten des wiederholten Teils drastisch, und die Antworten kommen schneller. Prompt-Caching ist damit ein einfacher, oft übersehener Hebel der Inferenz-Optimierung — besonders wirksam bei Assistenten und Agenten, die immer wieder mit demselben Grundkontext arbeiten.
Verwandte Begriffe
Weiter im Glossar
Passend dazu
Passende Leistung
AI-Usecases in Cloud-Umgebungen
KI-Anwendungsfälle auf führenden Cloud-Plattformen – von der Konzeption bis zum produktiven Betrieb.
Zur Leistung →Individualsoftware mit GenAI-Anbindung
Maßgeschneiderte Software vom Prototyp bis zur Produktionsreife – mit nahtloser GenAI-Integration.
Zur Leistung →Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen