Ihr KI-Assistent frisst denselben Prompt immer wieder
Montagmorgen: Ihr Team fragt denselben KI-Assistenten zum wiederholten Mal nach Angeboten, Richtlinien oder Produktdetails. Jedes Mal wandert ein langer Block mit Hintergrundwissen mit. Die Rechnung wächst, und bei umfangreichen Prompts kann auch die erste Antwort auf sich warten lassen. Prompt Caching verspricht, wiederverwendeten Kontext günstiger zu verarbeiten. Doch wann spart der Cache tatsächlich Geld und Wartezeit, und wann bezahlen Sie weiter für einen langen Prompt? Ein Modellbeispiel zeigt, worauf es ankommt.
Die Rechnung steckt im wiederholten Kontext
Ein Kundendienst-Assistent erhält bei jeder Frage dieselben Rückgaberichtlinien, Produktinformationen und Gesprächsanweisungen. Nur die konkrete Kundenfrage wechselt. Für das Team sieht das nach einer einzigen Unterhaltung aus. Für das KI-Modell ist der lange Hintergrund bei jedem Aufruf erneut Teil der Eingabe, sofern der Anbieter ihn nicht wiederverwenden kann.
Genau diesen wiederkehrenden Teil nimmt Prompt Caching ins Visier. Vereinfacht gesagt, wird ein bereits verarbeiteter Abschnitt des Prompts für weitere Anfragen bereitgehalten. Die neue Frage kommt hinzu, die Antwort wird weiterhin separat erzeugt. Wie der Anbieter den Cache speichert, wie lange er gültig ist und welche Bedingungen für einen Treffer gelten, unterscheidet sich je nach Modell und API.
Der wirtschaftliche Hebel hängt deshalb nicht allein an der Länge Ihrer Dokumente. Entscheidend ist, wie oft derselbe Kontext tatsächlich wiederkehrt und zu welchem Preis der Anbieter ihn als gecachten Input abrechnet. Ein Cache, der selten getroffen wird, klingt technisch nützlich und bringt auf der Rechnung wenig.
Was fünf Cent im Modellbeispiel bedeuten
Epoch rechnet ein hypothetisches Opus-5-API-Beispiel durch: 100.000 Tokens gecachter Kontext, 1.000 neue Input-Tokens und 1.000 Output-Tokens. Tokens sind die Texteinheiten, nach denen viele KI-Anbieter ihre Nutzung abrechnen. Der gecachte Input kostet in diesem Beispiel 0,05 US-Dollar.
Hinzu kommen 0,00625 US-Dollar für den Cache-Schreibvorgang, den Epoch mit einer fünfminütigen Cache-Dauer beschreibt. Die 1.000 Output-Tokens kosten 0,025 US-Dollar. Zusammen ergibt das 0,08125 US-Dollar für den hypothetischen Aufruf. Das ist ein konkretes Rechenbeispiel, kein allgemeiner Tarif und keine Preisgarantie für heutige Angebote.
Die Größenordnung zeigt trotzdem, wo sich ein Blick lohnt: Der wiederverwendete Kontext kann günstiger sein als ein gewöhnlicher Input derselben Länge. Aber der Cache macht nicht die gesamte Anfrage kostenlos. Neue Eingaben, generierte Antworten und gegebenenfalls das Schreiben des Caches bleiben Bestandteile der Rechnung. Was passiert, wenn Ihr Kontext noch deutlich länger ist?
Lange Prompts bleiben eine Zeitfrage
Wer schon einmal auf die erste Antwort eines Assistenten gewartet hat, kennt den Unterschied zwischen einer schnellen Rückmeldung und einer Unterhaltung, die erst nach einigen Sekunden losgeht. Diese Zeit bis zum ersten Token wird häufig TTFT genannt. Ein Cache kann die Kosten für wiederverwendeten Kontext verändern, aber aus den vorliegenden Messungen lässt sich keine feste Zeitersparnis für jede gecachte Anfrage ableiten.
Epoch vergleicht die TTFT von vier Modellen über unterschiedliche Kontextlängen. In den Messungen zeigten GPT-5.6 Terra und Sol bei längeren Prompts eine deutlich stärker ansteigende TTFT. Claude Sonnet 5 blieb näher an einer linearen Skalierung. Das Ergebnis ist modellabhängig und beschreibt die untersuchten Modelle, keine allgemeine Rangliste für alle KI-Dienste.
Der technische Grund für die Sorge ist nachvollziehbar: Bei Full Attention berücksichtigt jedes Token den gesamten Kontext. Laut Epoch wächst der Rechenaufwand dabei quadratisch mit der Kontextlänge. In der Praxis heißt das für Unternehmen: Selbst wenn ein Anbieter gecachten Kontext günstiger berechnet, sollten Sie bei langen Prompts auch die erste Antwortzeit messen.
Der Cache braucht Wiederholung
Doch wenn jede Abteilung andere Regeln, Dokumente und Anweisungen mitsendet, wiederholt sich womöglich weniger, als es scheint. Dann bleibt der lange Kontext teuer oder langsam, obwohl die Bezeichnung „Caching“ zunächst nach einer einfachen Einsparung klingt.
Sinnvoller ist ein Blick auf echte Abläufe. Welche Anweisungen stehen in jeder Anfrage? Welche Produkt- oder Prozessinformationen sind für viele Anfragen gleich? Und welche Inhalte ändern sich täglich? Diese Trennung hilft, einen stabilen gemeinsamen Kontext von der eigentlichen Kundenfrage zu unterscheiden. Ob kleine Änderungen einen Cache-Treffer verhindern, müssen Sie anhand der Regeln des jeweiligen Anbieters prüfen.
Auch die Cache-Dauer spielt eine Rolle. Im Epoch-Beispiel ist ein fünfminütiger Cache-Schreibvorgang Teil der Rechnung. Wenn zwischen zwei Anfragen längere Pausen liegen, kann die Wiederverwendung anders ausfallen als bei einem dicht genutzten Assistenten. Ein einzelner erfolgreicher Test sagt deshalb wenig über einen normalen Monat aus.
Messen, bevor Sie den Prompt umstellen
Für einen kleinen Betrieb reicht zunächst ein enger Test: Wählen Sie einen Assistenten, dessen Anfragen regelmäßig dieselben Informationen enthalten. Erfassen Sie für einen repräsentativen Zeitraum die Anzahl der Aufrufe, die Länge des wiederholten Kontexts, die Kosten pro Anfrage und die Zeit bis zur ersten Antwort. Vergleichen Sie anschließend ähnliche Anfragen mit und ohne Cache, soweit Ihre Plattform das zulässt.
Bei einem Mittelständler kann das je Anwendungsfall und Modell auseinanderlaufen. Ein interner Assistent mit stabilen Personalrichtlinien verhält sich anders als ein Vertriebsassistent, der wechselnde Angebote einliest. In einem größeren Unternehmen sollten Sie zusätzlich nach Agent, Modell und Anfrage aufschlüsseln. Das OpenRouter Activity-Dashboard und die Analytics API nennen dafür unter anderem Cache-Hit-Rate und durchschnittliche Kosten pro Million Tokens.
Achten Sie auf die Abrechnungsregeln des konkreten Anbieters. Epoch beschreibt für OpenAI-Anfragen mit mehr als 272.000 Input-Tokens eine besondere Preisstaffel: Der normale Input- und Cached-Input-Preis werde verdoppelt, der normale Output-Preis auf das 1,5-Fache gesetzt. Solche Grenzwerte und Tarife können sich ändern. Prüfen Sie sie vor dem Test in der aktuellen Dokumentation Ihres Anbieters.
- Starten Sie mit einem Anwendungsfall und einem klar abgegrenzten Prompt.
- Notieren Sie Cache-Treffer, Kosten und TTFT gemeinsam.
- Vergleichen Sie wiederkehrende Anfragen über mehrere typische Nutzungstage.
- Legen Sie fest, wer Preisänderungen und Cache-Regeln regelmäßig prüft.
Was das für Ihr Unternehmen heißt
Der erste sinnvolle Schritt muss kein Umbau Ihrer KI-Landschaft sein. Nehmen Sie die letzten wiederkehrenden Anfragen eines Assistenten und markieren Sie, welche Textteile jedes Mal identisch sind. Wenn dort umfangreiche Regeln oder Produktinformationen auftauchen, ist das ein Kandidat für einen kontrollierten Cache-Test. Wenn sich fast alles von Anfrage zu Anfrage ändert, liegt der größere Hebel vermutlich woanders.
Legen Sie vorab fest, was für Ihr Team als Erfolg gilt. Eine niedrigere Rechnung hilft wenig, wenn Antworten zu spät kommen oder wichtige Informationen fehlen. Umgekehrt kann eine moderate Ersparnis im Token-Preis nützlich sein, wenn der Assistent viele wiederkehrende Aufgaben übernimmt. Für die Entscheidung zählen Kosten, Antwortzeit und Verlässlichkeit gemeinsam.
Stellen Sie sich den nächsten Montag vor: Sie sehen, welche Anfragen den gemeinsamen Kontext wiederverwenden, welche weiter mit langen Prompts starten und was jede Gruppe kostet. Dann können Sie entscheiden, ob Sie den Cache ausweiten, den Prompt kürzen oder die Anfrage anders strukturieren. Erst diese Beobachtung macht aus einer technischen Funktion eine betriebliche Entscheidung.
Häufige Fragen
Was ist Prompt Caching?
Prompt Caching ist eine Funktion, mit der ein KI-Anbieter wiederkehrende Teile einer Eingabe für weitere Anfragen wiederverwenden kann. So kann der Anbieter gecachten Kontext anders abrechnen als neu eingegebenen Kontext. Die konkrete Umsetzung, Cache-Dauer und Preisregeln hängen vom Modell und Anbieter ab. Neue Fragen und erzeugte Antworten können weiterhin Kosten verursachen.
Wie kann Prompt Caching KI-Kosten senken?
Es kann die Kosten für lange Textteile senken, die in vielen Anfragen wiederkehren, etwa gemeinsame Anweisungen oder Produktinformationen. In einem hypothetischen Opus-5-Beispiel von Epoch kostet ein gecachter Kontext von 100.000 Tokens 0,05 US-Dollar. Das ist kein allgemeiner Tarif. Ob sich der Cache rechnet, hängt unter anderem von Wiederholungen, Cache-Schreibkosten und den aktuellen Anbieterpreisen ab.
Senkt Prompt Caching auch die Antwortzeit?
Das kann von Modell, Prompt-Länge und Anbieter abhängen, aber eine feste Zeitersparnis lässt sich nicht pauschal angeben. Epochs Messungen zeigen, dass die Zeit bis zum ersten Token bei längeren Prompts je nach untersuchtem Modell unterschiedlich ansteigt. Messen Sie deshalb neben den Kosten auch die Zeit bis zur ersten Antwort für typische Anfragen.
Wann lohnt sich Prompt Caching für Unternehmen?
Es ist besonders prüfenswert, wenn ein KI-Assistent häufig dieselben umfangreichen Informationen erhält und sich vor allem die konkrete Frage ändert. Beispiele können wiederkehrende Richtlinien oder Produktinformationen sein. Bei stark wechselnden Eingaben gibt es möglicherweise weniger wiederverwendbaren Kontext. Vergleichen Sie Cache-Treffer, Kosten pro Anfrage und Antwortzeit im tatsächlichen Arbeitsablauf.
Wie messe ich, ob mein KI-Cache funktioniert?
Erfassen Sie für einen typischen Anwendungsfall die Anzahl der Anfragen, Cache-Hit-Rate, Token-Menge, Kosten pro Anfrage und Zeit bis zum ersten Token. Vergleichen Sie ähnliche Anfragen mit und ohne Cache, soweit Ihre Plattform das ermöglicht. OpenRouter nennt Cache-Hit-Rate und durchschnittliche Kosten pro Million Tokens als Kennzahlen im Activity-Dashboard und in der Analytics API.
Interesse?
Sie möchten wissen, was das für Ihr Unternehmen heißt?
Quellen
- European AI: a playbook to own it | Mistral AI · Mistral AI, 2026-04-07
- Long-context latency scales quadratically for GPT-5.6 but nearly linearly for Claude 5 · epoch.ai, 2026-09-08
- Understand your AI usage: every agent, model, and request · openrouter.ai, 2026-08-17
Dieser Artikel wurde mit KI-Unterstützung recherchiert und geschrieben und vor der Veröffentlichung automatisch gegen die genannten Quellen geprüft. Mehr zu unserer KI-Transparenz
Klarframe AI Readiness Check
Wie bereit ist Ihr Unternehmen für KI?
Rund zehn Minuten, sofortiges Ergebnis mit Stufe, 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act.
