OpenAI hält den Prompt-Cache jetzt zwölf Stunden
Seit dem 20. Oktober 2026 kann man in der OpenAI-API den Prompt-Cache auf zwölf Stunden verlängern. Das Schreiben kostet mehr, das Lesen bleibt billig. Für Agenten, die den ganzen Tag laufen, kann das die Kosten deutlich senken. Wann es sich rechnet und was beim Datenschutz zu beachten ist.
Wer KI-Agenten über die OpenAI-API betreibt, schickt bei jeder Anfrage oft dieselben langen Anweisungen, Werkzeugbeschreibungen und Hintergrundtexte mit. Genau dafür gibt es den Prompt-Cache: Bereits verarbeitete Textteile werden zwischengespeichert und beim nächsten Mal deutlich günstiger abgerechnet. Bisher galt dieser Speicher bei den neuen Modellen standardmäßig 30 Minuten. Seit dem 20. Oktober 2026 lässt er sich auf zwölf Stunden verlängern. OpenAI schreibt dazu im API-Changelog:
Was sich geändert hat
Über den neuen Parameter prompt_cache_options.ttl wählt man zwischen "30m" (Standard) und "12h". Die Option gibt es laut OpenAI-Dokumentation nur in der Responses API und nur für GPT-5.6 und neuere Modelle. Ältere Modelle nutzen weiter den bisherigen Parameter prompt_cache_retention.
Gecacht werden nur Textanfänge ab 1.024 Tokens. Man kann die Laufzeit auch für einzelne Abschnitte einer Anfrage festlegen: zum Beispiel die festen Anweisungen und Werkzeuge auf zwölf Stunden, den laufenden Gesprächsverlauf auf 30 Minuten.
Was es kostet
Laut OpenAI kostet das Schreiben in den Cache bei 30 Minuten das 1,25-Fache des normalen Input-Preises, bei zwölf Stunden das 2,5-Fache. Das Lesen aus dem Cache kostet bei beiden Laufzeiten nur ein Zehntel des normalen Preises, bei GPT-6.1 Sol sogar nur ein Zwanzigstel.
Daraus ergibt sich eine einfache Faustregel: Ein Zwölf-Stunden-Eintrag kostet so viel wie zwei 30-Minuten-Einträge. Läuft der kurze Cache innerhalb eines Tages also mehr als zweimal ab und muss neu geschrieben werden, ist die lange Laufzeit günstiger.
Ein vereinfachtes Rechenbeispiel: Ein Support-Agent arbeitet mit 20.000 Tokens fester Anweisungen und bekommt über einen zehnstündigen Arbeitstag etwa einmal pro Stunde eine Anfrage. Mit 30 Minuten Laufzeit ist der Cache jedes Mal abgelaufen, der Anfang wird zehnmal neu geschrieben, das entspricht dem 12,5-Fachen des normalen Preises für diesen Teil. Ganz ohne Cache wäre es das 10-Fache. Mit zwölf Stunden fällt einmal das 2,5-Fache an, dazu neun Lesezugriffe zu je einem Zehntel: zusammen das 3,4-Fache. Für den festen Teil der Anfragen sinken die Kosten damit um rund zwei Drittel.
Datenschutz: länger zwischengespeichert
Die zwölf Stunden sind eine Mindestlaufzeit. OpenAI schreibt in der Dokumentation, man könne Einträge auch länger aufbewahren, die Einstellung lege keine Löschfrist fest und ändere nichts an den allgemeinen Regeln zur Datenaufbewahrung. Ob die lange Laufzeit mit Zero Data Retention vereinbar ist, lässt die Dokumentation offen.
Wer personenbezogene Daten verarbeitet, sollte deshalb genau trennen: Allgemeine Anweisungen, Produktwissen und Werkzeugbeschreibungen können ruhig lange im Cache liegen. Kundendaten, Namen oder Vertragsinhalte gehören eher in den kurzlebigen Teil oder gar nicht in den Cache.
Was das für Ihr Unternehmen heißt
- Lange Anweisungen nach vorn: Der Cache greift nur auf identische Anfänge. Feste Texte gehören an den Anfang der Anfrage, wechselnde Inhalte ans Ende.
- Nachrechnen statt pauschal umstellen: Bei vielen Anfragen pro Minute bleibt der 30-Minuten-Cache ohnehin warm, dann bringt die lange Laufzeit nichts. Sie lohnt sich bei Agenten mit Pausen über den Tag, etwa im Backoffice oder bei internen Assistenten.
- Abrechnung prüfen: Die API meldet geschriebene Tokens getrennt nach Laufzeit. So lässt sich nach ein paar Tagen sehen, ob sich die Umstellung rechnet.
- Daten sauber trennen: Personenbezogenes nicht in den Zwölf-Stunden-Teil legen und die Einstellung im Verzeichnis der Verarbeitungstätigkeiten berücksichtigen.
- Modellwahl mitdenken: Caching ist ein Hebel, das passende Modell ein anderer. Oft reicht für Routineaufgaben ein günstigeres offenes Modell oder ein spezialisiertes kleines Modell.
Fazit
Die zwölf Stunden sind keine Schlagzeile für die Titelseite, aber eine der Stellschrauben, mit denen sich laufende KI-Kosten spürbar drücken lassen. Wer Agenten den ganzen Tag einsetzt, sollte prüfen, welcher Teil seiner Anfragen gleich bleibt, und diesen gezielt länger cachen, ohne dabei personenbezogene Daten länger als nötig liegen zu lassen. Wenn Sie wissen möchten, wo in Ihren KI-Anwendungen solche Einsparungen stecken, sprechen Sie mich gern an.
