Build Hour: prompt caching Build Hour: Prompt Caching

Bouw sneller, goedkoper en met minder latency dankzij prompt caching. Deze Build Hour legt uit hoe prompt caching werkt en hoe je je prompts ontwerpt om zoveel mogelijk cache hits te krijgen. Leer wat er echt wordt gecachet, wanneer caching van toepassing is en hoe kleine wijzigingen in je prompts een grote impact kunnen hebben op kosten en prestaties. Erika Kettleson (Solutions Engineer) behandelt: • Wat prompt caching is en waarom het belangrijk is voor apps in de praktijk • Hoe cache hits werken (prefixes, token-drempels en continuïteit) • Best practices zoals het gebruik van de Responses API en prompt_cache_key • Hoe je de cache hit rate, latency en tokenbesparing meet • Customer Spotlight: Warp (ttps://www.warp.dev/) onder leiding van Suraj Gupta (Team Lead) legt de impact van prompt caching uit 👉 Documentatie over prompt caching: https://platform.openai.com/docs/guides/prompt-caching 👉 Prompt Caching 101 Cookbook: https://developers.openai.com/cookbook/examples/prompt_caching101 👉 Prompt Caching 201 Cookbook: https://developers.openai.com/cookbook/examples/prompt_caching_201 👉 Volg mee met de coderepo: http://github.com/openai/build-hours 👉 Meld je aan voor komende live Build Hours: https://webinar.openai.com/buildhours 00:00 Introductie 02:37 Basis, werking, API-walkthrough 12:11 Demo: batchverwerking van afbeeldingen 16:55 Demo: vertakkende chat 26:02 Demo: compaction bij langlopende taken 32:39 Overzicht van prijzen met cachekorting 36:03 Customer Spotlight: Warp 49:37 Q&A

Build faster, cheaper, and with lower latency using prompt caching. This Build Hour breaks down how prompt caching works and how to design your prompts to maximize cache hits. Learn what’s actually being cached, when caching applies, and how small changes in your prompts can have a big impact on cost and performance. Erika Kettleson (Solutions Engineer) covers: • What prompt caching is and why it matters for real-world apps • How cache hits work (prefixes, token thresholds, and continuity) • Best practices like using the Responses API and prompt_cache_key • How to measure cache hit rate, latency, and token savings • Customer Spotlight: Warp (ttps://www.warp.dev/) led by Suraj Gupta (Team Lead) to explain the impact of prompt caching 👉 Prompt Caching Docs: https://platform.openai.com/docs/guides/prompt-caching 👉 Prompt Caching 101 Cookbook: https://developers.openai.com/cookbook/examples/prompt_caching101 👉 Prompt Caching 201 Cookbook: https://developers.openai.com/cookbook/examples/prompt_caching_201 👉 Follow along with the code repo: http://github.com/openai/build-hours 👉 Sign up for upcoming live Build Hours: https://webinar.openai.com/buildhours 00:00 Introduction 02:37 Foundations, Mechanics, API Walkthrough 12:11 Demo: Batch Image Processing 16:55 Demo: Branching Chat 26:02 Demo: Long Running Compaction 32:39 Cache Discount Pricing Overview 36:03 Customer Spotlight: Warp 49:37 Q&A