提示词缓存如何降低 LLM 成本:多数 Agent 团队用错了前缀顺序
How does prompt caching reduce LLM costs? Most agent teams get it wrong
AI 导读
作者解释提示词缓存为何常未生效,引用 Manus 团队说法称在 Claude Sonnet 上缓存与未缓存输入 token 价差约 10 倍($0.30 对 $3 每百万 token),并把 KV-cache 命中率称为生产级 Agent 最重要的指标。
推荐理由
文章把提示词缓存的命中原理、常见失效原因和重排方法讲成一整套可执行的排查清单,还给出成本测算公式,适合做迁移的工程方法。