跳到正文
热点事件持续更新

Agent 提示词缓存降本:前缀顺序常被排错

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Startup Fortune 刊文讲解大模型提示词缓存(prompt caching)的降本方法,指出多数 Agent 团队因前缀顺序安排不当导致缓存未生效。文章引用 Manus 团队说法称,在 Claude Sonnet 上缓存与未缓存输入 token 价差约 10 倍(每百万 token $0.30 对 $3),并将 KV-cache 命中率称为生产级 Agent 最重要的指标。 方法上,作者建议每个请求按从最稳定到最不稳定排序:工具、系统提示词、参考资料,然后才是对话内容,且只追加不修改。限制方面,据 Anthropic 文档,多数模型缓存前缀下限为 1024 token,部分模型更高,低于下限的前缀不会被缓存且不会报错;一次性短提示、间隔超过五分钟的流量以及内容大多唯一的提示收益有限。文中价格数字随模型不同且可能变动,需以供应商现行价目表为准。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. Startup Fortune精选
    提示词缓存如何降低 LLM 成本:多数 Agent 团队用错了前缀顺序

    作者解释提示词缓存为何常未生效,引用 Manus 团队说法称在 Claude Sonnet 上缓存与未缓存输入 token 价差约 10 倍($0.30 对 $3 每百万 token),并把 KV-cache 命中率称为生产级 Agent 最重要的指标。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。