跳到正文
热点事件持续更新

Anthropic公布Claude自我评估防滥用机制

2 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

Anthropic 公布一项已上线的 Claude“自我评估”(self-assessment)防滥用机制:Claude 每回答完一轮,系统在其后追加一句简短指令,让模型自查对话是否违反使用政策。Anthropic 称该机制自 6 月的 Claude Fable 5 起在线上运行,算力增加不到 2%,成本由 Anthropic 承担、不向客户收费,也不额外收集数据。 机制细节上,模型在前台正常回答用户,同时在后台对对话做危险分级并上报,最高打 10 级,单条标记不作数。自查多用 Anthropic 自己服务器的算力;签了零数据保留协议(对话不留存)的流量,目前不跑自我评估。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. 36氪 · AI
    Anthropic自曝Claude后台自我评估机制,前台配合生成、后台静默上报违规

    Anthropic在X上公开了Claude自6月Claude Fable 5起默认全开的「自我评估」机制,模型在前台正常回答用户请求,同时在后台用隐藏指令对对话做危险分级并上报,最高打10级。

10月30日
  1. dotey (@dotey)
    Claude 的自我评估机制解析:每轮回答后自查安全,算力增加不到 2%

    宝玉解读 Anthropic 公布的 Claude 自我评估防滥用技术:Claude 每轮回答后追加简短指令自查对话是否违反使用政策,从 6 月 Claude Fable 5 上线起就在线上运行,算力增加不到 2%,成本由 Anthropic 承担、不向用户收费且不额外收集数据。

本事件热度走势

可比范围当前
10
可比范围峰值
1011月2日 09:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。