跳到正文
@rickawsb· rick awsb ($people, $people)·· 2 小时前AI 评分37

Anthropic 在思维链中埋假工具调用防蒸馏,CoT 已不可信

思维链投毒防蒸馏,anthropic够狠😅

AI 导读

Anthropic 为防止模型被蒸馏,在 Opus 的推理链中主动埋入假的工具调用,迷惑蒸馏者。这导致其思维链充满错误甚至有害的步骤,看似模型变笨,但最终输出仍正确。作者据此认为 CoT 已经废了,无法再作为真实推理依据。

来源:@rickawsb · x.com