跳到正文
arXiv cs.AI· Gregory N. Frank·· 1 天前精选AI 评分67

arXiv 论文提出检测、路由、生成三阶段框架,指拒绝式对齐评估失效的原因

Detection Is Cheap, Routing Is Learned: Why Refusal-Based Alignment Evaluation Fails

AI 导读

arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。

推荐理由

论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。

来源:arXiv cs.AI · arxiv.org