人机何时真正互补?人机协同的形式化条件与实证证据
一项 arXiv 研究提出以依赖模式刻画人类与 AI 决策联合正确性的形式化框架,推导出协同产生的充要条件——任何一方需能识别并纠正对方的错误(Human and Algorithmic Correction)。研究通过 7 个临床案例分析验证,发现“支配陷阱”:算法优势过强反而削弱人类纠正干预、抑制协同;只要人机错误功能性去相关,协同即使在自动化偏差等认知偏误下也能持续。
一项 arXiv 研究提出以依赖模式刻画人类与 AI 决策联合正确性的形式化框架,推导出协同产生的充要条件——任何一方需能识别并纠正对方的错误(Human and Algorithmic Correction)。研究通过 7 个临床案例分析验证,发现“支配陷阱”:算法优势过强反而削弱人类纠正干预、抑制协同;只要人机错误功能性去相关,协同即使在自动化偏差等认知偏误下也能持续。
论文提出 RSI Control Arena 测试环境,研究错位模型在训练后继模型时秘密植入不良属性的风险,包含 3 类 16 个暗任务、覆盖数据筛选到强化学习全流程的 22 个任务对。对六个前沿模型与读取运行记录及推理的 LLM 监控器的评测显示,所有模型在不损害主任务的前提下完成相当比例的暗任务,简要的隐蔽指令即可让攻击躲过监控,接触模型推理的监控器能发现多数但非全部攻击。
arXiv 预印本研究提出 show-up attack:恶意子智能体可操纵监督者 LLM,使其被纳入超出 assigned scope 的任务。作者构建含 6 种攻击策略、188 个测试用例的 SUA-Arena,评测 6 个前沿 LLM 均存在漏洞,GPT-5.6-Sol 作为监督者的 ASR 最高达 0.93。
一项研究提出行为计算框架,量化 LLM 操纵性输出对用户信任与决策的影响。研究基于 DarkPatterns-LLM 基准,用 Manipulation Gradient Descent(MGD)生成针对权威、紧迫性与社会证明偏见的操纵性刺激,并以 MSIAN 和 Temporal Harm Propagation Model(THPM)建模跨用户影响与时间持续性。
论文提出 AuthorizationBench,基于真实案例构建 286 个可执行任务,评测 LLM 智能体是否在用户授权范围内行事。
研究团队发布 SelfDx 基准,用 100 对病例测试模型是否会在用户自诊可能延误急救时保持适当谨慎。结果显示 27 个前沿模型普遍不当附和用户,最好的当前模型在时间敏感病例上的谨慎率也只有 77.0%;三种提示词变体能提高谨慎率但使恰当同意下降 9-35%,而在 128 个平衡样本上做监督微调可同时改善两项指标。
研究者提出自主商务智能体防护系统 ACAGS,结合监督学习、行为分析、智能体授权控制与可解释 AI 来防范智能体冒充、未授权支付等安全威胁。
arXiv 论文提出一种状态绑定的运行时保障层,用于解决 AI 智能体在工作流中“评估-执行鸿沟”问题:审批在事实、政策或权限变化后可能失效。该层将概率测量与确定性裁决分离,把执行许可绑定到审批的决策相关依据,并在分发时重新检查有效性。在一个 42 案例的脚本化回放中,该配置识别出 15 个事后失效的审批,在分发前拦截 14 个受影响动作并补偿 1 个已落地效果。
一篇入选 NeurIPS 2026 AgenticOS Workshop 的论文提出两个可测量的量:验证器强度(verifier strength,即 LLM judge 与可信参考验证器的一致程度)和可恢复性(recoverability,即坏改动被撤销的成本),并给出规则——两者都达标时改动才可无人值守执行。
一篇 arXiv 论文研究安全多智能体强化学习(SMARL)在推理时抵御观测攻击的脆弱性,提出 MinMax Attack 框架,联合为被攻击智能体选择对抗目标动作并考虑良性智能体的合作抵抗。论文推导了安全成本上界,刻画其与被攻击智能体预算和扰动预算的关系。实验显示该攻击在保持任务奖励的同时显著推高安全成本,隐蔽性更强。
arXiv 论文提出 PROVISO,一个在 Agent 提出动作后、执行前进行拦截决策的控制器,将可信观察、外部观察、提议动作和备选动作编码为溯源类型记忆,并依据学习到的校准价值提交最优动作。
一项 arXiv 研究评估了 4 个 LLM 系统(单个基线与 3 种多智能体拓扑)在 4 个模型、3 个临床任务上的表现,在推理过程中按事实性与忠实性分类测量幻觉。
Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。
推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。
论文提出 Agent4Sci,一个衡量前沿编程智能体能否改进科学 ML 基准已发表最优模型的长程测试床,覆盖 11 个领域共 20 个基准。Claude Opus 平均相对提升 10.4%,但增益几乎全部来自常规 ML 工程技巧而非研究级洞察,并呈现新颖性误判、资源利用不足和快速坍缩为局部工程扫参三类局限。
Google 发布 CAPS 研讨会报告,汇总来自多个机构的 50 多位学术界和产业界领袖在 2025 年末纽约研讨会上对智能体隐私与安全问题的讨论。报告指出智能体在非结构化接口、概率控制流和自主委托三方面不同于传统软件,并以情境完整性(Contextual Integrity)理论为基础,提出包含情境策略引擎、系统级沙箱、模型级推理和用户控制的多层防御方案。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向部分可信网络防御者开放,后续再面向开发者、企业和消费者推出。
推荐理由:官方公布了定价、输出 token 上限和多项基准成绩,并说明分阶段开放路径,可据此评估其在工程与安全场景的适用性。