跳到正文
今天10月22日周四1 条
10月21日周三
  1. Axios59

    Frenos 研究:10 个 AI 模型中 3 个能以约 90% 成功率规划电网与水系统攻击

    网络安全公司 Frenos 的新研究测试了 10 个 AI 模型规划工业系统攻击的能力,其中 3 个模型在约 90% 的尝试中成功构建攻击计划。研究共含近 17,000 次测试,包括 2,520 次完整攻击计划构建;前沿模型成功率仅 17.9% 至 31.9%,最强国外开放权重模型为 36.2%,最强美国开放权重模型仅 5.2%,未披露所测模型名称。

  2. arXiv cs.AI44

    WSR-Tune:基于权重空间重参数化的 LLM 微调方法,保住下游适配中的安全对齐

    一项被 NeurIPS 2026(spotlight)接收的研究提出 WSR-Tune,一种通过权重空间重参数化在下游微调中保留 LLM 安全性的框架。该方法构建安全条件基,将安全相关信息集中到少量方向并冻结这些安全关键方向,其余方向用于下游任务更新。实验显示该方法在下游性能与安全保留之间取得更优平衡。

  3. arXiv cs.AI50

    FALCON:通过反例锚定反馈实现安全的智能体编程

    arXiv 论文提出 FALCON,一个反例锚定的代码安全验证框架,将攻击探索与行为验证分离,并通过被测程序的执行轨迹连接两者。在安全代码生成 benchmark 的测试时修复中,FALCON 带来比其他安全信号更强的留出集功能-安全增益,同时保持或提升功能;作为 RL 奖励时也优于静态分析和学习型奖励,并与代理奖励结合进一步提升留出集表现。

  4. arXiv cs.AI54

    TAPDreamer:针对世界动作模型的可迁移对抗贴片攻击

    论文提出 TAPDreamer,一种仅用公开编码器构造固定局部扰动、无需目标策略查询的攻击方法,可跨任务与动作架构迁移。仅覆盖约 6.5% 输入的冻结贴片使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%,对 DreamWAM 和 Motus 也大幅降低成功率。

  5. arXiv cs.AI49

    用大语言模型在阴谋论发酵初期降低其信念:两项实验研究

    一项 arXiv 研究测试与大语言模型对话能否降低公众对正在发酵的阴谋论的信念。在美国 2024 年 7 月特朗普遇刺未遂和 2025 年 9 月 Charlie Kirk 遇刺事件后的实验中,N = 472 和 N = 1042 两批持有阴谋观点的美国成年人接受 LLM 多轮对话干预,与对照组(LLM 聊无关话题或看静态事实清单)相比,阴谋信念显著降低。

  6. arXiv cs.AI41

    Yuvion VL:面向对抗性内容与 AI 安全的多模态基础模型

    Yuvion VL 是一系列专为内容与 AI 安全构建的多模态大语言模型,提供指令微调与推理导向两种变体。其训练采用三阶段流程(风险概念跨模态对齐的继续预训练、生产级安全任务的指令后训练、推理后训练),并提出 Confuse-then-Contrast 微调框架和 Yuvion VL RiskEval(YVRE)评测基准。

  7. arXiv cs.AI67

    arXiv 论文提出检测、路由、生成三阶段框架,指拒绝式对齐评估失效的原因

    arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。

    推荐理由:论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。

  8. arXiv cs.AI45

    通过越狱相关表示偏移理解与防御 VLM 越狱(JRS-Rem)

    一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。

  9. arXiv cs.AI55

    研究指出 LLM 无法自划智能体验证器可检查边界,提出 CoVer 方法

    论文研究智能体验证器中固定检查与需judge裁决的划分能否由模型自行决定。在 EU AI Act、FINRA 指引及已部署信贷智能体等六个语料上收集约 22,000 个标注,来自三个实验室的四个模型:答案明显处几乎完全一致,监管文本上则崩溃;错误方向相反,无法选出一个保守模型;在已部署智能体自己的规则集上还共同高估固定检查的适用,恰是不触发升级的方向。

  10. arXiv cs.AI36

    微分泛函主义:Jacobian 如何塑造现象经验的结构

    David Balduzzi 在 arXiv 发布论文,提出物理相互作用的一阶结构(Jacobian)塑造现象经验结构的假说,并引入透明度(有效秩)与完整性(归一化代数连通度)两种度量。该框架在一系列算例中给出经验重叠、系统边界、时间厚度、空间结构、清晰与模糊观念、随机初始化网络的不连贯性及学习等现象的结构相关物。这些度量可在人工网络中大规模计算,也可从大脑的扰动数据中估计。

  11. arXiv cs.AI32

    LLM 辅助科研伦理:一个负责任委托、验证与认知价值框架

    Kalin Stoyanov 在 arXiv 发表的论文提出分析 LLM 辅助科研的规范概念框架,将科学推理视为分布式过程,区分内容来源 O(g)、人类验证完成 V(g)、责任归属 R(g)、可问责的人类所有权 M(g) 和认知结果 E(g)。核心主张是伦理边界主要由充分验证和可问责的人类所有权决定,而非机器参与程度本身。论文据此提出"认知审计"概念,以结构化记录使 AI 辅助推理透明可审查。

  12. arXiv cs.AI35

    PReMISE:将策略评分标准作为 LLM 评测裁判的测量规范

    论文提出 PReMISE 框架,基于成对人类偏好数据自动发现策略级评分标准集,并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%,可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%,且裁判间一致性基本不变(α=.531→.519)。

  13. arXiv cs.AI29

    思维链如何破坏对拒绝行为的简单激活引导:大推理模型拒绝机制研究

    一项 arXiv 研究发现,DeepSeek-R1-Distill-LLaMA-8B 等大推理模型的拒绝行为除残差流激活外还依赖思维链(CoT)。在固定 CoT 时激活引导仅能逆转 39% 的拒绝,移除 CoT 后升至 70%;两阶段干预下模型重新生成 CoT 时逆转率达 94%,且撤除引导后 CoT 单独保留 48% 的效果。

  14. arXiv cs.AI33

    面向网络-社会影响的数字孪生框架研究

    一篇 arXiv 论文提出将数字孪生与网络-社会安全模型结合的框架,用于模拟和量化关键基础设施中的网络威胁。框架基于 Mininet 和 MiniCPS 构建虚拟化 ICS 环境,核心是扩展 CVSS 的 CSVSS 评分系统,引入基于实体与场所支柱的社会影响维度,生成可复现的严重性评分。LLM 仅做初步分析和起草风险报告,由分析师在可解释 AI 反馈支持下验证结论并保留关键案例的决策权。

  15. arXiv cs.AI49

    LLM 安全中的极性盲:否定、反义词替换与对抗性框架的系统性研究

    一项 arXiv 研究提出"极性盲"概念,指大语言模型在经历语法否定、反义词替换等极性改变的语言变换后无法识别有害意图的结构性漏洞。研究使用覆盖 10 个主流 LLM、3 种语言(英语、西班牙语、捷克语)的 260 条提示词基准和 0-5 有害性量表评估,发现大多数受测模型受此影响,最脆弱模型的平均有害性得分达 4.12,且该效应在不同否定系统间持续存在。

  16. arXiv cs.AI39

    ℓ1 攻击需要多大的集中扰动?——坐标上限约束下的对抗攻击分析

    一项研究在 ℓ1 攻击中加入逐坐标上限并用循环内精确投影强制联合约束,评测 APGD-ℓ1、SLIDE 和 FMN-ℓ1 三种攻击。在 18 个标准模型设置中,上限不超过 32/255 时仍保留中位数 97% 的攻击成功率,峰值幅度中位数下降 80%,有效支撑接近增至三倍;循环内约束优化比事后截断最多多保留 88 个百分点的攻击成功率。

  17. arXiv cs.AI33

    学习型障碍证书的任意时刻有效运行时监控方法

    研究者提出一种 anytime-valid 运行时监控器,用观测到的闭环轨迹审计学习型障碍证书,检测其在部署时因动力学偏离训练分布而失去统计支持。该方法将条件障碍漂移表述为逐回合序贯假设检验,把障碍增量转化为非负检验上鞅,在任意停止时间下实现有限样本误报控制,并通过监控边界的确定性时间整形在前段部署期内更保守。实验评估了有效与无效证书下的经验报警行为,代码和数据已公开。

  18. arXiv cs.AI71

    统一攻击框架破解 KGW、SynthID 等大语言模型统计水印

    研究者提出针对大语言模型统计水印的统一攻击框架,发现 KGW、GumbelSoft、DipMark、ITS、SynthID 等方法的检测分数与生成时引入的 token 概率偏移存在 score-ratio alignment 关联。攻击者仅需黑盒查询即可生成逃逸检测且保持流畅的文本,在 7 种水印方案、3 个 LLM 的评测中将检测率降至最高 0.05,并证明该弱点是设计上的固有缺陷。

    推荐理由:论文指出统计类大语言模型水印的检测分数与 token 概率偏移存在固有关联,并给出黑盒攻击可将检测率降至 0.05 以内。

  19. arXiv cs.AI52

    研究证明 LLM 智能体的逐动作授权无法组合出全局授权

    一篇 arXiv 论文提出组合式授权失败(CAF)概念,并证明关系性目的违规构成 2-safety 超属性,逐动作监控器在不误报的前提下无法检测任何此类违规,且与底层模型无关。作者用 SAT/SMT 合成器 AL-SYNTH 生成最小反例,在九个 LLM 评审中逐动作视角几乎全部放行,但看到两次执行后会标记;所调查的六个 guardrails 均未实现跨执行监控。

  20. arXiv cs.AI35

    ABench:对大语言模型在分类化价值观上进行对抗性评测的基准

    ABench 是一个面向中文价值观分类的对抗性基准,基于 158 个细分价值子类构建,包含 2,895 个开放式问题,并采用角色扮演、逻辑陷阱等手段探测模型立场稳定性,同时提出基于题目特定评分标准的加权自动评估框架。对 16 个主流 LLM 的实验显示,多数模型在复杂价值观对抗攻击下得分低于 60,暴露明显脆弱性。该数据将公开发布,已被 EMNLP 2026 主会接收。

  21. arXiv cs.AI50

    审计递归自我改进(RSI)研究:114 篇论文的评估证据分析

    一项 arXiv 研究对 114 篇递归自我改进(RSI)相关研究做全文编码,其中 90 篇自称 RSI 系统。结果显示,60% 的 RSI 研究在未用于选择的任务上做评估,仅 22% 审计两次及以上完整循环的重跑;在 26 篇声称改进流程更好的研究中,只有 4 篇在相同起始产物和匹配预算下比较前后流程。研究支持将每项声明与所需评估设计关联的报告标准。

  22. arXiv cs.AI35

    正交边界遗忘(OBU):大语言模型双用途概念的危险能力移除框架

    arXiv 论文提出正交边界遗忘(OBU)框架,用于移除大语言模型中网络战利用、病原体增强等危险能力,同时避免对良性科学能力造成附带损害。OBU 通过对激活协方差做奇异值分解提取能力子空间,将参数更新限制在正交零空间,并给出 Projected LoRA 和 Closed-Form Weight Surgery 两种实现。

  23. arXiv cs.AI38

    超越提示词:EmbGA 嵌入空间遗传算法恢复文生图模型中的隐藏概念

    一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。

  24. arXiv cs.AI32

    医学影像隐私保护个性化联邦学习(PPP-FL):DCGAN 攻击与差分隐私防御

    一项联邦学习研究针对大规模医学影像提出基于 DCGAN 的模型反演攻击,在 Brain MRI ND-5 数据集上能重建出语义上有意义的合成图像,暴露训练数据隐私风险。实验显示客户端差分隐私(DP)可降低攻击成功率但带来准确率权衡,而个性化联邦学习能弥补这一损失。研究还评估了不同聚合算法对攻击脆弱性与防御效果的影响,该攻防框架与模型无关。

  25. arXiv cs.AI28

    AI 安全的根本不可能性结果:安全目标之间的权衡

    一篇 arXiv 论文(arXiv:2610.27373)将 AI 系统与用户的交互形式化为一个三方博弈:计算或信息受限的防御者、攻击者,以及提供公开建议、受约束更少的 AI。研究证明存在一个根本性权衡:在建议必须公开的前提下,AI 难以给出既帮助防御者又不被攻击者利用的建议;论文还探讨了 AI 共享信息能否做到只惠及防御者,并讨论了这些结果对设计更安全 AI 系统的意义。

  26. arXiv cs.AI52

    arXiv 论文提出系统性对抗鲁棒性 SAR,度量大模型脆弱性单一化

    arXiv 论文提出系统性对抗鲁棒性(SAR),用攻陷模型池所需的攻击多样性来度量共享脆弱性,值小表示脆弱性单一化,值大表示失败分散在各模型。理论上将 SAR 形式化为部分集合覆盖问题并给出近似保证,实验测得从 DeepSeek-R1 和 Claude Opus 4.6 蒸馏的模型池系统性鲁棒性低于对应母模型池,提示前沿模型蒸馏存在潜在系统性代价。