Cloudflare 开源安全审计技能 security-audit-skill,AI 可直接审计代码库
Cloudflare 开源了自己找漏洞用的安全审计技能,AI 助手安装后可直接审计自己的代码库。流程分 6 步:先梳理整个代码库,按区域逐个找 bug,每条发现交给未参与查找的新助手复核确认,结构化记录后再独立验证一遍,最后出报告;结果按已确认、待验证、已排除三类清单给出。
Cloudflare 开源了自己找漏洞用的安全审计技能,AI 助手安装后可直接审计自己的代码库。流程分 6 步:先梳理整个代码库,按区域逐个找 bug,每条发现交给未参与查找的新助手复核确认,结构化记录后再独立验证一遍,最后出报告;结果按已确认、待验证、已排除三类清单给出。
Cloudflare 将自己找漏洞用的安全审计技能开源,AI 助手可直接调用审计自己的代码。流程分 6 步:梳理整个代码库、按区域逐个找 bug、由未参与查找的新助手复核每条发现、结构化记录结果、独立复验、出最终报告。
网络安全公司 Frenos 的新研究测试了 10 个 AI 模型规划工业系统攻击的能力,其中 3 个模型在约 90% 的尝试中成功构建攻击计划。研究共含近 17,000 次测试,包括 2,520 次完整攻击计划构建;前沿模型成功率仅 17.9% 至 31.9%,最强国外开放权重模型为 36.2%,最强美国开放权重模型仅 5.2%,未披露所测模型名称。
PHP 计划于今日上午 10AM ET 发布安全补丁,修复两个严重等级 9.2/10 的远程代码执行漏洞。
英伟达推出 OpenShell 参考架构,将 Vera Rubin 基础设施、Vera CPU、开源 OpenShell 软件及搭载 NVIDIA Sentry 安全框架的 BlueField-4 DPU 整合,为企业级 AI Agent 提供安全隔离、行为监控及策略执行能力。
岩井Cosmo证券10月21日表示,其服务器遭受攻击并导致未授权交易成交。公司称,抱有恶意的第三方利用AI锁定系统漏洞发动了攻击。
一项被 NeurIPS 2026(spotlight)接收的研究提出 WSR-Tune,一种通过权重空间重参数化在下游微调中保留 LLM 安全性的框架。该方法构建安全条件基,将安全相关信息集中到少量方向并冻结这些安全关键方向,其余方向用于下游任务更新。实验显示该方法在下游性能与安全保留之间取得更优平衡。
arXiv 论文提出 FALCON,一个反例锚定的代码安全验证框架,将攻击探索与行为验证分离,并通过被测程序的执行轨迹连接两者。在安全代码生成 benchmark 的测试时修复中,FALCON 带来比其他安全信号更强的留出集功能-安全增益,同时保持或提升功能;作为 RL 奖励时也优于静态分析和学习型奖励,并与代理奖励结合进一步提升留出集表现。
论文提出 TAPDreamer,一种仅用公开编码器构造固定局部扰动、无需目标策略查询的攻击方法,可跨任务与动作架构迁移。仅覆盖约 6.5% 输入的冻结贴片使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%,对 DreamWAM 和 Motus 也大幅降低成功率。
一项 arXiv 研究测试与大语言模型对话能否降低公众对正在发酵的阴谋论的信念。在美国 2024 年 7 月特朗普遇刺未遂和 2025 年 9 月 Charlie Kirk 遇刺事件后的实验中,N = 472 和 N = 1042 两批持有阴谋观点的美国成年人接受 LLM 多轮对话干预,与对照组(LLM 聊无关话题或看静态事实清单)相比,阴谋信念显著降低。
arXiv 一项研究用多层模型比较 GitHub 上 AI 编程智能体与人类的 pull request,发现约五分之二的智能体 PR 处理时长差异来自仓库之间;在 280 个仓库中,智能体 PR 的仓库间方差是人类的 1.76 倍(95% CI 1.41–2.18)。
Yuvion VL 是一系列专为内容与 AI 安全构建的多模态大语言模型,提供指令微调与推理导向两种变体。其训练采用三阶段流程(风险概念跨模态对齐的继续预训练、生产级安全任务的指令后训练、推理后训练),并提出 Confuse-then-Contrast 微调框架和 Yuvion VL RiskEval(YVRE)评测基准。
arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。
推荐理由:论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。
一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。
Macquarie 大学等机构研究者在 arXiv 发表论文,质疑此前 Nature Medicine 关于 ChatGPT Health 漏诊 51.6% 急症的研究结论,认为该错误率很大程度是评测协议的产物而非模型能力问题。
研究团队提出 AM-Bench,一个基于欺诈三角框架、覆盖七个行业 35 个场景的智能体失准评测基准,沿感知威胁、感知机会和推理三个维度构建评测与检测系统。
arXiv 论文提出 AgentStripes,一种针对 AI 智能体的证据分级成熟度模型,包含 0 到 7 stripes 等级、12 个过程域共 40 项能力、三道门(基础、安全、证明)以及 E0 到 E5 证据分级。
论文研究智能体验证器中固定检查与需judge裁决的划分能否由模型自行决定。在 EU AI Act、FINRA 指引及已部署信贷智能体等六个语料上收集约 22,000 个标注,来自三个实验室的四个模型:答案明显处几乎完全一致,监管文本上则崩溃;错误方向相反,无法选出一个保守模型;在已部署智能体自己的规则集上还共同高估固定检查的适用,恰是不触发升级的方向。
arXiv 论文提出 Penumbra,一种针对金融、医疗等场景中监管义务的样本高效对抗搜索方法,从验证锚点出发在扩展编辑预算下寻找合规与违规的相邻响应对。在同等预算下,自适应分配在 59% 的候选上达到均匀分配全覆盖,同等记录数下覆盖的失败模式是朴素枚举的 1.43 倍。
David Balduzzi 在 arXiv 发布论文,提出物理相互作用的一阶结构(Jacobian)塑造现象经验结构的假说,并引入透明度(有效秩)与完整性(归一化代数连通度)两种度量。该框架在一系列算例中给出经验重叠、系统边界、时间厚度、空间结构、清晰与模糊观念、随机初始化网络的不连贯性及学习等现象的结构相关物。这些度量可在人工网络中大规模计算,也可从大脑的扰动数据中估计。
Kalin Stoyanov 在 arXiv 发表的论文提出分析 LLM 辅助科研的规范概念框架,将科学推理视为分布式过程,区分内容来源 O(g)、人类验证完成 V(g)、责任归属 R(g)、可问责的人类所有权 M(g) 和认知结果 E(g)。核心主张是伦理边界主要由充分验证和可问责的人类所有权决定,而非机器参与程度本身。论文据此提出"认知审计"概念,以结构化记录使 AI 辅助推理透明可审查。
论文提出 PReMISE 框架,基于成对人类偏好数据自动发现策略级评分标准集,并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%,可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%,且裁判间一致性基本不变(α=.531→.519)。
一项 arXiv 研究发现,DeepSeek-R1-Distill-LLaMA-8B 等大推理模型的拒绝行为除残差流激活外还依赖思维链(CoT)。在固定 CoT 时激活引导仅能逆转 39% 的拒绝,移除 CoT 后升至 70%;两阶段干预下模型重新生成 CoT 时逆转率达 94%,且撤除引导后 CoT 单独保留 48% 的效果。
arXiv 论文指出,心理健康 AI 的安全评估常在错误的时间尺度上进行,逐轮评分无法捕捉延迟升级、依赖形成等跨轮累积性失败。作者提出 Temporal Safety Non-Identifiability 的形式化论证,并据此建立 SCOPE 原则及其心理健康版报告标准 SCOPE-MH。
一篇 arXiv 论文提出将数字孪生与网络-社会安全模型结合的框架,用于模拟和量化关键基础设施中的网络威胁。框架基于 Mininet 和 MiniCPS 构建虚拟化 ICS 环境,核心是扩展 CVSS 的 CSVSS 评分系统,引入基于实体与场所支柱的社会影响维度,生成可复现的严重性评分。LLM 仅做初步分析和起草风险报告,由分析师在可解释 AI 反馈支持下验证结论并保留关键案例的决策权。
研究者提出 CarryoverBench,评测 LLM 智能体上的 carryover attacks:攻击者一次性注入后,载荷可经长期记忆文件或定时任务在后续会话中反复触发。
MAS-Guard 是一个面向单智能体和多智能体 LLM 应用的统一安全防护框架,包含智能体本地 Agent Guardrail(A-Guard)层与开发者掌控的 Agent Charters 和 Control Plane 系统层,可通过允许、反思、确认和阻断四种干预手段执行防护。
研究者推出 nokast-secureRAG,一个约 0.5B 参数的小语言模型,作为 RAG 检索与生成之间的语义防火墙,联合评估用户查询与检索内容,分类为安全、可疑或恶意。
研究者提出 ClawMMU,一个为 LLM 智能体长期记忆设计的安全保护层,为每条记忆标注所有者、范围、来源与权限。该层在内容进入模型上下文、写入或读出存储、驱动工具调用时检查标签,核心规则是信息可提升权限但权限不能自授权。
一项 arXiv 研究提出"极性盲"概念,指大语言模型在经历语法否定、反义词替换等极性改变的语言变换后无法识别有害意图的结构性漏洞。研究使用覆盖 10 个主流 LLM、3 种语言(英语、西班牙语、捷克语)的 260 条提示词基准和 0-5 有害性量表评估,发现大多数受测模型受此影响,最脆弱模型的平均有害性得分达 4.12,且该效应在不同否定系统间持续存在。
一项研究在 ℓ1 攻击中加入逐坐标上限并用循环内精确投影强制联合约束,评测 APGD-ℓ1、SLIDE 和 FMN-ℓ1 三种攻击。在 18 个标准模型设置中,上限不超过 32/255 时仍保留中位数 97% 的攻击成功率,峰值幅度中位数下降 80%,有效支撑接近增至三倍;循环内约束优化比事后截断最多多保留 88 个百分点的攻击成功率。
研究者提出一种 anytime-valid 运行时监控器,用观测到的闭环轨迹审计学习型障碍证书,检测其在部署时因动力学偏离训练分布而失去统计支持。该方法将条件障碍漂移表述为逐回合序贯假设检验,把障碍增量转化为非负检验上鞅,在任意停止时间下实现有限样本误报控制,并通过监控边界的确定性时间整形在前段部署期内更保守。实验评估了有效与无效证书下的经验报警行为,代码和数据已公开。
研究者提出针对大语言模型统计水印的统一攻击框架,发现 KGW、GumbelSoft、DipMark、ITS、SynthID 等方法的检测分数与生成时引入的 token 概率偏移存在 score-ratio alignment 关联。攻击者仅需黑盒查询即可生成逃逸检测且保持流畅的文本,在 7 种水印方案、3 个 LLM 的评测中将检测率降至最高 0.05,并证明该弱点是设计上的固有缺陷。
推荐理由:论文指出统计类大语言模型水印的检测分数与 token 概率偏移存在固有关联,并给出黑盒攻击可将检测率降至 0.05 以内。
一篇 arXiv 论文提出组合式授权失败(CAF)概念,并证明关系性目的违规构成 2-safety 超属性,逐动作监控器在不误报的前提下无法检测任何此类违规,且与底层模型无关。作者用 SAT/SMT 合成器 AL-SYNTH 生成最小反例,在九个 LLM 评审中逐动作视角几乎全部放行,但看到两次执行后会标记;所调查的六个 guardrails 均未实现跨执行监控。
ABench 是一个面向中文价值观分类的对抗性基准,基于 158 个细分价值子类构建,包含 2,895 个开放式问题,并采用角色扮演、逻辑陷阱等手段探测模型立场稳定性,同时提出基于题目特定评分标准的加权自动评估框架。对 16 个主流 LLM 的实验显示,多数模型在复杂价值观对抗攻击下得分低于 60,暴露明显脆弱性。该数据将公开发布,已被 EMNLP 2026 主会接收。
一项 arXiv 研究对 114 篇递归自我改进(RSI)相关研究做全文编码,其中 90 篇自称 RSI 系统。结果显示,60% 的 RSI 研究在未用于选择的任务上做评估,仅 22% 审计两次及以上完整循环的重跑;在 26 篇声称改进流程更好的研究中,只有 4 篇在相同起始产物和匹配预算下比较前后流程。研究支持将每项声明与所需评估设计关联的报告标准。
一项 arXiv 研究首次提出原生安全复用问题,证明安全预训练获得的鲁棒性可通过 on-policy distillation 从小型安全预训练"教师"迁移到标准预训练"学生",结合跨 tokenizer 对齐可跨模型家族迁移。
arXiv 论文提出 BenchDoor 数据投毒攻击,利用模型刷基准分数的激励在训练数据中植入后门。攻击者可篡改基准的训练或测试数据构造对抗性基准,也可提供独立训练数据集。
arXiv 论文提出正交边界遗忘(OBU)框架,用于移除大语言模型中网络战利用、病原体增强等危险能力,同时避免对良性科学能力造成附带损害。OBU 通过对激活协方差做奇异值分解提取能力子空间,将参数更新限制在正交零空间,并给出 Projected LoRA 和 Closed-Form Weight Surgery 两种实现。
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。