跳到正文
今天10月22日周四13 条
  1. 财联社 · 电报58

    香港网络安全事故协调中心将多个PHP漏洞列为极高度风险

    香港网络安全事故协调中心发布公告,将多个PHP漏洞定为极高度风险,并警告其中两个漏洞正被广泛利用,可能导致远端程式代码执行。该中心建议各机构立即为受影响资产套用修补程式,无法即时修补的应考虑将面向互联网的应用程式与公共网络隔离,直至修补完成并验证。

  2. The Information67

    Microsoft 警告中国国家级黑客利用 AI 智能体 Artex 发动网络攻击

    Microsoft 表示观察到中国国家级关联组织 Storm-0940 使用名为 Artex 的中国 AI 智能体自动化网络攻击,目标覆盖全球数百个组织和多个行业。攻击最早发生在 9 月。

    推荐理由:微软披露国家级攻击者用 AI 智能体自动化攻击的具体案例,读者可以借此了解 AI 被用于网络攻击的最新手法。

  3. The Information65

    银行黑客如何利用 Claude 实施攻击

    The Information 报道了一起银行黑客利用 Claude 实施攻击的案例,称 Anthropic 今年 4 月发布擅长网络安全能力的 Mythos 模型后,安全人士曾预警黑客会用类似模型强化攻击,这一时刻已经到来。报道还指出,黑客似乎并不需要 Mythos 级别的模型就能自动化强大的网络攻击。

10月21日周三
  1. The Information32

    AI 安全倡导者呼吁 OpenAI、Anthropic 限制用于研发的算力

    一批 AI 安全倡导者和研究人员正推动 OpenAI、Anthropic 等 AI 公司限制用于研发的算力,认为此举能有效减缓 AI 发展速度。他们提议公司承诺将至少一定比例的算力用于安全或监控,另将一定最低比例用于运行面向客户的推理,以此压缩可用于训练更强模型等研发用途的算力份额。

  2. The Information36

    OpenAI 的「Pacing 2.0」难题:AI 多聪明才算太聪明?

    The Information 报道,OpenAI 正面临如何“管控”AI 发展节奏的现实难题,CEO Sam Altman 上周向员工讲解了业界讨论的三种安全开发 AI 方案:建立类似国际原子能机构的国际组织、将前沿实验室合并为单一实体来开发测试和分发模型,或由一家实验室领先并摧毁其他实验室的 GPU 使其无法追赶。文章指出,这三种方案各自都有重大问题。

  3. The Information70

    黑客组织 CyberCartel 利用 Claude、Grok 等模型自动化攻击 400 多个拉美金融目标

    据网络安全公司 Straiker 的调查,黑客组织 CyberCartel 使用基于 Anthropic、xAI 及月之暗面(Moonshot AI)等公司模型的 AI 智能体,对 400 多个拉美金融目标自动化发起网络攻击。研究显示这些智能体似乎窃取了密码和客户数据,并能在极少人工干预下自主访问个人银行账户,是首批关于网络犯罪分子成功用 AI 自动化入侵金融机构的详细报告之一。

    推荐理由:Straker 调查给出黑客组织利用多个厂商模型自动化攻击金融机构的细节,有助于理解 AI 滥用在金融安全中的真实形态。

  4. arXiv cs.AI44

    WSR-Tune:基于权重空间重参数化的 LLM 微调方法,保住下游适配中的安全对齐

    一项被 NeurIPS 2026(spotlight)接收的研究提出 WSR-Tune,一种通过权重空间重参数化在下游微调中保留 LLM 安全性的框架。该方法构建安全条件基,将安全相关信息集中到少量方向并冻结这些安全关键方向,其余方向用于下游任务更新。实验显示该方法在下游性能与安全保留之间取得更优平衡。

  5. arXiv cs.AI50

    FALCON:通过反例锚定反馈实现安全的智能体编程

    arXiv 论文提出 FALCON,一个反例锚定的代码安全验证框架,将攻击探索与行为验证分离,并通过被测程序的执行轨迹连接两者。在安全代码生成 benchmark 的测试时修复中,FALCON 带来比其他安全信号更强的留出集功能-安全增益,同时保持或提升功能;作为 RL 奖励时也优于静态分析和学习型奖励,并与代理奖励结合进一步提升留出集表现。

  6. arXiv cs.AI54

    TAPDreamer:针对世界动作模型的可迁移对抗贴片攻击

    论文提出 TAPDreamer,一种仅用公开编码器构造固定局部扰动、无需目标策略查询的攻击方法,可跨任务与动作架构迁移。仅覆盖约 6.5% 输入的冻结贴片使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%,对 DreamWAM 和 Motus 也大幅降低成功率。

  7. arXiv cs.AI49

    用大语言模型在阴谋论发酵初期降低其信念:两项实验研究

    一项 arXiv 研究测试与大语言模型对话能否降低公众对正在发酵的阴谋论的信念。在美国 2024 年 7 月特朗普遇刺未遂和 2025 年 9 月 Charlie Kirk 遇刺事件后的实验中,N = 472 和 N = 1042 两批持有阴谋观点的美国成年人接受 LLM 多轮对话干预,与对照组(LLM 聊无关话题或看静态事实清单)相比,阴谋信念显著降低。

  8. arXiv cs.AI41

    Yuvion VL:面向对抗性内容与 AI 安全的多模态基础模型

    Yuvion VL 是一系列专为内容与 AI 安全构建的多模态大语言模型,提供指令微调与推理导向两种变体。其训练采用三阶段流程(风险概念跨模态对齐的继续预训练、生产级安全任务的指令后训练、推理后训练),并提出 Confuse-then-Contrast 微调框架和 Yuvion VL RiskEval(YVRE)评测基准。

  9. arXiv cs.AI67

    arXiv 论文提出检测、路由、生成三阶段框架,指拒绝式对齐评估失效的原因

    arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。

    推荐理由:论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。

  10. arXiv cs.AI45

    通过越狱相关表示偏移理解与防御 VLM 越狱(JRS-Rem)

    一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。

  11. arXiv cs.AI55

    研究指出 LLM 无法自划智能体验证器可检查边界,提出 CoVer 方法

    论文研究智能体验证器中固定检查与需judge裁决的划分能否由模型自行决定。在 EU AI Act、FINRA 指引及已部署信贷智能体等六个语料上收集约 22,000 个标注,来自三个实验室的四个模型:答案明显处几乎完全一致,监管文本上则崩溃;错误方向相反,无法选出一个保守模型;在已部署智能体自己的规则集上还共同高估固定检查的适用,恰是不触发升级的方向。

  12. arXiv cs.AI36

    微分泛函主义:Jacobian 如何塑造现象经验的结构

    David Balduzzi 在 arXiv 发布论文,提出物理相互作用的一阶结构(Jacobian)塑造现象经验结构的假说,并引入透明度(有效秩)与完整性(归一化代数连通度)两种度量。该框架在一系列算例中给出经验重叠、系统边界、时间厚度、空间结构、清晰与模糊观念、随机初始化网络的不连贯性及学习等现象的结构相关物。这些度量可在人工网络中大规模计算,也可从大脑的扰动数据中估计。

  13. arXiv cs.AI32

    LLM 辅助科研伦理:一个负责任委托、验证与认知价值框架

    Kalin Stoyanov 在 arXiv 发表的论文提出分析 LLM 辅助科研的规范概念框架,将科学推理视为分布式过程,区分内容来源 O(g)、人类验证完成 V(g)、责任归属 R(g)、可问责的人类所有权 M(g) 和认知结果 E(g)。核心主张是伦理边界主要由充分验证和可问责的人类所有权决定,而非机器参与程度本身。论文据此提出"认知审计"概念,以结构化记录使 AI 辅助推理透明可审查。

  14. arXiv cs.AI35

    PReMISE:将策略评分标准作为 LLM 评测裁判的测量规范

    论文提出 PReMISE 框架,基于成对人类偏好数据自动发现策略级评分标准集,并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%,可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%,且裁判间一致性基本不变(α=.531→.519)。

  15. arXiv cs.AI29

    思维链如何破坏对拒绝行为的简单激活引导:大推理模型拒绝机制研究

    一项 arXiv 研究发现,DeepSeek-R1-Distill-LLaMA-8B 等大推理模型的拒绝行为除残差流激活外还依赖思维链(CoT)。在固定 CoT 时激活引导仅能逆转 39% 的拒绝,移除 CoT 后升至 70%;两阶段干预下模型重新生成 CoT 时逆转率达 94%,且撤除引导后 CoT 单独保留 48% 的效果。