通过在线策略蒸馏让安全预训练的"原生安全"跨模型迁移
一项 arXiv 研究首次提出原生安全复用问题,证明安全预训练获得的鲁棒性可通过 on-policy distillation 从小型安全预训练"教师"迁移到标准预训练"学生",结合跨 tokenizer 对齐可跨模型家族迁移。
一项 arXiv 研究首次提出原生安全复用问题,证明安全预训练获得的鲁棒性可通过 on-policy distillation 从小型安全预训练"教师"迁移到标准预训练"学生",结合跨 tokenizer 对齐可跨模型家族迁移。
arXiv 论文提出 Less-is-More CIR,一个免训练的两阶段零样本组合图像检索(ZS-CIR)框架,结合简洁检索与 Critic 重排序。第一阶段只保留最具判别力的修改语义生成简洁目标描述,减少语义噪声;第二阶段从修改一致性和参考图保留度两个角度对候选图像重排序。实验验证了该框架的有效性与鲁棒性,代码已开源。
arXiv 论文提出 BenchDoor 数据投毒攻击,利用模型刷基准分数的激励在训练数据中植入后门。攻击者可篡改基准的训练或测试数据构造对抗性基准,也可提供独立训练数据集。
HealBench 是一个用于评估文生图与图像编辑中心理慰藉度的细粒度基准,包含从 10 万候选中筛选的 30,000 对高质量图文,覆盖 19 个大类和 92 个子类,并配有 1,095 个实例的 HealBench-Eval 评测集。
一篇 arXiv 论文提出无监督预训练视觉-语言模型(PVLM)适配框架,结合基于预测边际的渐进子集选择与级联一致性学习:先用类平衡的可靠伪标签锚点起步,再用弱增强视图的时间平滑教师预测监督强增强视图的学生预测,并做置信度过滤。
论文提出 CVG-SGM,一种兼容感知前端的迁移-维护-读取记忆方法,通过记录目标-载体绑定关系,在物体被不透明载体遮挡后重现时恢复其历史身份。在每载体单身份的受控设置中,CVG-SGM 重链接准确率达 1.000,而无记忆和参数量匹配的对照均为 0.570;在真实 RGB-D/SAM2 特征级序列上正确重链接 36/36 个保留检测,最强固定载体-身份对照为 28/36。
arXiv 论文提出回溯自蒸馏(RSD)框架,利用特权回溯上下文将智能体自身轨迹转化为密集监督信号,同一模型兼任学生与教师,无需真值轨迹或验证器奖励即可实现自我进化。在 ALFWorld、ScienceWorld 和 SearchQA 上,Qwen3-8B 与 Qwen3-14B 性能较基模型最高提升 59.7%;结合前沿模型引导的上下文-策略进化,较固定上下文策略再提升最高 44.7%。
arXiv 论文提出正交边界遗忘(OBU)框架,用于移除大语言模型中网络战利用、病原体增强等危险能力,同时避免对良性科学能力造成附带损害。OBU 通过对激活协方差做奇异值分解提取能力子空间,将参数更新限制在正交零空间,并给出 Projected LoRA 和 Closed-Form Weight Surgery 两种实现。
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。
一项联邦学习研究针对大规模医学影像提出基于 DCGAN 的模型反演攻击,在 Brain MRI ND-5 数据集上能重建出语义上有意义的合成图像,暴露训练数据隐私风险。实验显示客户端差分隐私(DP)可降低攻击成功率但带来准确率权衡,而个性化联邦学习能弥补这一损失。研究还评估了不同聚合算法对攻击脆弱性与防御效果的影响,该攻防框架与模型无关。
论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt,实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上,held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898,且预测器知识截止早于所有评测窗口以防数据泄漏。
一篇 arXiv 论文提出 projected distillation 训练方法,将学生的失败尝试最小限度地编辑成正确目标,用于在所有尝试都失败的难题上实现近 on-policy 学习。
arXiv 论文提出 VB-EGE,一种固定置信度的自适应采样算法,用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下,该算法能以高概率返回正确的 Pareto 前沿,并给出依赖实例的样本复杂度上界,证明其在对数因子内 minimax 最优。
arXiv 一篇论文提出为语言推理模型(LRM)加入可扩展、置换等变的图位置编码,用 GNN 加 Graph Transformer 计算,无需序列化邻接表,将上下文负担降至 O(N)。
arXiv 论文提出 MLIPS,一种无需训练的多层索引器池共享方法:由生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层自行从中选 top-K,保留各自的打分与选择。
arXiv 论文提出 NR-SAE,让稀疏字典复用 Mixture-of-experts 模型中冻结 router 已有的专家选择,在 Gemma 4 26B-A4B 第 15 层、1000 万 C4 训练 token 和三个 seed 下验证。
一篇 arXiv 论文(arXiv:2610.27373)将 AI 系统与用户的交互形式化为一个三方博弈:计算或信息受限的防御者、攻击者,以及提供公开建议、受约束更少的 AI。研究证明存在一个根本性权衡:在建议必须公开的前提下,AI 难以给出既帮助防御者又不被攻击者利用的建议;论文还探讨了 AI 共享信息能否做到只惠及防御者,并讨论了这些结果对设计更安全 AI 系统的意义。
arXiv 论文提出贝叶斯网络的路径加权证据剪枝方法:枚举证据节点到结果的活跃路径并按边强度乘积打分,删除低于阈值者。理论上证明无碰撞器网络中路径分数等于端点精确相关,且剪枝后验误差有可计算上界;随机树上阈值剪枝误差比同规模随机剪枝低 1.4 至 13 倍。在七个含碰撞器和环的 bnlearn 网络上,该方法优于随机剪枝但不显著优于互信息排序,且七个中六个的打分开销超过省下的推理成本,未见加速。
一篇 arXiv 论文提出“预测闭包”概念,从特征集合层面重新刻画 JEPA(联合嵌入预测架构)的特征选择。基于对 JEPA 训练目标的重新表述,该刻画表明特征选择取决于特征集合的属性:在特征独立演化时与已有结论一致,但预测即使像红绿灯这样不可预测的特征,只要有助于预测其他特征也可被保留。受控实验还显示,通过辅助目标或提供辅助信息可间接强化相关特征的表示。
一项 arXiv 研究系统证实视觉语言模型(VLM)在子任务层面存在反向缩放:同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准,共完成 558,334 次模型-问题评估,识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。
arXiv 论文提出 LiBRA,用各客户端模型对伪模式的类条件 logit 响应(C² 个值)作为指纹替代参数向量比较,实现拜占庭鲁棒的联邦学习客户端选择。
arXiv 论文提出系统性对抗鲁棒性(SAR),用攻陷模型池所需的攻击多样性来度量共享脆弱性,值小表示脆弱性单一化,值大表示失败分散在各模型。理论上将 SAR 形式化为部分集合覆盖问题并给出近似保证,实验测得从 DeepSeek-R1 和 Claude Opus 4.6 蒸馏的模型池系统性鲁棒性低于对应母模型池,提示前沿模型蒸馏存在潜在系统性代价。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
一项 arXiv 研究提出推理时的 route-and-steer 框架,用于视觉语言模型(VLM)在地理定位披露中的视觉语境隐私问题:模型只应以与图像视觉语境相称的粒度透露位置信息。该方法先用序数粒度路由器从生成前隐状态判断合适的披露级别,再在解码时施加隐状态干预。在四个 VLM 骨干模型上,该方法改善了披露对齐、平衡了过度与不足披露,且对通用能力基准影响较小,并能迁移到另一分布不同的数据集。
一项 arXiv 论文在翻译绕过威胁模型下评测 10 个主流大语言模型与 79 种语言,发现英语安全对齐不可靠迁移:在英语安全的前提下,翻译绕过率介于 21.9% 到 44.4%。风险集中在部分语言家族,且 10 个模型中有 9 个在不同条件方案下排名发生变化,说明各模型绕过率排名不稳定。论文已被 NeurIPS 2026 FLMSec 工作坊接收。
一项 arXiv 研究评测了语言模型智能体的上下文压缩对“后续问题”的影响。在 MultiRC 上,用 gpt-6-luna(通过 OpenAI Decisions API)为当前问题选句可提升该问题准确率 11.4 个百分点(仅用 25% token),但对后续问题相比随机删句无优势;LLMLingua-2 按词删减则在后续问题上高出随机删句 12.5 个百分点。
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
一项覆盖 14 种语言的大规模研究发现,一种语言的仇恨言论检测训练数据能否有效迁移到另一语言,取决于语言对组合,其中语言相似性是最强的预测因素,时间重叠和数据集规模差异影响较小。可量化因素无法完全解释迁移模式,定性分析提示共享文化线索与交际规范可能与部分剩余情况相关,但仅作为假设。研究覆盖低资源语言,为构建多语言仇恨检测系统提供了实践参考。
arXiv 论文提出 VPFlow,一种用价值预测代替精确状态预测进行规划的离线目标条件强化学习方法,其潜空间世界模型以目标达成价值为唯一监督,配合单步流策略在噪声空间用进化搜索规划。
研究者在此前提出的 Locksmith Loop 确定性验证方法基础上,提出通过 entry-replay 测试用例认证生成合成端到端测试、提升分支与段落覆盖率的新方法。
一项 arXiv 研究提出符号化偏好标注(Symbolic Preference Labeling)方法:用预训练语言模型对 prompt 与回复的预定义属性分类,再由显式规则和固定判定排序生成偏好标签,且每条标签可从存储的属性、规则和排序复算,无需重跑模型。
JetBrains Research 撰文介绍其定理证明器 Arend,该语言基于带 cubical 语法的同伦类型论变体,比完全可计算的 cubical 类型论更贴近 Martin-Löf 类型论(MLTT),面向单价基础下的数学形式化,侧重构造性数学。
一项被 EMNLP Findings 接收的研究分析了 8 个 6.7B–15B 参数的代码模型,基于 DELTASECOMMITS、SVEN 和 PRECISE-BUGS 三个 C 语言数据集进行线性探测。
研究者提出 ValiAssist,一种“示范即验证”系统,从教师对 AI 生成编程反馈的修改中推断可复用的验证逻辑,并支持教师在其他学生提交上检查和细化该逻辑。在 16 名教师的对比研究中,系统帮助产出的反馈与教学意图的一致率达 91%(对照 57%),修正问题标准的准确率提升一倍以上(77% 对 32%)。
一项 arXiv 研究提出迭代编辑基于来源的种子提示词的方法,以暴露目标大语言模型的幻觉。实验覆盖来自 7 个数据集、10 个主题的 500 个种子,在基线配置下,针对外在与内在幻觉的测试中分别有 77.2% 和 74.2% 的回答落入评审的强幻觉区间。
研究团队发布 AutoRedClaw,一个自动生成端到端攻击及配套环境的红队框架,针对带配置文件、长期记忆和技能的 claw 式智能体的持久化威胁。
研究团队推出多模态医疗工具调用智能体 MMedAgent-Plus,将视觉语言规划器与覆盖 12 种任务、8 种模态的 18 个专科模型结合,规划器基于来自 32 个公开医疗基准的 208,928 个样本进行指令微调。
arXiv 论文提出 Profile-DP,一种面向个性化 LLM 推理中用户资料发布的策略感知本地差分隐私框架,可证明性地约束用户未授权信息的泄露。论文给出两个有限域机制:独立扰动受保护属性的 DP-SLOT 和基于公共语义决策联合采样的 DP-BLOCK。
一项发表于 Transactions on Machine Learning Research 的研究评估了预训练语言模型能否在不依赖图文配对数据、提示词工程或对比目标的情况下,为视觉训练提供轻量辅助监督。
研究者推出 LoWAgent 基准,用于评测 Web Agent 在低资源语言(印地语、孟加拉语、乌尔都语、阿姆哈拉语)与英语下的表现,包含 6 个完全本地化的网站、5 种语言共 3,000 个任务实例。