ABench:对大语言模型在分类化价值观上进行对抗性评测的基准
ABench 是一个面向中文价值观分类的对抗性基准,基于 158 个细分价值子类构建,包含 2,895 个开放式问题,并采用角色扮演、逻辑陷阱等手段探测模型立场稳定性,同时提出基于题目特定评分标准的加权自动评估框架。对 16 个主流 LLM 的实验显示,多数模型在复杂价值观对抗攻击下得分低于 60,暴露明显脆弱性。该数据将公开发布,已被 EMNLP 2026 主会接收。
ABench 是一个面向中文价值观分类的对抗性基准,基于 158 个细分价值子类构建,包含 2,895 个开放式问题,并采用角色扮演、逻辑陷阱等手段探测模型立场稳定性,同时提出基于题目特定评分标准的加权自动评估框架。对 16 个主流 LLM 的实验显示,多数模型在复杂价值观对抗攻击下得分低于 60,暴露明显脆弱性。该数据将公开发布,已被 EMNLP 2026 主会接收。
一项 arXiv 研究对 114 篇递归自我改进(RSI)相关研究做全文编码,其中 90 篇自称 RSI 系统。结果显示,60% 的 RSI 研究在未用于选择的任务上做评估,仅 22% 审计两次及以上完整循环的重跑;在 26 篇声称改进流程更好的研究中,只有 4 篇在相同起始产物和匹配预算下比较前后流程。研究支持将每项声明与所需评估设计关联的报告标准。
arXiv 论文提出 WORTH Benchmark,让模型阅读无线索标注的原创推理小说,自主选择关键线索句、识别案件参与者并解释推理过程。试点实验在两个 episode 上共进行 70 次正式运行,其中 67 次可内容评分;Episode 02 的 37 次可评分运行中有 31 次选了相同的错误参与者,相邻的怀疑向与洗脱向句子分别被选 25 次和 0 次。
arXiv 论文提出一种将验证损失分解为近似、估计与记忆三项的方法,并在熵率闭式已知的受控数据源上分析随机 token 替换这一数据增强手段。结果显示,替换把预测向语料均值收缩,在有助之处可减少损失过最小点后约 60% 的上升;在韩文和日文网页文本上约消除三分之一。在十个真实语料中,替换降低其中九个的最终损失,仅在最冗余的程序生成 JSON 人口普查语料上有害。
一项 arXiv 研究提出"事实访问状态"概念,发现掩码扩散语言模型(DLM)在第一层注意力就把关系措辞路由到可见实体位置,事实查找比自回归(AR)模型更早完成,且状态随关系表述和查询方向变化而占据一片区域而非单点。
研究者提出 TRCM(Topology-Aware Route-Consistency Modeling),通过复用自回归构造流程的节点表示来预测两两客户同路径概率,并以拓扑熵加权和结构保持增强作为路径一致性信号指导节点选择。
研究者提出 AudiPsy,一个面向口语咨询对话抑郁评估的证据驱动 omni-LLM。其采用 Observation-Assessment-Summary(OAS)范式,整合对话转录、文本与声学情绪及情绪不一致性进行结构化推理,并构建了带多模态上下文增强的合成语料库 AudiPsy-Counsel 与三阶段课程训练。
一篇 arXiv 论文提出 ScratchProbe,通过学习一个新的读出 token 并利用其 hidden states 训练探针来估计大语言模型输出的置信度。该方法在多个数据集和 LLM 上优于从既有词汇 token 读取的探针,扩展到多 token 方式还能进一步提升性能。应用到现有 SOTA 探针时,它在所有 backbone 上的 AUROC(含域内和域外)均有提升。
研究者提出 AnomalyJev,一个轻量级框架,通过从多模态 LLM 生成的图像异常解释中提取可验证声明并与真值标注比对,来评估其忠实性与完整性,无需生成 token。
CityPaint 是一种利用 2D 扩散模型生成全局一致城市级 3D 纹理的框架,无需依赖城市级 3D 训练数据。该方法结合几何先验与 2D 扩散模型的生成能力,采用 top-K 相机烘焙策略进行迭代纹理投影,并提出解耦优化机制分别处理地形与建筑纹理的投影瑕疵。实验显示其在视觉质量和跨视角一致性上均优于强基线,论文已被 ACM Multimedia 2026 接收。
研究者提出 AnchorRM,一种面向记忆型时序图神经网络(TGN)的锚点残差记忆机制,无需顺序循环更新即可重建批内事件级节点状态,解决时间小批处理带来的内存陈旧问题。在 4 个时序图数据集和 3 个记忆型骨干上,AnchorRM 实现平均 6.16 倍训练加速(最高 10.05 倍)和 28.67 倍批扩展(最高 40 倍),同时保持有竞争力的预测性能。
一项 arXiv 研究首次提出原生安全复用问题,证明安全预训练获得的鲁棒性可通过 on-policy distillation 从小型安全预训练"教师"迁移到标准预训练"学生",结合跨 tokenizer 对齐可跨模型家族迁移。
arXiv 论文提出 Less-is-More CIR,一个免训练的两阶段零样本组合图像检索(ZS-CIR)框架,结合简洁检索与 Critic 重排序。第一阶段只保留最具判别力的修改语义生成简洁目标描述,减少语义噪声;第二阶段从修改一致性和参考图保留度两个角度对候选图像重排序。实验验证了该框架的有效性与鲁棒性,代码已开源。
arXiv 论文提出 BenchDoor 数据投毒攻击,利用模型刷基准分数的激励在训练数据中植入后门。攻击者可篡改基准的训练或测试数据构造对抗性基准,也可提供独立训练数据集。
HealBench 是一个用于评估文生图与图像编辑中心理慰藉度的细粒度基准,包含从 10 万候选中筛选的 30,000 对高质量图文,覆盖 19 个大类和 92 个子类,并配有 1,095 个实例的 HealBench-Eval 评测集。
一篇 arXiv 论文提出无监督预训练视觉-语言模型(PVLM)适配框架,结合基于预测边际的渐进子集选择与级联一致性学习:先用类平衡的可靠伪标签锚点起步,再用弱增强视图的时间平滑教师预测监督强增强视图的学生预测,并做置信度过滤。
论文提出 CVG-SGM,一种兼容感知前端的迁移-维护-读取记忆方法,通过记录目标-载体绑定关系,在物体被不透明载体遮挡后重现时恢复其历史身份。在每载体单身份的受控设置中,CVG-SGM 重链接准确率达 1.000,而无记忆和参数量匹配的对照均为 0.570;在真实 RGB-D/SAM2 特征级序列上正确重链接 36/36 个保留检测,最强固定载体-身份对照为 28/36。
arXiv 论文提出回溯自蒸馏(RSD)框架,利用特权回溯上下文将智能体自身轨迹转化为密集监督信号,同一模型兼任学生与教师,无需真值轨迹或验证器奖励即可实现自我进化。在 ALFWorld、ScienceWorld 和 SearchQA 上,Qwen3-8B 与 Qwen3-14B 性能较基模型最高提升 59.7%;结合前沿模型引导的上下文-策略进化,较固定上下文策略再提升最高 44.7%。
arXiv 论文提出正交边界遗忘(OBU)框架,用于移除大语言模型中网络战利用、病原体增强等危险能力,同时避免对良性科学能力造成附带损害。OBU 通过对激活协方差做奇异值分解提取能力子空间,将参数更新限制在正交零空间,并给出 Projected LoRA 和 Closed-Form Weight Surgery 两种实现。
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。
一项联邦学习研究针对大规模医学影像提出基于 DCGAN 的模型反演攻击,在 Brain MRI ND-5 数据集上能重建出语义上有意义的合成图像,暴露训练数据隐私风险。实验显示客户端差分隐私(DP)可降低攻击成功率但带来准确率权衡,而个性化联邦学习能弥补这一损失。研究还评估了不同聚合算法对攻击脆弱性与防御效果的影响,该攻防框架与模型无关。
论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt,实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上,held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898,且预测器知识截止早于所有评测窗口以防数据泄漏。
一篇 arXiv 论文提出 projected distillation 训练方法,将学生的失败尝试最小限度地编辑成正确目标,用于在所有尝试都失败的难题上实现近 on-policy 学习。
arXiv 论文提出 VB-EGE,一种固定置信度的自适应采样算法,用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下,该算法能以高概率返回正确的 Pareto 前沿,并给出依赖实例的样本复杂度上界,证明其在对数因子内 minimax 最优。
arXiv 一篇论文提出为语言推理模型(LRM)加入可扩展、置换等变的图位置编码,用 GNN 加 Graph Transformer 计算,无需序列化邻接表,将上下文负担降至 O(N)。
arXiv 论文提出 MLIPS,一种无需训练的多层索引器池共享方法:由生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层自行从中选 top-K,保留各自的打分与选择。
arXiv 论文提出 NR-SAE,让稀疏字典复用 Mixture-of-experts 模型中冻结 router 已有的专家选择,在 Gemma 4 26B-A4B 第 15 层、1000 万 C4 训练 token 和三个 seed 下验证。
一篇 arXiv 论文(arXiv:2610.27373)将 AI 系统与用户的交互形式化为一个三方博弈:计算或信息受限的防御者、攻击者,以及提供公开建议、受约束更少的 AI。研究证明存在一个根本性权衡:在建议必须公开的前提下,AI 难以给出既帮助防御者又不被攻击者利用的建议;论文还探讨了 AI 共享信息能否做到只惠及防御者,并讨论了这些结果对设计更安全 AI 系统的意义。
arXiv 论文提出贝叶斯网络的路径加权证据剪枝方法:枚举证据节点到结果的活跃路径并按边强度乘积打分,删除低于阈值者。理论上证明无碰撞器网络中路径分数等于端点精确相关,且剪枝后验误差有可计算上界;随机树上阈值剪枝误差比同规模随机剪枝低 1.4 至 13 倍。在七个含碰撞器和环的 bnlearn 网络上,该方法优于随机剪枝但不显著优于互信息排序,且七个中六个的打分开销超过省下的推理成本,未见加速。
一篇 arXiv 论文提出“预测闭包”概念,从特征集合层面重新刻画 JEPA(联合嵌入预测架构)的特征选择。基于对 JEPA 训练目标的重新表述,该刻画表明特征选择取决于特征集合的属性:在特征独立演化时与已有结论一致,但预测即使像红绿灯这样不可预测的特征,只要有助于预测其他特征也可被保留。受控实验还显示,通过辅助目标或提供辅助信息可间接强化相关特征的表示。
一项 arXiv 研究系统证实视觉语言模型(VLM)在子任务层面存在反向缩放:同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准,共完成 558,334 次模型-问题评估,识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。
arXiv 论文提出 LiBRA,用各客户端模型对伪模式的类条件 logit 响应(C² 个值)作为指纹替代参数向量比较,实现拜占庭鲁棒的联邦学习客户端选择。
arXiv 论文提出系统性对抗鲁棒性(SAR),用攻陷模型池所需的攻击多样性来度量共享脆弱性,值小表示脆弱性单一化,值大表示失败分散在各模型。理论上将 SAR 形式化为部分集合覆盖问题并给出近似保证,实验测得从 DeepSeek-R1 和 Claude Opus 4.6 蒸馏的模型池系统性鲁棒性低于对应母模型池,提示前沿模型蒸馏存在潜在系统性代价。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
一项 arXiv 研究提出推理时的 route-and-steer 框架,用于视觉语言模型(VLM)在地理定位披露中的视觉语境隐私问题:模型只应以与图像视觉语境相称的粒度透露位置信息。该方法先用序数粒度路由器从生成前隐状态判断合适的披露级别,再在解码时施加隐状态干预。在四个 VLM 骨干模型上,该方法改善了披露对齐、平衡了过度与不足披露,且对通用能力基准影响较小,并能迁移到另一分布不同的数据集。
一项 arXiv 论文在翻译绕过威胁模型下评测 10 个主流大语言模型与 79 种语言,发现英语安全对齐不可靠迁移:在英语安全的前提下,翻译绕过率介于 21.9% 到 44.4%。风险集中在部分语言家族,且 10 个模型中有 9 个在不同条件方案下排名发生变化,说明各模型绕过率排名不稳定。论文已被 NeurIPS 2026 FLMSec 工作坊接收。
一项 arXiv 研究评测了语言模型智能体的上下文压缩对“后续问题”的影响。在 MultiRC 上,用 gpt-6-luna(通过 OpenAI Decisions API)为当前问题选句可提升该问题准确率 11.4 个百分点(仅用 25% token),但对后续问题相比随机删句无优势;LLMLingua-2 按词删减则在后续问题上高出随机删句 12.5 个百分点。
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
一项覆盖 14 种语言的大规模研究发现,一种语言的仇恨言论检测训练数据能否有效迁移到另一语言,取决于语言对组合,其中语言相似性是最强的预测因素,时间重叠和数据集规模差异影响较小。可量化因素无法完全解释迁移模式,定性分析提示共享文化线索与交际规范可能与部分剩余情况相关,但仅作为假设。研究覆盖低资源语言,为构建多语言仇恨检测系统提供了实践参考。
arXiv 论文提出 VPFlow,一种用价值预测代替精确状态预测进行规划的离线目标条件强化学习方法,其潜空间世界模型以目标达成价值为唯一监督,配合单步流策略在噪声空间用进化搜索规划。