超越提示词:EmbGA 嵌入空间遗传算法恢复文生图模型中的隐藏概念
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。
一项联邦学习研究针对大规模医学影像提出基于 DCGAN 的模型反演攻击,在 Brain MRI ND-5 数据集上能重建出语义上有意义的合成图像,暴露训练数据隐私风险。实验显示客户端差分隐私(DP)可降低攻击成功率但带来准确率权衡,而个性化联邦学习能弥补这一损失。研究还评估了不同聚合算法对攻击脆弱性与防御效果的影响,该攻防框架与模型无关。
论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt,实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上,held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898,且预测器知识截止早于所有评测窗口以防数据泄漏。
一篇 arXiv 论文提出 projected distillation 训练方法,将学生的失败尝试最小限度地编辑成正确目标,用于在所有尝试都失败的难题上实现近 on-policy 学习。
arXiv 论文提出 VB-EGE,一种固定置信度的自适应采样算法,用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下,该算法能以高概率返回正确的 Pareto 前沿,并给出依赖实例的样本复杂度上界,证明其在对数因子内 minimax 最优。
arXiv 一篇论文提出为语言推理模型(LRM)加入可扩展、置换等变的图位置编码,用 GNN 加 Graph Transformer 计算,无需序列化邻接表,将上下文负担降至 O(N)。
arXiv 论文提出 MLIPS(Multi-Layer Indexer Pool Sharing),一种免训练方法:生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层从中自行选取 top-K,避免每层全前缀扫描。
arXiv 论文提出 NR-SAE,让稀疏字典复用 Mixture-of-experts 模型中冻结 router 已有的专家选择,在 Gemma 4 26B-A4B 第 15 层、1000 万 C4 训练 token 和三个 seed 下验证。
一篇 arXiv 论文(arXiv:2610.27373)将 AI 系统与用户的交互形式化为一个三方博弈:计算或信息受限的防御者、攻击者,以及提供公开建议、受约束更少的 AI。研究证明存在一个根本性权衡:在建议必须公开的前提下,AI 难以给出既帮助防御者又不被攻击者利用的建议;论文还探讨了 AI 共享信息能否做到只惠及防御者,并讨论了这些结果对设计更安全 AI 系统的意义。
arXiv 论文提出贝叶斯网络的路径加权证据剪枝方法:枚举证据节点到结果的活跃路径并按边强度乘积打分,删除低于阈值者。理论上证明无碰撞器网络中路径分数等于端点精确相关,且剪枝后验误差有可计算上界;随机树上阈值剪枝误差比同规模随机剪枝低 1.4 至 13 倍。在七个含碰撞器和环的 bnlearn 网络上,该方法优于随机剪枝但不显著优于互信息排序,且七个中六个的打分开销超过省下的推理成本,未见加速。
一篇 arXiv 论文提出“预测闭包”概念,从特征集合层面重新刻画 JEPA(联合嵌入预测架构)的特征选择。基于对 JEPA 训练目标的重新表述,该刻画表明特征选择取决于特征集合的属性:在特征独立演化时与已有结论一致,但预测即使像红绿灯这样不可预测的特征,只要有助于预测其他特征也可被保留。受控实验还显示,通过辅助目标或提供辅助信息可间接强化相关特征的表示。
一项 arXiv 研究系统证实视觉语言模型(VLM)在子任务层面存在反向缩放:同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准,共完成 558,334 次模型-问题评估,识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。
arXiv 论文提出 LiBRA,用各客户端模型对伪模式的类条件 logit 响应(C² 个值)作为指纹替代参数向量比较,实现拜占庭鲁棒的联邦学习客户端选择。
arXiv 论文提出系统性对抗鲁棒性(SAR),用攻陷模型池所需的攻击多样性来度量共享脆弱性,值小表示脆弱性单一化,值大表示失败分散在各模型。理论上将 SAR 形式化为部分集合覆盖问题并给出近似保证,实验测得从 DeepSeek-R1 和 Claude Opus 4.6 蒸馏的模型池系统性鲁棒性低于对应母模型池,提示前沿模型蒸馏存在潜在系统性代价。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
一项 arXiv 研究提出推理时的 route-and-steer 框架,用于视觉语言模型(VLM)在地理定位披露中的视觉语境隐私问题:模型只应以与图像视觉语境相称的粒度透露位置信息。该方法先用序数粒度路由器从生成前隐状态判断合适的披露级别,再在解码时施加隐状态干预。在四个 VLM 骨干模型上,该方法改善了披露对齐、平衡了过度与不足披露,且对通用能力基准影响较小,并能迁移到另一分布不同的数据集。
一项 arXiv 论文在翻译绕过威胁模型下评测 10 个主流大语言模型与 79 种语言,发现英语安全对齐不可靠迁移:在英语安全的前提下,翻译绕过率介于 21.9% 到 44.4%。风险集中在部分语言家族,且 10 个模型中有 9 个在不同条件方案下排名发生变化,说明各模型绕过率排名不稳定。论文已被 NeurIPS 2026 FLMSec 工作坊接收。
一项 arXiv 研究评测了语言模型智能体的上下文压缩对“后续问题”的影响。在 MultiRC 上,用 gpt-6-luna(通过 OpenAI Decisions API)为当前问题选句可提升该问题准确率 11.4 个百分点(仅用 25% token),但对后续问题相比随机删句无优势;LLMLingua-2 按词删减则在后续问题上高出随机删句 12.5 个百分点。
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
一项覆盖 14 种语言的大规模研究发现,一种语言的仇恨言论检测训练数据能否有效迁移到另一语言,取决于语言对组合,其中语言相似性是最强的预测因素,时间重叠和数据集规模差异影响较小。可量化因素无法完全解释迁移模式,定性分析提示共享文化线索与交际规范可能与部分剩余情况相关,但仅作为假设。研究覆盖低资源语言,为构建多语言仇恨检测系统提供了实践参考。