跳到正文
10月23日周五
  1. arXiv cs.AI43

    面向量子场论的微调小型推理模型研究

    研究者首次对大语言模型在理论物理可验证解题任务上比较强化学习(RL)与监督微调(SFT),以量子场论(QFT)为主域,生成超 2,500 道合成题并整理来自 arXiv 的人工改编题。两种方法均优于基座模型,但 SFT 增益集中在同分布合成任务,RL 泛化更好,在人工改编数据集和 TPBench 上超过 SFT。团队已开源数据管线、可验证 QFT 训练数据及约 200M token 的推理轨迹。

  2. arXiv cs.AI40

    多层 SSM 表达能力与限制的理论研究

    一项理论研究考察深度、有限精度、状态维度和思维链(CoT)如何影响多层状态空间模型(SSM)的表达能力。针对显式表的 K 函数复合问题,证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³);而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。

  3. arXiv cs.AI30

    MoE Transformer 泛化与缩放定律的理论研究

    一项发表于 ICML 2026 的研究为 MoE Transformer 建立了泛化与缩放理论,将每输入的激活参数容量与路由组合复杂度清晰分离。通过在固定路由模式上条件化并跨模式做联合界定,作者得到随激活参数预算缩放的度量熵上界及 MoE 特有的路由开销。研究证明逼近误差既可通过扩大激活容量、也可通过增加专家数来降低,并据此导出模型规模、数据量与算力最优权衡的神经缩放定律。

  4. arXiv cs.AI42

    步进信息量假设:LLM 中熵动态何时能追踪推理正确性

    一项 arXiv 研究提出步进信息量假设(SIA),从理论上刻画熵降低类推理信号何时与 LLM 推理正确性对齐,指出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。实验覆盖 GSM8K、ARC、SVAMP、MATH 四个基准及 base、指令微调、RL 训练等多种开源权重模型,发现熵-正确性对齐随 post-training 增强,但在任务难度超出模型能力时会减弱。

  5. arXiv cs.AI36

    SYNAPSE:用于序列编码中神经元分析与扰动的免训练框架

    SYNAPSE 是一个无需重训练基础模型的系统性框架,用于理解和压力测试 Transformer 模型的内部行为。它提取逐层 [CLS] 表示、训练轻量线性探针获得全局和逐类神经元排名,并在推理时施加 forward-hook 干预。实验显示任务相关信息编码在宽泛重叠的神经元子集中,这种冗余带来功能稳定性,但对权重或 logit 空间的小幅结构化操纵即可改变预测结果。

  6. arXiv cs.AI40

    StructLens:基于最大生成树的语言模型内部结构分析框架

    研究者提出 StructLens,通过在残差流的语义表征上构建最大生成树,以整体结构视角分析语言模型的 token 表征组织方式。分析发现相邻 token 在表征空间中也彼此接近,中间层表现出最强的局部跨度组织。预训练检查点分析显示,较小的局部单元在预训练中更早可被检测到,较大单元则更晚。

  7. arXiv cs.AI53

    信息论分析思维链可监控性并提出缓解 CoT 混淆的无标注训练目标

    论文用信息论分析思维链(CoT)监控,证明 CoT 与输出之间非零互信息是可监控性的必要非充分条件,并区分信息缺口与激发误差两类近似误差。作者提出基于输出与 CoT 互信息的免标注训练目标,在多环境中可防止 CoT 混淆并缓解奖励设定不完美时的 reward hacking。

  8. arXiv cs.AI33

    HealthMamba:面向医疗设施就诊预测的不确定性感知时空图状态空间模型

    HealthMamba 是一个不确定性感知的时空框架,用于医疗设施就诊预测,由统一时空上下文编码器、图状态空间模型 GraphMamba 和集成三种机制的不确定性量化模块组成。在加利福尼亚、纽约、得克萨斯和佛罗里达四个真实数据集上,其预测精度较 SOTA 基线提升约 6.0%,不确定性量化提升 3.5%。论文已被 IJCAI 2026 接收。

  9. arXiv cs.AI40

    LOFT:在低维特征子空间中实现机器遗忘(NeurIPS 2026)

    LOFT 方法提出在预训练模型的低维特征子空间中进行机器遗忘(Machine Unlearning),通过主投影分离保留数据与遗忘数据的信息。该方法只需优化一个可插入模型的小型投影矩阵,且仅需对预训练模型做一次特征提取,无需反复访问原始数据或更新整个模型。实验表明其计算开销显著更低、遗忘性能更优,代码已公开,论文已被 NeurIPS 2026 接收。

  10. arXiv cs.AI49

    用国际象棋解耦大语言模型的泛化与记忆

    研究者以国际象棋为受控测试床,按先验密度构建局面分类,区分模型依靠记忆还是泛化能力,并对 GPT 系列及 Claude Opus、Gemini 等模型进行纵向评估。结果显示,随相关先验减少性能持续下降,先验稀少时基座模型退化至随机对弈水平,所有模型提出非法着法的比率陡增;推理增强推理虽有提升,但每 token 的边际收益在缺先验时递减。

  11. arXiv cs.AI40

    面向低延迟量子纠错的进化式 BP+OSD 译码方法

    一项 arXiv 研究提出用差分进化(DE)算法优化的进化式 BP(EBP)译码器,并对 EBP+OSD 结构进行端到端优化,以解决传统 BP+OSD 在 BP 阶段迭代过多、OSD 阶段复杂度高的问题。方法引入多目标选择规则抑制 OSD 的频繁激活,显著降低复杂度开销。在 surface codes 和 QLDPC 码上的仿真显示,EBP+OSD 在低延迟场景下同时取得更优译码性能和更低复杂度。

  12. arXiv cs.AI47

    AlignGemini:正交监督解耦如何提升 AI 生成图像检测的泛化能力

    arXiv 论文提出正交监督解耦方法,并实现为双分支检测器 AlignGemini:VLM 只接受语义监督、视觉专家只接受伪影监督。仅用两个生成器的图像训练、无复杂训练策略,即在五个真实场景基准上提升 9.5%。论文同时发布诊断基准 AIGI-Now,覆盖八个当代生成器(含五个闭源商用模型),代码已公开。

  13. arXiv cs.AI38

    Operon:基于命名维度的锯齿数据增量构建方法

    论文提出 Operon,一个围绕命名维度形式化构建的静态可验证工作流引擎,用于处理各维度长度只在运行时才确定的锯齿数据。它把锯齿数据建模为坐标空间上的扁平函数,以 DSL 标注维度名并由静态检查器验证任务无误迭代。运行时将未完成数组表示为向下封闭坐标域上的偏函数,从而精确计算任务入度并支持无需人工干预的故障恢复。

  14. arXiv cs.AI28

    抵御搜索式链接攻击:保护去标识化文档的新方法

    Pierre Lison 等人提出一种对抗搜索式链接攻击的方法,在保留文本语义完整性的前提下防止去标识化文本被映射回原始数据。该方法先构建语料中 N-gram 的倒排索引,找出出现在少于 k 篇文档中的 N-gram,再迭代调用基于 LLM 的改写器重写这些片段,直到链接不再可行。在法院判例和维基百科人物传记两个数据集上的实验显示改写能有效阻止搜索式链接,但更先进的语义导向方法仍可实现链接。

  15. arXiv cs.AI37

    超维探针:用向量符号架构解码 LLM 内部表示

    研究者提出 Hyperdimensional Probe,一种结合向量符号架构(VSA)与超向量代数的混合监督探针,用于解析 LLM 内部表示。该方法统一了监督探针、Sparse Autoencoders(SAE)与 logit 分析三种视角,可同时支持输入特征提取与输出分析。实验表明其能在不同 LLM、嵌入维度与配置下稳定提取语义信息,覆盖输入补全与问答文本生成两类场景。

  16. arXiv cs.AI26

    AgriVLN:面向农业机器人的视觉语言导航方法

    研究者提出农业机器人视觉语言导航方法 AgriVLN,并构建了 A2A 基准,包含 6 类农业场景共 1,560 个 episode。实验发现现有 VLN 方法在长指令上表现不佳,其提出的 STL 模块将复杂指令分解为简单子任务。将 STL 集成到 NavGPT 骨干后,AgriVLN 将 SR 从 0.33 提升至 0.47,NE 从 2.76 m 略增至 2.91 m。

  17. arXiv cs.AI35

    基于能量的迁移学习方法提升强化学习样本效率

    强化学习在持续学习等场景中样本效率低,预训练教师策略的引导在新任务偏离其训练分布时可能误导探索。研究者提出一种基于能量的迁移学习方法,利用分布外检测让教师仅在训练分布内的状态发出引导。该方法在单任务与多任务设置下均提升了样本效率与性能,已被 CoLLAs 2026 接收。

  18. arXiv cs.AI37

    Quality-Diversity Red-Teaming(QDRT):面向大语言模型的高质量多样化自动化攻击生成框架

    arXiv 论文提出 Quality-Diversity Red-Teaming(QDRT)框架,通过行为条件训练和行为回放缓冲实现目标驱动的攻击多样性,并训练多个专门攻击模型以覆盖不同攻击风格和风险类别。实验显示 QDRT 生成的攻击对 GPT-2、Llama-3、Gemma-2、Qwen2.5 等开源模型以及 GPT-4.1、GPT-5-Chat 等商业模型更具多样性和有效性。代码已开源。

  19. arXiv cs.AI52

    研究首次展示联邦学习客户端可远程触发服务器 Rowhammer 攻击

    研究者提出一种针对联邦学习服务器的远程 Rowhammer 攻击:基于强化学习的攻击者无需后门权限,通过操纵客户端传感器观测诱导服务器产生重复聚集内存更新。在稀疏更新的 ASR 与 CIFAR10 分类任务上,攻击智能体达到约 70% 的重复更新率(RUR),可有效诱发服务器 DRAM 位翻转,可能导致学习中断或权限提升。