跳到正文
10月21日周三
  1. arXiv cs.AI41

    事实回忆中的“指令税”:基座模型可胜过其指令微调版本

    该论文介绍 AKBC LM-KBC 2026 共享任务的解决方案,在官方榜单取得 0.6836 分,超过 0.2964 基线一倍以上。在不使用检索和微调、参数上限 32B 的条件下,基座模型用文本补全提示得 0.6836,而指令微调版本经聊天界面仅得 0.5681,作者称之为“指令税”。方案用训练集示例提示基座模型,生成 64–256 个输出并保留重复项,再针对不同关系做两项专门处理。

  2. arXiv cs.AI38

    ORCA 与 ORBiT:以相对表示重构以对象为中心的强化学习

    论文提出对象相对坐标系 ORCA,将实体放在以锚点为参照的相对坐标系中,并引入基于 Transformer 的架构 ORBiT 处理锚点相对输入。ORBiT 在 13 个 Atari 游戏上聚合 HNS IQM 超过 1.0,优于基于像素的 PPO 基线,并能从零学会 Foosball 游戏。实验还显示 ORCA 可扩展到旋转,ORBiT 能泛化到未见过的干扰物数量,且增益依赖与决策相关的锚点。

  3. arXiv cs.AI37

    Same Judgment, Different Yes:测量语言模型的多语言判断画像

    一项 arXiv 研究测试八种模型在六种语言、最多 105 个道德情境上的 110 万条回答,考察不同引答与读答方式何时测得相同判断、何时测得答题习惯。结果显示 token 读法与句子读法的画像中位相关性仅 r = 0.67,而句子读法与自由句读法一致性达 0.94;去除语言共识后,48 个模型-语言组合中有 39 个在命题标签下最接近自身跨语言的画像。

  4. arXiv cs.AI33

    超越校准:跨语言与本地化场景下 LLM 置信度的时间维度评估

    一项 arXiv 研究将 LLM 置信度分为解题前的 FOK 与解题后的 JOL 两类信号,在两个前沿大语言模型、多推理领域、翻译版马拉地语基准及新构建的本地马拉地语事实问答基准上评估其可靠性。结果显示,成本更低的解题前信号校准较弱,解题后置信度认知对齐更强但推理成本更高;英语与马拉地语间校准趋势经翻译可较好迁移,但在本地化知识上明显退化,且模型幻觉答案在生成后仍保持持续偏高的置信度。

  5. arXiv cs.AI41

    CovNav:基于 Conformal Prediction 的自适应推理目标导航框架

    CovNav 是一个免训练框架,用 Conformal Prediction(CP)将混合推理 LLM 的快慢双模式转化为不确定性感知的决策,仅在模糊查询时升级到慢速思维链推理。在 Gibson 和 HM3D 上,成功率比最强零样本基线分别高出 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理。TurtleBot 4 真机实验进一步验证了该方法。

  6. arXiv cs.AI32

    WORTH Benchmark:非完全合作信息下的证据发现——两集试点研究

    arXiv 论文提出 WORTH Benchmark,让模型阅读无线索标注的原创推理小说,自主选择关键线索句、识别案件参与者并解释推理过程。试点实验在两个 episode 上共进行 70 次正式运行,其中 67 次可内容评分;Episode 02 的 37 次可评分运行中有 31 次选了相同的错误参与者,相邻的怀疑向与洗脱向句子分别被选 25 次和 0 次。

  7. arXiv cs.AI52

    arXiv 论文提出基于 Prompt 进化的免训练多模态预测持续学习方法

    论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt,实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上,held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898,且预测器知识截止早于所有评测窗口以防数据泄漏。

  8. arXiv cs.AI42

    视觉语言模型研究揭示规模扩展的极限:子任务层面的反向缩放现象

    一项 arXiv 研究系统证实视觉语言模型(VLM)在子任务层面存在反向缩放:同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准,共完成 558,334 次模型-问题评估,识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。

  9. arXiv cs.AI39

    CARLAR 影响:多模态支票提取中的结构化幻觉风险与压缩图像干预探索

    一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响:模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet,涵盖 243 张主支票和 598 个严格不匹配样本,GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%,CARLAR 案例的期望校准误差高达 0.93。

  10. arXiv cs.AI46

    大语言模型任务组合的脆弱性:隐式思考预算研究

    arXiv 论文发现,语言模型在单个提示词中组合多个任务时错误率显著上升,即使各任务单独都能可靠解决。研究指出其根源是“隐式思考预算”:组合时模型每任务使用的 token 少于单独执行,且远未耗尽上下文窗口,单独需要更长推理链的任务在组合下更脆弱,涵盖开源模型与 Claude Opus 5。按任务脆弱性分组可操纵隐式预算,在数学与语言任务上减少 43% token 用量并保持准确率。

  11. arXiv cs.AI40

    3D-MoE:面向 3D 堆叠 NMP 上 MoE 解码的软硬协同设计系统

    研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。

  12. arXiv cs.AI33

    面向时间序列预测的动态双反馈共形推理方法 DDCI

    论文提出动态双反馈共形推理方法 DDCI,用于时间序列预测的不确定性量化,并被 NeurIPS 2026 接收。该方法在传统基于真实标签覆盖情况的实际反馈之外,引入基于 oracle 共形方法经验阈值的估计反馈,抑制区间过度扩张或收缩。两种信号平衡后,DDCI 在保持接近名义覆盖率的同时,可获得更稳定、更窄的预测区间。

  13. arXiv cs.AI31

    超越策略差异:能力感知的多教师 On-Policy 蒸馏方法 CA-MOPD

    一项 arXiv 研究提出能力感知多教师 on-policy 蒸馏方法 CA-MOPD,先将强化学习专家模型合并为学生初始化,再用验证器估计的师生能力差距动态调整各领域蒸馏强度。在数学、代码生成和指令跟随共六项 benchmark 上,CA-MOPD 平均得分 32.22,分别超过 naive MOPD、Open-MOPD 和合并初始化基线 0.86、0.83 和 0.74 分。

  14. arXiv cs.AI33

    专家引导的评分准则(Rubrics)作为非可验证领域强化学习的稠密奖励信号

    一项 arXiv 研究针对金融服务等非可验证领域中 LLM 智能体的强化学习,提出将少量专家判断转化为稠密奖励,并与检索指标结合形成 GRPO 兼容的混合训练信号,解决稀疏奖励导致组内同分、优化停滞的问题。实验显示,相比稀疏奖励基线,Recall@3 提升最高 6%,MRR@3 提升 6.7%。

  15. arXiv cs.AI42

    OptScientist:自动发现优化定律的新框架

    研究者提出 OptScientist,一个从数据中自动发现符号化优化定律的框架,由符号优化问题推断模型和结合文献理论先验的 LLM 智能体系统组成。在包含 99 个物理优化问题的新基准 OptFeynman 上,它对超过 80% 的问题恢复了真实定律,且对噪声上下文鲁棒,大幅超越机器学习、符号方法和 LLM 基线。