跳到正文
今天10月23日周五2566 条
  1. arXiv cs.AI45

    LLM 从哪里学会推荐 AI?研究溯源预训练与微调的影响

    一项 arXiv 研究探究 LLM 为何倾向推荐 AI 相关选项:预训练模型已有 27% 的回答包含 AI/ML 词汇,指令微调版本升至 59%。自行微调显示该倾向并非必然:剔除 7% 涉及 AI 的指令样本可降低 14 个百分点,奖励有用性的数据提升 9 个百分点。此外,要求给出“最佳”选项使比率上升 8 个点,“现在就做”上升 18 个点。

  2. arXiv cs.AI44

    MeMoDecode:基于元模型引导的 LLM 解码实现一致 DSL 生成

    MeMoDecode 是一种解码框架,在 LLM 生成 DSL 产物时联合强制执行具体语法、抽象语法和良构性约束,并在检测到不一致时从最近可完成快照恢复解码。在 4 种 DSL 和 6 个 0.6B 至 70B 参数的开源权重 LLM 上,其一致性平均比无约束解码提升 23%,比语法约束解码提升 8%,且运行开销较小。

  3. arXiv cs.AI42

    MPIXEL 像素语言模型的多语言预训练扩展研究

    arXiv 论文提出 MPIXEL 像素语言模型系列,沿语言数、文字种类和模型容量三个轴扩展多语言预训练。在覆盖 83 种语言的五项任务评测中,各扩展轴只改善新增语言和文字,容量提升可缓解多语言诅咒,但对未见文字的迁移无进一步提升;模型在类型学上遥远的低资源语言上优于子词和字符级基线。

  4. arXiv cs.AI42

    迈向物理 AI 的递归自我改进

    一篇 arXiv 论文系统梳理了递归自我改进(RSI)在机器人学习中的定位,追踪从改进机器人能力到改进生成过程的路径。论文指出物理世界中的 RSI 需在昂贵试错、条件变化和不可逆后果下从部分观测中学习,而现有研究集中于操作任务,尚难分离出递归带来的收益。作者据此提出评估原则与研究方向。

  5. arXiv cs.AI34

    BiasGuard-D:面向可审计 LLM 输出质量管控的类型化对抗契约

    研究者提出 BiasGuard-D,用来自不同模型家族的两个对抗角色交换类型化声明文档,由三个模型投票裁决,并以引用加语义混合不变式校验结果。该方法在 HaluEval QA 上仅通过角色框架调整即把正确答案恢复率提高 49 个百分点;删除迭代循环会显著降低不变式满足度。所有声明、投票与指令都以类型化记录存储,为运营者提供可审计的溯源链。

  6. arXiv cs.AI32

    LineageEvo:面向 LLM 进化式因子挖掘的谱系感知搜索控制

    研究者提出 LineageEvo,在 LLM 进化式公式化 alpha 因子挖掘中引入谱系(lineage)作为搜索控制单元。该方法结合谱系条件化的 LLM 变异与谱系分层的搜索预算分配,避免搜索集中于结构相似的因子。在 CSI 500 和 S&P 500 上,LineageEvo 在因子预测性上表现最强,LSPS 则产生更均衡的谱系分布和更宽的结构多样性。

  7. arXiv cs.AI28

    FogTTA:雾天中 Transformer 目标检测的在线测试时自适应框架

    FogTTA 是一个在线测试时自适应框架,用于提升基于 Transformer 的目标检测器在雾天环境下的鲁棒性,底层检测器为 RF-DETR。框架采用教师-学生设计,通过弱增强输入生成伪标签,经非极大值抑制与置信度过滤后,学生模型用强增强样本和 Varifocal loss 学习,教师通过指数移动平均更新。

  8. arXiv cs.AI32

    可解释深度学习方法 dLI-RADS 用于多期 CT 早期肝细胞癌诊断

    研究人员提出可解释 AI 方法 dLI-RADS,从手工分割的多期 CT 肝脏病灶图像估计肝细胞癌概率,并结合反映 LI-RADS 主要影像特征的定量测量与 logistic 回归。多中心回顾性研究显示,dLI-RADS 在内部评估集病灶级准确率达 80%,优于 LI-RADS 的 74%,非劣性检验显著(p = 0.04),病灶大于 40 mm 者被排除。

  9. arXiv cs.AI40

    强随机流映射的改进训练方法

    一项 arXiv 预印本研究如何更好地训练随机流映射,以实现对 SDE 的少步采样。作者提出用移位 Legendre 多项式展开表示 Brownian 路径,并配合 Wong-Zakai 风格的目标函数,从而解锁基于导数的损失,同时给出将大型预训练流模型微调为强随机流映射的方案。

  10. arXiv cs.AI38

    反身性阈值:多智能体执行性预测的相变研究

    一项已被 NeurIPS 2026 接收的 arXiv 研究提出反身性矩阵 Γ,刻画多智能体执行性预测中重复再训练的稳定性阈值:当该矩阵的谱半径小于 1 时,重复再训练以几何速度收敛到唯一的执行性稳定均衡;超过 1 时,在构造的超临界实例中,局部信息学习者的期望累计超额损失在时域内线性增长。该结果给出上下界刻画,并涵盖单智能体标量阈值作为特例。

  11. arXiv cs.AI38

    DPO 计算图的随机剪枝:训练提速 1.4 倍并降低峰值显存

    一项 arXiv 研究提出对 DPO 计算图进行随机剪枝的统一框架,独立采样打分位置、执行前缀与反向传播分支。Branch 剪枝相对拼接 DPO 基线实现 1.426x 步进加速,比标准 DPO 缩短约 30% 训练时间;位置与序列剪枝主要降低峰值显存。代价是平均准确率略降,开放式分数随基准而异。

  12. arXiv cs.AI27

    块扩散用于纵向电子健康记录建模:精度、效率与表示的权衡

    一项arXiv研究在MIMIC-IV数据上以相同的token化、上下文长度和模型容量对比块掩码扩散(BD)与自回归模型在纵向EHR零样本预测中的表现。BD呈现明显的质量-效率权衡,B=8配置推理约快1.43倍,冻结线性探针在临床预测任务上与AR表现接近;增大去噪预算收益递减,BD被视为计算上有吸引力的EHR建模可行路线。

  13. arXiv cs.AI35

    联合嵌入预测目标对纵向电子健康记录有效吗?JEPA 与 MLM 在 EHR 表征学习上的对比研究

    一项基于 MIMIC-IV 的实证研究探讨 JEPA(联合嵌入预测架构)能否替代 MLM 用于纵向电子健康记录(EHR)的 transformer 编码器预训练。结果显示三种 JEPA 形式虽训练稳定、无表征坍塌,但下游性能始终不及标准 MLM;预测误差随目标尺寸而非异质性增大,且缩小目标也无法挽回性能。这表明仅靠稳定的潜空间预测不足以支撑有竞争力的 EHR 表征学习。

  14. arXiv cs.AI48

    计时与理解时间:两者都无法单独解释 LLM 的时间推理

    一项 arXiv 研究挑战了将 LLM 时间推理分为时间算术与时间语义两类的共识。微调实验显示,模型增益主要是数据集特定的(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估还发现,驱动这些基准成绩的主要是知识而非量化和逻辑推理。这表明现有时间推理基准并未真正实现算术—语义二分,而是主要奖励模型记住时间的常见运作方式。

  15. arXiv cs.AI34

    重新思考时序预测中的智能体模型编排:FairAMO 评测协议揭示收益上限

    一项研究提出 FairAMO 受控评测协议,用冻结候选预测解耦智能体模型编排(AMO)在时序基础模型(TSFM)选择中的真实贡献。在 GIFT-Eval 上的实验显示,最佳编排相对最佳单一 TSFM 各任务 MASE 降低不足 6%,收益取决于候选间互补性而非数量,冗余成员会抵消收益,历史证据价值也迅速饱和。

  16. arXiv cs.AI43

    一个强 MoE 模型即可胜任过程监督:专家路由天然提供推理过程信号

    arXiv 论文提出利用 MoE 模型的专家路由统计作为过程奖励模型(PRM)的内在过程置信信号,与传统的输出 logit 置信度相当。作者结合总体路由质量、头部路由质量与步内路由变化构建路由置信度,并提出 RoCo-Rethink(识别最低置信推理步并选择性重生成后续轨迹)与 RoCo-PRM(用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM)。

  17. arXiv cs.AI37

    OmniSimulator:对齐小型语言模型以建模真实异构用户行为

    研究者提出 OmniSimulator 训练框架,通过五维结构化行为推理模式和教师模型生成的高质量推理轨迹,提升小型 LLM 在短视频平台环境中模拟真实用户行为的能力。该框架基于 200 名真实用户三个月的交互轨迹构建了 9,881 条训练实例,使 Qwen3-8B 平均分数提升 34.33%,性能可比 Claude-Sonnet-4.5,并支持小规模自托管部署。

  18. arXiv cs.AI42

    超越闲聊:TraDE 框架建模人机对话中的自我披露轨迹

    研究者提出基于社会渗透理论的 TraDE 评估框架,用预定义披露轨迹考察先前披露历史如何在当前披露深度相同的情况下影响模型行为。实验发现多个模型对深度相同的披露回应会随轨迹而异,且差异追踪累积的深度披露暴露、持续数轮,而非单一脆弱时刻;模型与 ESConv 中人类支持者分歧最大之处在于用户收起披露时而非敞开心扉时。

  19. arXiv cs.AI34

    PLRM:可并行的概率潜在推理框架,建模多样推理轨迹

    arXiv 论文提出概率潜在推理模型 PLRM,一个可并行的变分框架,把推理从逐 token 的语言空间转移到紧凑连续潜在空间,缓解 CoT 中表层措辞与真实逻辑轨迹纠缠的问题。PLRM 采用 JEPA 式目标并行推断潜在分布,并引入离散策略变量与混合先验以保留多条推理轨迹的高斯混合结构。在多轨迹数据集上它持续优于随机基线,在单轨迹数据集上与确定性潜在推理模型性能相当,且训练更高效。

  20. arXiv cs.AI32

    ChronoSynth:面向时序知识图谱的约束感知问题合成框架

    arXiv 论文提出 ChronoSynth,一个记忆增强、约束感知的时序知识图谱问题生成框架,通过构建 Temporal Intent State、检索类型化问题模式并验证生成结果,避免时序语义漂移。该框架在 CRONQUESTIONS 和 MultiTQ 数据集上取得 SOTA 生成性能,消融实验验证了各组件贡献。

  21. arXiv cs.AI32

    arXiv 论文提出神经网络的潜在空间配置(LSC)微调方法,加速 top-K 检索

    Nikita Gabdullin 在 arXiv 发表论文,提出潜在空间配置(LSC)方法,对 ArcFace 预训练的 IResNet50 模型进行微调,并设计结构化潜在空间搜索算法,实现 O(1) 复杂度的候选子集检索。相比基线穷举搜索,GPU 上最高提速 3 倍,CPU 上提速 40%。压缩潜在空间维度可进一步加速搜索,甚至改善 rank-N 指标。

  22. arXiv cs.AI34

    Flat-RLVR:基于锐度感知的可验证奖励强化学习,提升 LLM 推理能力

    Flat-RLVR 是一种面向大语言模型后训练的方法,通过锐度感知最小化在 RLVR 中搜索平坦奖励区域,并结合 GRPO 变体。该方法理论上证明平坦奖励 RLVR 可减少分布锐化,实验显示其提升了样本多样性,同时保持单次尝试准确率,在采样效率与推理能力之间取得更好的平衡。

  23. arXiv cs.AI35

    CRAB:基于长方体表示的点云竣工 BIM 重建框架

    研究者提出 CRAB 框架,将点云中的墙、门、窗、梁、柱编码为带 IFC 兼容语义与参数的建筑长方体,生成可编辑的竣工 BIM。该框架由 ProposalNet 预测粗略构件长方体,AssemblyNet 通过关系感知的 Flow Matching 模型细化几何并预测结构关系。

  24. arXiv cs.AI36

    分层掩码扩散语言模型 HMDLM

    研究者提出分层掩码扩散语言模型 HMDLM,为每个 token 位置加入层级标签,将生成拆为先预测层级分布、再预测 token 分布的两步,各层级拥有独立噪声调度,保持解码完全并行。

  25. arXiv cs.AI38

    MOSAIC:面向会话智能体长期记忆与跨模态推理的全模态基准

    研究者推出 MOSAIC 基准,包含 923 个问题,覆盖 11-24 轮会话历史中的文本、图像、视频和音频,用于评估会话智能体的长期记忆与跨模态推理。该基准配合诊断协议,冻结问题、读取器、提示词与预算,分别介入表示、检索和传递环节。分解结果显示表示损失依赖模态、残差读取在金标准证据下仍占主导,且模型在该拒绝作答时仍会作答,将全模态记忆评测从排行榜转变为对写入、检索、传递、读取各环节故障的诊断。

  26. arXiv cs.AI44

    DiagSafe:用提示词级评分规则诊断评估 LLM 安全性

    研究者提出 DiagSafe 框架,用提示词级评分规则取代二元安全标签,基于 84 类安全分类构建中英双语基准,含 DiagBase 和 DiagAttack 两个子集。该框架与人工标注一致率达 95.34%,高于基线的 69%-87%,评判间 Cohen's κ 为 0.864。测试显示主流 LLM 的不安全率差异明显,模型在中文和多轮对话场景下更易出问题。

  27. arXiv cs.AI42

    Huayu-Global:实时准全球高精度卫星降水反演系统

    Huayu-Global 是一个跨星座深度学习系统,融合五颗卫星的三路静止轨道传感器数据,每 30 分钟生成一次准全球降水场。在训练年份之外两期超百万条独立站点记录上,其事件检测和降水量估计优于所评估的实时产品,关键指标达到延迟产品水平。该系统可为洪水预报、水资源管理和灾害响应提供及时高精度降水数据。