LoopRec:面向序列推荐的条目级自适应递归推理
论文提出 LoopRec,将序列推荐中的固定计算深度改为条目级自适应递归。该方法用单个权重共享块递归处理,在每个递归边界由轻量门控对每个条目独立做出退出或继续的二元决策,无需辅助深度标签。在公共基准和四类骨干架构上的实验显示 LoopRec 持续优于同等预算的固定深度方法,且学到的分配与 oracle 分析一致:低频条目和更近的交互获得更深计算。
论文提出 LoopRec,将序列推荐中的固定计算深度改为条目级自适应递归。该方法用单个权重共享块递归处理,在每个递归边界由轻量门控对每个条目独立做出退出或继续的二元决策,无需辅助深度标签。在公共基准和四类骨干架构上的实验显示 LoopRec 持续优于同等预算的固定深度方法,且学到的分配与 oracle 分析一致:低频条目和更近的交互获得更深计算。
论文提出基于未来事件预测的递归自我改进智能体系统 DeepEvolve,通过动态环境合成可验证任务,并将预测背后的推理轨迹内化回模型能力。在每周更新的 FutureX 排行榜上,其自我改进的预测系统连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上均进入前三,最强领先基线 10.7 Bradley-Terry 分。
论文提出 SpatialBrain 框架,在冻结视觉-语言骨干的前提下保留空间推理决策经验,核心是区分场景证据与推理经验。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验,完成的轨迹被抽象为过程记录并在任务块间整合。
TraceForge 提出一种蒸馏替代方案:在教师模型隐藏推理轨迹不可得时,以教师答案和上下文为输入,由生成器自行写出学生模型家族风格的推理轨迹,配合对抗训练的 critic 筛选。独立判官的真实性评分显示其轨迹平均 0.68,接近真实轨迹的 0.66,critic 筛选后达 0.82。在相同 5,000 题和教师答案下,HumanEval+ 提升 3.7 点、MBPP+ 提升 7.1 点。
Mirendil 在正式宣布不到 4 个月后宣布一项里程碑:从零开始、无需预训练团队,成功大规模预训练出模型 Mirendil-Base。该模型由一名研究员耗时 3.5 个月、以不足 $10M 的算力完成,含全部研究与最终训练;Mirendil-Base 参数在 100B-500B 范围,Base-Large 为 500B-2T,Base-XL 为 2T-10T。
Dharma-AI 在博客中介绍其即将发布论文的 VocabX 方法,按每个 token 的成本而非频率为领域模型重建词表。其基于 Qwen3-4B 的葡萄牙语作文评分系统中,模型响应从平均 350 token 降至 101 token,在 RTX 5090 与 vLLM 上实测推理成本下降 77.0%,bench 分数从 0.703 升至 0.810。
财联社报道,皮查伊在播客访谈中表示,即便客户现在希望获得2027年的算力,谷歌满足新增需求已极其困难,行业各家公司都希望当初规划的规模再大一倍,谷歌去年甚至曾短期租用外部算力。他还围绕新模型Gemini 4 Argon谈及智能体商业化、苹果合作与太空数据中心,并承认供应链瓶颈和宏观冲击可能导致过度建设,但仍对长期算力需求保持信心。
推荐理由:谷歌CEO第一手判断2027年算力供给紧张,并坦承曾租用外部算力,读者可借此观察头部厂商的真实供需压力。
论文提出 WeAct(Weight-level Internal Actions),在冻结主干上训练各能力独立的 LoRA adapter,并把 adapter 选择加入智能体的动作空间,通过原生 tool-calling 接口按需组合能力。
arXiv 论文提出 MoEvolve,一种针对 MoE 大语言模型的双向蒸馏框架,通过提高每 token 激活预算 exposing 潜在专家容量,先恢复并强化高 k 模型,再将能力反向蒸馏回原始低 k 配置。在多个 MoE 模型与基准上,MoEvolve 比初始模型最高提升 22.2 个领域平均分,比同等预算 RLVR 基线最高领先 6.5 分,最终低 k 模型常超过其激活扩展的教师模型。
作为 BCR 的技术延续,论文提出 Concurrent Constraint Reinforcement(CCR),在单个封顶训练补全中放入三个可独立验证的数学题,让截断前完成的正确答案保留奖励,从而摆脱 RLVR 对长 rollout 窗口的依赖。
一项 arXiv 研究提出"推理收缩"概念,指 thought templates、技能库和 agent 记忆把多步推理压缩为一步,但记忆在事实改变后会静默给出错误答案。
StartLux-Decision 发布 0.8B 至 27B 参数的决策模型,分 Instant 与 AutoThink 两类:Instant 保持单次推理,AutoThink 仅对不确定决策调用显式推理。
arXiv 论文提出 Δ-MOPD,在多教师 on-policy 蒸馏(MOPD)中不再迁移教师的端点策略,而是迁移“教师减基座”的 logit 偏移并重新锚定在学生模型的冻结初始化上,以剔除教师从其基座模型继承的偏好。
FERPO(Forward Entropy-Regularized Policy Optimization)是一种在策略最大熵强化学习算法,无需对 critic 求动作梯度即可实现策略改进,通过熵与 KL 散度正则的目标动作分布并用 forward-KL 结合 SNIS 拟合 actor。
研究者提出步进式风险敏感 GRPO(StepRS-GRPO),在扩散大语言模型(dLLM)的去噪状态间调整组优势变换的风险系数,且保留原有训练器。在多个 dLLM backbone 和数学推理基准上,该方法相较 centered GRPO 同时提升 pass@1 准确率与 pass@k 覆盖率,并增加答案多样性;消融实验中质量匹配对照与优势 RMS 对齐后增益依然成立。
论文提出训练-free 的模型组合方法 S³(Spectral Null-Space Swap):将 Non-thinking 模型保留在其主导子空间内、把 Thinking checkpoint 置于其外,从而提升推理效率。
论文提出 ROSS(Relearning from Self-Generated Rollouts through Selective Supervision),保留完整历史轨迹作为上下文,仅对选定的模型生成内容施加损失,实现从自生成 rollout 中再学习。
UMM-Reflection 方法在统一多模态模型内部对完整反思轨迹施加强化学习,让反思文本与图像生成联合优化,无需推理时的外部验证器。在 BAGEL 上,该方法的 GenEval 得分比 SFT 提升 12.05 点,并在未参与训练的 WISE(+10.97)、OneIG-Bench(+3.48)和 T2I-CompBench++(+4.63)上实现迁移增益。
一项基于 400 个 BigCodeBench 问题构建 AST 级受控损坏评测框架的研究,衡量 LLM 修复代码时的“过度编辑”倾向。
一篇 arXiv 论文提出规范上下文在线蒸馏方法 CCOPD,用同一基座模型分别扮演冻结教师和可训练学生,缓解大语言模型在信息分多轮给出时因自锚定漂移而偏离答案的问题。仅在数学对话上训练后,CCOPD 在 RAW-SHARDED 场景下相对基座模型平均提升 32%,且基本保持完整上下文性能,在五个零样本域外任务家族上同样有效。
研究者推出 CHIMERA,一个包含 9K 样本的合成推理数据集,由先进推理模型生成长 CoT 轨迹,覆盖 8 大科学学科和超过 1K 细粒度主题,并用全自动评估流水线交叉验证题目与答案,免除人工标注。
arXiv 论文提出 TTCS,一种协同进化的测试时训练(Test-Time Training)框架,从同一预训练模型初始化题目合成器与推理求解器两个策略,通过迭代优化共同进化。合成器基于测试题生成渐进难度的课程题目,求解器用自洽性奖励更新自身,二者互相稳定训练过程。实验显示 TTCS 在高难度数学 benchmark 上持续提升推理能力,并可迁移到不同 LLM 主干的通用任务,代码已开源。
一项 arXiv 研究指出,强化学习中结果层面的模式坍缩并非探索不足或正则化太弱,而是期望回报目标本身的结构性后果——期望内的概率乘子使不同结果的 log 概率比按奖励差呈指数发散。作者提出逆概率缩放,并以 GRPO 的即插即用改写 IPS-GRPO 实现,无需辅助模型或架构改动。在推理和分子生成任务上,IPS-GRPO 持续减少模式坍缩,同时匹配或超过基线性能。
研究者提出 ATAR,一种利用推理结构引导 LLM 注意力的推理方法,解决长推理链中关键中间步骤和原始提示词被淹没、注意力不足的问题。实验显示 ATAR 在六个基准上超越 SOTA 方法,绝对提升最高达 15.39%;"非推理"模型借助 ATAR 在多数基准上达到与同规模推理模型相当甚至更好的表现。消融实验表明注意力对齐组件贡献显著,且提升在不同注意力引导后端下均保持稳定。
浙大团队提出 VLA-Rolling,一个轻量推理框架,在流匹配 VLA 模型上复用被丢弃的动作尾部,包含动作尾继承、逐动作置信度估计和置信度引导的去噪预算分配三个阶段,底层模型保持冻结。
一篇 arXiv 论文提出心理世界模型 MWM 及其实现架构 MMEA,显式构建主观世界、建模认知与心理状态的交互,并模拟受历史经验塑造的心理持续演化。
arXiv 论文提出 MULTIFINGROUND 基准,用于检验多语言财报中“概念识别”与“证据抽取”之间的差距。基准基于 90 家发行方 FY2025 的英、法、希腊语披露文件构建,评测事实识别、概念识别、穷尽式事实选择与概念区分四项能力。
arXiv 论文提出 CEDR(Continuous Embedding Diffusion Reasoner),一种面向数学推理与代码生成的连续潜空间扩散训练与推理管线,从 Qwen3-4B 的三个隐藏层学习紧凑答案表示。
研究者提出扩散子目标规划框架 DSP,用于长时程离线目标条件强化学习(GCRL)的高层子目标生成。DSP 将高层规划转化为对目标条件子目标的引导式生成推理,结合条件与无条件流实现 classifier-free guidance,摆脱了对噪声敏感的价值估计引导。在离线 GCRL 基准上,DSP 在导航和操作任务中优于此前方法,尤其在需要多步子目标规划的迷宫环境中表现突出。
研究者提出 AIMO Interpretability Challenge,一项基于模型内部机制区分前沿数学大语言模型稳健推理与虚假推理的竞赛,已被 NeurIPS 2026 接收为竞赛项目。
arXiv 论文提出 ReCore,针对长程语言智能体的规划图修复问题,通过建模节点与边错误的耦合传播,定位导致持续错误传播的紧凑核心并仅将其交给 LLM 诊断修复,还给出长程规划后悔的理论上界。在合成 Agent Calling-Tree 图和 Who&When 归因基准上,ReCore 以每次成功修复最多 7.4× 更少的 token 达到与全图上下文修复相当的恢复效果。
研究者提出混合世界模型规划方法 HYBRID-WM,在保留 ReAct、Reflexion 等语言智能体语义规划能力的同时,用轻量参数化世界模型提供更准确的状态转移预测,减少模型幻觉导致的错误状态传播。参数化模型构建紧凑的规划骨架来引导动作生成,并保持智能体想象转移与模型预测的一致性。在四个图结构规划基准上的实验显示,HYBRID-WM 持续提升任务成功率,且计算开销适中。
论文提出 PTD-PO(Privileged Tutoring Distillation Policy Optimization),一种面向 LVLM 的 RLVR 训练框架,在不向学生策略暴露答案的前提下提供密集监督。
arXiv 论文让 Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B 回答 2,256 个有重复答案的事实性问题,发现同答案的问题在各层收敛到状态空间的共享区域即答案质心。答案可读性在网络深度 47%-71% 的某一层跳变;跳变后将错误答案状态移向正确质心可使模型在 83%-97% 的情形给出正确答案,随机移动仅 2%-4%。
一项 arXiv 研究发现,DeepSeek-R1-Distill-LLaMA-8B 等大推理模型的拒绝行为除残差流激活外还依赖思维链(CoT)。在固定 CoT 时激活引导仅能逆转 39% 的拒绝,移除 CoT 后升至 70%;两阶段干预下模型重新生成 CoT 时逆转率达 94%,且撤除引导后 CoT 单独保留 48% 的效果。
CLIPR(Conversational Learning for Inferring Preferences and Reasoning)框架将用户偏好表示为显式、紧凑的自然语言规则集,供 LLM 推理时做人本对齐决策,并在性能异常下降时向用户求证和修订规则。
一篇 arXiv 论文提出 Conformal Social Choice,一种后处理层,将多智能体辩论的 LLM 输出转化为经校准的“自主行动或上报人工”决策。
arXiv 论文指出,个性化对齐领域长期依赖奖励模型(RM)准确率选模型,但该指标与下游策略准确率仅弱相关(Kendall's tau = 0.08--0.31),无法预测奖励引导解码(RGD)的部署效果。
一篇 arXiv 论文提出用三步 NLP 评估加符号规划修正的流水线,细粒度衡量 LLM 生成规划的质量。实验发现 LLM 生成规划时缺乏逻辑推导或状态跟踪的明确证据:非空规划平均只有 3.55 个动作可执行,而符号生成的最优规划平均长度为 9.47 个动作,表明 LLM 作为长程规划器仍远不如符号规划器可靠。
研究者提出 GBClaw,一个用于研究一般晶界结构与变形的智能体 AI 框架,将 LLM 集成到由编排器、专用智能体、领域工具、模拟接口和分层记忆组成的模块化架构中。该框架通过动态重规划与迭代式工作流优化,对镍中 14 个一般非对称倾斜晶界进行界面缺陷结构表征,并识别出多种变形机制。对比有/无次级晶界错配位错的边界滑移发现剪切强度差异显著,后续计算还将异常高剪切阻力追溯到亚稳边界结构。