TraceForge：用学生模型自身风格生成推理轨迹做蒸馏
TraceForge 提出一种蒸馏替代方案：在教师模型隐藏推理轨迹不可得时，以教师答案和上下文为输入，由生成器自行写出学生模型家族风格的推理轨迹，配合对抗训练的 critic 筛选。独立判官的真实性评分显示其轨迹平均 0.68，接近真实轨迹的 0.66，critic 筛选后达 0.82。在相同 5,000 题和教师答案下，HumanEval+ 提升 3.7 点、MBPP+ 提升 7.1 点。
#数据/训练
Hugging Face Daily PapersAI 评分4343 Hugging Face Daily PapersAI 评分4141 Harness Scaling：面向可泛化智能体强化学习的新扩展维度
一项研究提出 Harness Scaling，把智能体强化学习的训练从单一固定 harness 扩展到多样化执行配置，通过因子化 harness 空间和均衡因子覆盖选取紧凑训练子集。
Hugging Face Daily PapersAI 评分4040 ALLOT：按输出分配块稀疏注意力的免训练视频 Diffusion Transformer 加速方法
研究提出 ALLOT，一种免训练的块稀疏注意力分配方法，用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元，通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献，并在实测延迟预算下联合优化单元密度。
arXiv cs.AIAI 评分4040 MoEvolve：通过在线策略双向蒸馏增强 MoE 模型
arXiv 论文提出 MoEvolve，一种针对 MoE 大语言模型的双向蒸馏框架，通过提高每 token 激活预算 exposing 潜在专家容量，先恢复并强化高 k 模型，再将能力反向蒸馏回原始低 k 配置。在多个 MoE 模型与基准上，MoEvolve 比初始模型最高提升 22.2 个领域平均分，比同等预算 RLVR 基线最高领先 6.5 分，最终低 k 模型常超过其激活扩展的教师模型。
arXiv cs.AIAI 评分3838 Batched Contextual Reinforcement II：RLVR 真的需要长 rollout 窗口吗？
作为 BCR 的技术延续，论文提出 Concurrent Constraint Reinforcement（CCR），在单个封顶训练补全中放入三个可独立验证的数学题，让截断前完成的正确答案保留奖励，从而摆脱 RLVR 对长 rollout 窗口的依赖。
arXiv cs.AIAI 评分4949 微调前呈线性可读的知识微调后才能泛化：arXiv 新研究解析语言模型的“活跃事实”
一项 arXiv 研究区分了语言模型中的“活跃事实”与“惰性事实”：前者能支持超出自身召回的泛化，后者只能被召回。通过在既有关系上构造重标注新关系并微调模型，研究涵盖 11 个语言模型和 70 个关系，发现原始关系在预训练表征中的线性可读性强烈预测泛化能力，各模型内 Pearson r = 0.87 至 0.92，且在控制微调样本数、模型准确率、主题出现频率等因素后依然稳健。
arXiv cs.AIAI 评分4848 免训练 On-Policy 蒸馏：前向传播即可融合多个专家模型
一项 arXiv 研究提出"免训练 on-policy 蒸馏"：仅用前向传播，无需梯度训练，即可把多个独立微调的专家模型能力融合进一个学生模型，平均精度超过任一单独专家。
arXiv cs.AIAI 评分4343 在线策略蒸馏必须完成每条 rollout 吗？STOPD 提出随机截断加速方案
STOPD（Stochastic Truncated On-Policy Distillation）通过随机截断学生 rollout 并用分块逆概率加权（IPW）修正采样偏差，加速在线策略蒸馏（OPD）。
arXiv cs.AIAI 评分2828 arXiv 论文提出 Δ-MOPD：蒸馏每位教师学到的东西用于多教师 on-policy 学习
arXiv 论文提出 Δ-MOPD，在多教师 on-policy 蒸馏（MOPD）中不再迁移教师的端点策略，而是迁移“教师减基座”的 logit 偏移并重新锚定在学生模型的冻结初始化上，以剔除教师从其基座模型继承的偏好。
arXiv cs.AIAI 评分4040 StepRS-GRPO：步进式风险敏感 GRPO 改进扩散语言模型推理
研究者提出步进式风险敏感 GRPO（StepRS-GRPO），在扩散大语言模型（dLLM）的去噪状态间调整组优势变换的风险系数，且保留原有训练器。在多个 dLLM backbone 和数学推理基准上，该方法相较 centered GRPO 同时提升 pass@1 准确率与 pass@k 覆盖率，并增加答案多样性；消融实验中质量匹配对照与优势 RMS 对齐后增益依然成立。
arXiv cs.AIAI 评分4949 S³：谱零空间交换让推理大语言模型更高效
论文提出训练-free 的模型组合方法 S³（Spectral Null-Space Swap）：将 Non-thinking 模型保留在其主导子空间内、把 Thinking checkpoint 置于其外，从而提升推理效率。
arXiv cs.AIAI 评分3939 ROSS：通过选择性监督从自生成 rollout 中再学习
论文提出 ROSS（Relearning from Self-Generated Rollouts through Selective Supervision），保留完整历史轨迹作为上下文，仅对选定的模型生成内容施加损失，实现从自生成 rollout 中再学习。
arXiv cs.AIAI 评分3838 二值化拉平分数空间：LLM 裁判奖励为何应保留至少三个等级
一篇入选 NeurIPS 2026 JUDGe workshop 的论文分析 LLM 裁判奖励被压成 0/1 二值后的盲区：通过/不通过判定允许任意仿射拉伸而不改变任何判定结果。
arXiv cs.AIAI 评分4747 大语言模型预训练中的知识获取：辅助视图让学习更有效
arXiv 论文（被 EMNLP 2026 Findings 接收）通过控制实验发现，预训练中的“辅助视图”，即对知识的概念化改写，是大语言模型学习知识的关键。
arXiv cs.AIAI 评分3838 CHIMERA：用于泛化 LLM 推理的紧凑合成数据集
研究者推出 CHIMERA，一个包含 9K 样本的合成推理数据集，由先进推理模型生成长 CoT 轨迹，覆盖 8 大科学学科和超过 1K 细粒度主题，并用全自动评估流水线交叉验证题目与答案，免除人工标注。
arXiv cs.AIAI 评分4545 激活敏感度作为后训练量化统一原理的研究
一项 arXiv 研究证明，AWQ、GPTQ 及对角 Fisher 量化、分块重建、Hadamard 旋转等后训练量化方法，都是最小化同一个由梯度加权激活敏感度决定的二次型的特例。
arXiv cs.AIAI 评分4444 何时需要子群平衡？从潜在可分性预测微调性能敏感性
一项 arXiv 研究提出“潜在分离假设”：微调模型对子群数据表示的依赖程度，取决于各子群在预训练模型潜在空间中的分离程度。作者对该假设进行形式化与理论分析，并在四个视觉和语言数据集上验证，还通过正则化实验提供了因果作用的初步证据。研究显示，对潜在子群分离的定量分析可指导微调基础模型时的数据收集与平衡决策。
arXiv cs.AIAI 评分5050 CLP-SNN：在 Intel Loihi 2 上实现在线持续学习的脉冲神经网络
研究者提出 CLP-SNN，将 Continually Learning Prototypes 算法重构为事件驱动的脉冲神经网络，并部署在 Intel Loihi 2 芯片上，成为该芯片上首个在线持续学习器。
arXiv cs.AIAI 评分3535 PALATE：用全期望定律提升深度生成模型评估效率的新框架
PALATE 是一个针对 FLD（Feature Likelihood Divergence）计算效率瓶颈而提出的深度生成模型评估框架，基于对可访问数据随机变量全期望定律的特殊应用。它与 MMD 基线指标和 DINOv2 特征提取器结合后，表现达到或超过 SOTA 方法，同时计算效率更高、可扩展至大规模数据集，尤其在检测样本记忆化和评估泛化能力上实用。源代码作为补充材料提供。
arXiv cs.AIAI 评分3131 AI 韧性、数据极简学习与最优控制的熵视角分析
Illia Horenko 在 arXiv 论文中提出用熵优化的视角量化 AI 韧性与鲁棒性，证明对抗攻击全局最优性与唯一性的可廉价验证数学条件。
arXiv cs.AIAI 评分4545 当激活转向被用作记忆时，什么能留存下来？
一项研究用冻结 LLM 旁的无训练激活记忆检验“用户事实必须以文本存储”的假设：经验被存为后层状态的偏移，按会话要点的白化键索引。在 Qwen3.5-2B 与 9B 上的预注册实验显示，该记忆有选择性（约 98% 无关回复不受影响），但事实几乎不被使用（干净使用至多 15%，上下文内为 96-98%），且不减去相反参照时，存储的“不喜欢”会被召回为“喜欢”。
arXiv cs.AIAI 评分4141 LoRA 的秩到底买到了什么？一项谱与分布视角的低秩适应分析
一项 arXiv 研究分析 LoRA 中秩 r 的作用，证明在硬性逐因子范数预算（实践中权重衰减的理想化）下，秩并不控制模型容量：可达更新恰为核范数球内秩不超过 r 的矩阵，而各复杂度与位移泛函均由秩一更新取得最大值，线性读出模型类与 Rademacher 复杂度均与 r 无关。
arXiv cs.AIAI 评分3636 PTD-PO：面向多模态策略优化的特权提示蒸馏框架
论文提出 PTD-PO（Privileged Tutoring Distillation Policy Optimization），一种面向 LVLM 的 RLVR 训练框架，在不向学生策略暴露答案的前提下提供密集监督。
arXiv cs.AIAI 评分4242 非平稳性破坏多智能体强化学习中的置换替代检验：诊断与补救
一项 arXiv 研究在两个多智能体强化学习游戏中检验信息论度量的报告规范，发现忽略非平稳训练暂态这一前提时，假阳性率高达 100.00% 和 99.95%。仅排除暂态后假阳性率降至 3.05% 和 11.8%，而推荐的分块内置换零模型在两个游戏中分别达到 5.25% 和 5.50%。代码与数据已公开。
arXiv cs.AIAI 评分3535 表格基础模型可以学习关联规则
研究者提出模型无关的关联规则学习框架 TabProbe，将表格基础模型（TFM）用作条件概率估计器，无需频繁项集挖掘即可开箱提取关联规则。在多种规模的表格数据集上，该方法按标准 ARM 规则质量指标和下游分类性能评估，均生成简洁、高质量且预测性强的规则，并在低数据场景下无需任务特定训练仍保持稳健。代码已开源，扩展版发表于 TMLR。
arXiv cs.AIAI 评分4545 个性化对齐中的奖励模型选择危机：奖励模型准确率无法预测部署表现
arXiv 论文指出，个性化对齐领域长期依赖奖励模型（RM）准确率选模型，但该指标与下游策略准确率仅弱相关（Kendall's tau = 0.08--0.31），无法预测奖励引导解码（RGD）的部署效果。
arXiv cs.AIAI 评分5252 arXiv 论文提出 R2S：修复教师打分器的奖励无关智能体在策略蒸馏方法
Shu Zhao 和 Tan Yu 在 arXiv 论文（arXiv:2610.28586）中提出 R2S（Rollout-to-Scorer Distillation），认为智能体在策略蒸馏（OPD）的失效源于下一 token 打分的短视而非复合误差，并将其命名为 rollout-scorer gap。
arXiv cs.AIAI 评分3838 LLM 何时有助于特征选择？一项系统性实证研究
一项系统性实证研究在 18 个数据集框架（10 个 GRPO 训练、2 个验证、6 个留出评估）上，比较五种经典基线、冻结的 Qwen2.5-7B 与 Llama-3.3-70B 选择器及两个 GRPO 适配的 Qwen2.5-7B 模型。
arXiv cs.AIAI 评分3535 LeWi 学习计算结构以实现样本高效的预测
研究者提出 Learned Wiring（LeWi），让每个神经元学习低维嵌入、只连接邻近神经元，并联合训练嵌入与权重，以利用目标的组合计算结构提升样本效率。在 32 个由独立采样计算图生成的目标上，LeWi 是未获得目标图方法中样本效率最高的，平均学习曲线面积比稠密网络低 27%。
arXiv cs.AIAI 评分1919 TPO：面向 OOD 直接偏好优化的三层分布鲁棒学习
论文提出 TPO，一个三层分布鲁棒框架，用于 OOD 偏好对齐，联合建模组级、提示级和偏好级三层分布偏移的不确定性。该方法用 Wasserstein 距离实例化，得到包含闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权的可解目标，各层由独立半径控制。论文给出了有限样本收敛保证，并实证验证 TPO 优于现有鲁棒 DPO 方法，已被 NeurIPS 2026 接收。
arXiv cs.AIAI 评分4444 Africa-Papers：面向非洲基础模型的 100 亿 token 多领域学术语料库
研究者发布 Africa-Papers，迄今最大的多领域泛非学术预训练语料库，包含 844,807 篇全文论文、101.5 亿 token、879 个 Parquet 分片，已在 Hugging Face Hub 的 AfriSpeech 组织下开源。
arXiv cs.AIAI 评分3636 从复杂历史到简单预测器：动态图学习中的预测维度
一篇 arXiv 论文提出，连续时间图学习应识别足以预测未来的低维状态，而非重构完整交互历史，并定义了可独立估计的内在预测维度。实验显示模型性能饱和主要由该维度决定。据此提出的轻量模型 PreDyG 仅用代表性复杂基线 0.07% 的参数即取得更优预测性能。
arXiv cs.AIAI 评分3838 On-Policy Transition Distillation（OPTD）：层间预测迁移监督提升模型蒸馏效果
arXiv 论文提出 On-Policy Transition Distillation（OPTD），在学生生成的 rollout 上对齐师生模型逐层 log-probability 增量，增强传统 on-policy distillation 的最终层分布匹配。
arXiv cs.AIAI 评分4444 DPO 超参数 landscape 的形态：测量什么、如何随规模变化、何时不可迁移
一项 arXiv 研究通过密集超参数网格实验，分析 DPO 最优超参数（学习率与参考策略正则化参数 β）如何随模型规模和更新步数变化。结果显示最优学习率随模型大小变化，超参数不可跨训练数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关，需针对目标模型、数据集和评测目标单独调优。研究还表明短期候选训练可大幅降低选择成本，并已开源全部训练配置与评测结果。
arXiv cs.AIAI 评分4343 成对学习提升深度神经网络的数据效率
一项 arXiv 研究提出成对比较框架，将回归问题重构为聚合的相对排序任务，提升小样本场景下的数据效率。在 UTKFace 数据集（23k 图像）上，成对学习生成超过十亿个训练比较，使从零训练的轻量 ResNet10 达到 3.64 年 MAE，超越含大规模预训练的模型。分类任务中，该方法在 STL10 的 500-2000 标注样本上比同配置 10-way 交叉熵模型准确率最高提升 5.2%。
arXiv cs.AIAI 评分5656 arXiv 论文：语料质量提升不等于检索收益，语音转 QA 管线预处理与精炼阶段消融
Wonsup Shin 与 Jingu Kim 在 arXiv 发表论文，消融一条将会议语音转为问答对的语料生产管线。四个语料来自同样 40 场韩语医疗与金融会议，语料质量随处理阶段开启上升，四名 LLM 评审与六名人类专家排名一致，全精炼语料在 1-5 分制上分别领先 +0.18 和 +0.22。
arXiv cs.AIAI 评分5454 单头戴相机方案实现无电子元件 UMI 手套数据采集
论文提出用单个头戴相机（122 美元）配合无电子元件手套（22 美元）和工作区纸码，替代腕部相机、位姿追踪器及多数据流同步，得到 6.5 毫米与 1.6 度中位精度的 6-DoF 标签。
arXiv cs.AIAI 评分4040 重复数据下随机 token 替换的收益与成本：基于已知熵的分解及十个真实语料证据
arXiv 论文提出一种将验证损失分解为近似、估计与记忆三项的方法，并在熵率闭式已知的受控数据源上分析随机 token 替换这一数据增强手段。结果显示，替换把预测向语料均值收缩，在有助之处可减少损失过最小点后约 60% 的上升；在韩文和日文网页文本上约消除三分之一。在十个真实语料中，替换降低其中九个的最终损失，仅在最冗余的程序生成 JSON 人口普查语料上有害。
arXiv cs.AIAI 评分4545 RSD：基于特权回溯蒸馏的自进化智能体框架
arXiv 论文提出回溯自蒸馏（RSD）框架，利用特权回溯上下文将智能体自身轨迹转化为密集监督信号，同一模型兼任学生与教师，无需真值轨迹或验证器奖励即可实现自我进化。在 ALFWorld、ScienceWorld 和 SearchQA 上，Qwen3-8B 与 Qwen3-14B 性能较基模型最高提升 59.7%；结合前沿模型引导的上下文-策略进化，较固定上下文策略再提升最高 44.7%。
arXiv cs.AIAI 评分5252 arXiv 论文提出基于 Prompt 进化的免训练多模态预测持续学习方法
论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt，实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上，held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898，且预测器知识截止早于所有评测窗口以防数据泄漏。