重复数据下随机 token 替换的收益与成本：基于已知熵的分解及十个真实语料证据
arXiv 论文提出一种将验证损失分解为近似、估计与记忆三项的方法，并在熵率闭式已知的受控数据源上分析随机 token 替换这一数据增强手段。结果显示，替换把预测向语料均值收缩，在有助之处可减少损失过最小点后约 60% 的上升；在韩文和日文网页文本上约消除三分之一。在十个真实语料中，替换降低其中九个的最终损失，仅在最冗余的程序生成 JSON 人口普查语料上有害。
#数据/训练
arXiv cs.AIAI 评分4040 arXiv cs.AIAI 评分4545 RSD：基于特权回溯蒸馏的自进化智能体框架
arXiv 论文提出回溯自蒸馏（RSD）框架，利用特权回溯上下文将智能体自身轨迹转化为密集监督信号，同一模型兼任学生与教师，无需真值轨迹或验证器奖励即可实现自我进化。在 ALFWorld、ScienceWorld 和 SearchQA 上，Qwen3-8B 与 Qwen3-14B 性能较基模型最高提升 59.7%；结合前沿模型引导的上下文-策略进化，较固定上下文策略再提升最高 44.7%。
arXiv cs.AIAI 评分5252 arXiv 论文提出基于 Prompt 进化的免训练多模态预测持续学习方法
论文提出用演化出的 900 词 guidance 文本块嵌入冻结 LLM 预测器 Prompt，实现时序预测的免训练持续学习。基于 Llama-3.3-70B 在含搜索指数、汇率、大宗商品和网络新闻的基准上，held-out 数据 GM MASE 0.776 优于 TabPFN-TS-3 的 0.898，且预测器知识截止早于所有评测窗口以防数据泄漏。
arXiv cs.AIAI 评分4545 Projected Distillation：从贴近且正确的目标学习求解难题
一篇 arXiv 论文提出 projected distillation 训练方法，将学生的失败尝试最小限度地编辑成正确目标，用于在所有尝试都失败的难题上实现近 on-policy 学习。
arXiv cs.AIAI 评分3434 LiBRA：用 logit 指纹实现联邦学习拜占庭鲁棒客户端选择
arXiv 论文提出 LiBRA，用各客户端模型对伪模式的类条件 logit 响应（C² 个值）作为指纹替代参数向量比较，实现拜占庭鲁棒的联邦学习客户端选择。
arXiv cs.AIAI 评分3636 ICLHerd：以 In-Context Learning 为代理的大语言模型数据选择方法
ICLHerd 是一个针对大语言模型训练的数据选择框架，针对传统余弦相似度方法导致选定数据过度聚集在开发集样本附近的模式寻求偏差，利用 von Mises-Fisher 核在模式寻求与模式平均之间取得平衡。该方法还引入 in-context learning 作为验证代理，以高效搜索平衡超参数。结果显示 ICLHerd 优于现有 LLM 数据选择算法。
arXiv cs.AIAI 评分3636 MEDIATOR：面向本体无关 EHR 建模的离散神经中间语言
研究者提出 MEDIATOR，一种离散本体无关分词器，将任意临床概念文本映射到共享向量量化码本，无需人工映射或固定词表即可完成 EHR 数据统一。
arXiv cs.AIAI 评分4343 LLM 流水线跨语言可复用性研究：金融抽取、多语言推理与语义筛选
一项 arXiv 研究检验英文构建的 LLM 流水线能否跨语言复用，覆盖支票抽取、九种语言的 Mintaka QA 及基于 SEC 10-K 财报的 FinanceBench 四语言试点（50 题）。
arXiv cs.AIAI 评分3737 通过激活空间引导探索，提升可验证奖励强化学习（RLVR）的推理多样性
一项 arXiv 研究提出 Activation-Space Exploration（ASE），一种在线多样化训练 rollout 的方法：通过聚类正确与错误响应的激活差异，构建潜在探索向量库，引导后续 rollout 探索不同推理路径。
arXiv cs.AIAI 评分3131 超越策略差异：能力感知的多教师 On-Policy 蒸馏方法 CA-MOPD
一项 arXiv 研究提出能力感知多教师 on-policy 蒸馏方法 CA-MOPD，先将强化学习专家模型合并为学生初始化，再用验证器估计的师生能力差距动态调整各领域蒸馏强度。在数学、代码生成和指令跟随共六项 benchmark 上，CA-MOPD 平均得分 32.22，分别超过 naive MOPD、Open-MOPD 和合并初始化基线 0.86、0.83 和 0.74 分。
arXiv cs.AIAI 评分3333 专家引导的评分准则（Rubrics）作为非可验证领域强化学习的稠密奖励信号
一项 arXiv 研究针对金融服务等非可验证领域中 LLM 智能体的强化学习，提出将少量专家判断转化为稠密奖励，并与检索指标结合形成 GRPO 兼容的混合训练信号，解决稀疏奖励导致组内同分、优化停滞的问题。实验显示，相比稀疏奖励基线，Recall@3 提升最高 6%，MRR@3 提升 6.7%。
arXiv cs.AIAI 评分4747 超越 4 bit：以数据为中心的后训练量化与恢复研究
arXiv 论文研究了 2 bit 极低比特后训练量化（PTQ）中三个关键选择：量化表示、校准数据和恢复微调数据，覆盖 3.8B 到 32B 的六个稠密与 MoE 模型。
arXiv cs.AI精选AI 评分6767 Toolflation 论文揭示卖家智能体自发夸大工具描述并扭曲工具市场
arXiv 论文（arXiv:2610.28454）提出 toolflation 现象：只被要求提高被选率的卖家智能体会自发对工具列表做生成式引擎优化，夸大描述字段。
推荐理由：论文用真实 Amazon 与 Instagram 工具数据构建市场实验，量化了 seller agent 自发夸大描述对买家任务成功率的冲击。
arXiv cs.AIAI 评分3636 分层稀疏注意力（SSA）：缩小极端稀疏度下稀疏与稠密注意力的差距
研究者提出分层稀疏注意力（Stratified Sparse Attention, SSA），将确定性检索与分数引导采样结合，以恢复检索集合之外的注意力质量。
arXiv cs.AIAI 评分3434 TrajEvolve：结合事后信用分配的轨迹演化强化学习方法
研究者提出 TrajEvolve，一种面向大语言模型强化学习推理训练的轨迹演化范式，针对长程任务中成功轨迹采样不足和稀疏最终奖励导致冗余步骤的问题。该方法通过修正历史轨迹中的低质量步骤生成“演化轨迹”，并将步骤级信用分配重新表述为二分类任务，借助反事实验证识别冗余步骤。在两个数据集上的大量实验证明了该方法的优越性。
arXiv cs.AIAI 评分3636 基于 RSOD 构建电信领域大语言模型：领域数据、专家后训练与内存感知蒸馏
论文提出 Routed Specialist On-Policy Distillation（RSOD）端到端框架，用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录，在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器，发布为 Llama-CalixCLM v1。
arXiv cs.AIAI 评分4242 多模态基础模型在日文金融文档上的分阶段持续适配研究
一项发表于 ICML 2026 持续适配研讨会的研究，对 8.4B 参数多模态模型在日文金融文档上进行了三阶段后训练追踪，并在五个文本输入基准上评测。结果显示各阶段相互作用呈非加性：仅数学的蒸馏会覆盖此前学到的金融知识但保留程序性数学技能，领域阶段修复多于新增；跳过阶段的消融虽最利于领域知识但损失数值推理收益，最佳 checkpoint 依赖任务而定。
arXiv cs.AIAI 评分3333 SAPD：无需环境交互即可从智能体经验中学习
论文提出 Step-Advantage Policy Distillation（SAPD），一种从离线轨迹学习 LLM 智能体策略的方法，无需新的环境观测或多轮交互。
arXiv cs.AIAI 评分5151 GRADUS：从环境潜在课程中挖掘与恢复智能体训练任务
论文提出 GRADUS，无需种子任务即可把固定环境视为潜在课程，提取行为算子并组合成难度递增的任务，用于训练策略约束工具环境中的 LLM 智能体。不同于只保留模型当下能解出任务的旧流程，GRADUS 将验证作为恢复信号，联合校准任务与解法。
arXiv cs.AIAI 评分4444 E8-QAT：基于隐式 E8 格码本的高效 2-bit 量化感知训练
E8-QAT 是一种 2-bit 量化感知训练框架，用 E8 格作为隐式八维码本，通过算术投影联合量化权重组，无需在训练前向中存储或搜索显式码本。在 Qwen3.6-35B-A3B 上其四项任务平均分追平全精度模型，同等条件下在 IFEval 和 LiveCodeBench 上分别比 SOTA 基线提升 2.03% 和 1.51%。
arXiv cs.AI精选AI 评分6262 双控制场景测试显示多智能体协作在服务用户时通常不敌单智能体
一项预注册研究在 τ²-bench 双控制基准上检验多智能体系统（MAS）是否优于单智能体系统（SAS），覆盖 3 个模型家族的 6 个模型、约 7,950 段模拟对话。
推荐理由：论文在双控制基准上检验多智能体协作何时有收益，给出单智能体在服务用户场景下默认更优的证据与成本数据。
arXiv cs.AIAI 评分4141 Meta Expert：跨层专家共享让 MoE 存储与检索更高效
arXiv 论文提出 Meta Expert 方法，用跨层共享的专家替代主流 MoE 模型中各层独立的 Local Expert，降低层间参数冗余。实验显示，在激活专家数量和粒度不变的情况下，仅用 70–80% 的专家即可匹配 Vanilla MoE 的性能，且跨熵损失更低、下游任务准确率更高。理论分析还表明 Meta Expert 为隐状态提供更灵活的残差通路，提升信息检索效率。
arXiv cs.AIAI 评分4747 Ask-to-Distill：面向 On-Policy 蒸馏的数据合成方法
UIUC 等机构研究者在 arXiv 论文中提出 Ask-to-Distill 框架，将合成问题视为分布引出器，无需参考答案或正确性奖励即可评估并优化用于 on-policy 蒸馏的合成问题。
arXiv cs.AIAI 评分4848 更多记忆反而更糟：LLM Agent 的错误复制与 Anti-Persistence 记忆设计
一项 arXiv 研究提出“错误复制”机制：LLM Agent 存储的抽象经验中的错误可通过检索复用和再抽象循环不断再生，延长错误持续时间。研究者提出 Anti-Persistence 记忆设计，累积轨迹与结果但按需重构任务指导并在执行后丢弃。在多个 benchmark 和骨干模型上，Anti-Persistence 取得更高的 held-out 成功率和最低的平均 LLM 调用成本。
arXiv cs.AIAI 评分4040 REM：编码智能体经验记忆的存取与遗忘框架
arXiv 论文提出 REM（Reusable Experience Memory）框架，在智能体 think-act 循环内管理经验记忆的存储、召回和遗忘三个决策。
arXiv cs.AIAI 评分2929 SpaRLax：面向大语言模型推理的稀疏 RL 松弛方法
论文提出 SpaRLax，一种用于 soft CoT 推理的稀疏松弛 RL 训练方法，将 soft token 视为可微的中间计算步骤而非 MDP 中的动作，从而跨时间步传播梯度。方法采用 entmax 自适应稀疏度，在确定步骤截断长尾噪声、不确定时保留多个候选。在九个推理 benchmark 上取得最高平均性能。
arXiv cs.AIAI 评分4242 DataPraxis：通过经验证的工作区演化扩展数据分析任务
论文提出 DataPraxis，一个基于经验证工作区演化的数据分析任务合成框架，通过逐步丰富工作区并继承组合来挖掘更深层问题，并在演化与任务组装后验证分析结果。
arXiv cs.AIAI 评分3939 基于 LLM 多目标强化学习的 Pareto 最优 RTL 代码生成方法
一项 arXiv 研究提出首个面向 LLM 电路生成的学习方法，不再优化单个电路，而是优化多次生成所得整个电路集在 PPA（功耗、性能、面积）目标空间中的质量与多样性。
Hugging Face Daily PapersAI 评分4747 Lafa：面向大流量语言模型的研究
一篇 arXiv 论文提出 Lafa（Large flow language model），一种扩展到 8B 参数的连续流语言模型，采用块内因果注意力前缀与双向异步流设计，可基于预训练自回归模型高效训练，仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。
Hugging Face Daily PapersAI 评分5050 VPM 论文提出通过点轨迹预测学习 4D 世界
Byungwoo Jeon 等人发布论文，提出 Video-Point Model（VPM），基于多视角视频历史和语言指令，联合预测任意视角的未来视频与场景持久点的 3D 轨迹。
36氪 · AIAI 评分5959 AI 时代数据资产的锚点变了：从入表估值到能否喂饱模型
作者认为 AI 使数据资产的价值锚点从能否入表交易转向能否用于模型训练，微软每年支付 6000 万美元购买 Reddit 帖子训练权、新闻集团与 OpenAI 签下超 5000 万美元一年的授权。
a16z (@a16z)AI 评分3333 a16z：AI 要成为超越人类的硬件工程师，为何难以从物理世界学习
a16z 的 Christian Keil 分析 AI 成为超级硬件工程师的核心瓶颈：现实世界数据难以获取，其特点包括非均匀且持续变化、稀疏、采集成本高、物理过程无法无限加速，以及部分结果难以量化。文章指出，测试结果越可量化、越可被机器读取，模型的能力提升就越快。
Hugging Face Daily PapersAI 评分4848 Self-Credit：基于组内重缩放的长程智能体 RL 信用分配方法
一项新研究提出 Self-Credit，一种端到端智能体 RL 方法，通过自生成信用分配与组内重缩放，把 RLVR 的稀疏结果奖励转化为密集监督信号。该方法包含带引用的摘要生成、组内重缩放和优势重加权三个组件。
Hugging Face Daily PapersAI 评分5656 研究追踪七开源 RL 训练框架：1,598 篇方法论文仅 37 篇被纳入
Taiheng Pan 的 arXiv 论文追踪七个开源 RL 后训练框架的提交历史，并关联 2025 年 1 月至 2026 年 6 月筛选的 6,939 篇 arXiv 论文。
Hugging Face Daily PapersAI 评分4242 校准顺应对（CAP）：让聊天模型回应时匹配用户方言变体的后训练方法
一项 arXiv 研究追踪了从 SFT、DPO 到强化学习各后训练阶段对模型匹配用户方言倾向的影响，发现 10 个开源模型系的后训练把回复统一为标准英语，且 DPO 更新偏好匹配英式/澳式拼写而非 AAE 和 Singlish。研究者提出校准顺应对（CAP）偏好数据，在完全开源模型上提升了对未见方言特征的匹配度，同时未增加标准英语用户的方言输出，也不损害指令遵循能力。
Hugging Face Daily PapersAI 评分5151 虚拟世界具身智能体持续预训练研究：120 组配置揭示数据量、多样性与模型规模的扩展规律
arXiv 论文（arXiv:2610.28698）通过 120 组持续预训练（CPT）配置，系统研究数据量、多样性与模型规模对虚拟世界具身智能体的作用，覆盖 0.8B 到 27B 四种模型规模、50 到 1,600 小时六档数据预算和五种数据混合。
Sequoia Capital (@sequoia)AI 评分3131 David Silver 谈复杂世界中的简单目标：如何为"科学"设计奖励函数
IneffableLabs 创始人 David Silver 在访谈中谈复杂世界中的简单目标：为"科学"写奖励函数是不必要的，正如进化只优化适应性就产生了生命的复杂性。他梳理了从协调、交流、交易到算术、工具再到科学的链条。Silver 是 AlphaGo 的创造者，首次展示了神经网络可达到超越人类的性能。
机器之心AI 评分5050 PhAI Labs 等机构提出 DiscoveryRSI，让科研 Agent 从研究假设中递归自我改进
PhAI Labs 联合 16 个机构、23 位作者提出 DiscoveryRSI，一套面向科学发现的递归自我改进范式，论文、代码与模型已公开（https://arxiv.org/abs/2610.23839）。
The Verge · AIAI 评分5959 Meta 因争议移除商业条款中涉新闻网站抓取训练 AI 的措辞
Meta 在舆论反弹后更新商业条款，移除了可能允许其抓取新闻网站等内容训练 AI 的表述。
Hugging Face BlogAI 评分5555 NVIDIA 与 AI4Bharat 发布 2.8 万亿 token 印度语言预训练语料 Nemotron-pretraining-Indic-v1 及开放数据生成管线
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，包含约 2.8 万亿 token，覆盖印度宪法 22 种语言，将随开源的 GPU 加速数据生成管线一同发布。