跳到正文
今天10月22日周四5 条
  1. 36氪 · AI33

    星忆智能获数千万元种子轮及种子+轮融资,凌云光、顺禧基金领投

    星忆智能宣布完成数千万元种子轮及种子+轮连续融资,种子轮由顺禧基金领投,种子+轮由凌云光领投,中关村资本、一创投资跟投。这家孵化于清华大学计算机系的公司聚焦第一人称手物交互数据,依托自研 EgoKit 多模态采集系统与 HBR Engine 智能数据引擎,将真实人类操作加工为可规模化交付的训练数据。资金将投入核心算法研发、真实世界多模态数据基础设施及商业化能力建设。

  2. Hugging Face Daily Papers43

    TraceForge:用学生模型自身风格生成推理轨迹做蒸馏

    TraceForge 提出一种蒸馏替代方案:在教师模型隐藏推理轨迹不可得时,以教师答案和上下文为输入,由生成器自行写出学生模型家族风格的推理轨迹,配合对抗训练的 critic 筛选。独立判官的真实性评分显示其轨迹平均 0.68,接近真实轨迹的 0.66,critic 筛选后达 0.82。在相同 5,000 题和教师答案下,HumanEval+ 提升 3.7 点、MBPP+ 提升 7.1 点。

  3. Hugging Face Daily Papers40

    ALLOT:按输出分配块稀疏注意力的免训练视频 Diffusion Transformer 加速方法

    研究提出 ALLOT,一种免训练的块稀疏注意力分配方法,用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元,通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献,并在实测延迟预算下联合优化单元密度。

10月21日周三
  1. arXiv cs.AI40

    MoEvolve:通过在线策略双向蒸馏增强 MoE 模型

    arXiv 论文提出 MoEvolve,一种针对 MoE 大语言模型的双向蒸馏框架,通过提高每 token 激活预算 exposing 潜在专家容量,先恢复并强化高 k 模型,再将能力反向蒸馏回原始低 k 配置。在多个 MoE 模型与基准上,MoEvolve 比初始模型最高提升 22.2 个领域平均分,比同等预算 RLVR 基线最高领先 6.5 分,最终低 k 模型常超过其激活扩展的教师模型。

  2. arXiv cs.AI49

    微调前呈线性可读的知识微调后才能泛化:arXiv 新研究解析语言模型的“活跃事实”

    一项 arXiv 研究区分了语言模型中的“活跃事实”与“惰性事实”:前者能支持超出自身召回的泛化,后者只能被召回。通过在既有关系上构造重标注新关系并微调模型,研究涵盖 11 个语言模型和 70 个关系,发现原始关系在预训练表征中的线性可读性强烈预测泛化能力,各模型内 Pearson r = 0.87 至 0.92,且在控制微调样本数、模型准确率、主题出现频率等因素后依然稳健。

  3. arXiv cs.AI40

    StepRS-GRPO:步进式风险敏感 GRPO 改进扩散语言模型推理

    研究者提出步进式风险敏感 GRPO(StepRS-GRPO),在扩散大语言模型(dLLM)的去噪状态间调整组优势变换的风险系数,且保留原有训练器。在多个 dLLM backbone 和数学推理基准上,该方法相较 centered GRPO 同时提升 pass@1 准确率与 pass@k 覆盖率,并增加答案多样性;消融实验中质量匹配对照与优势 RMS 对齐后增益依然成立。

  4. arXiv cs.AI44

    何时需要子群平衡?从潜在可分性预测微调性能敏感性

    一项 arXiv 研究提出“潜在分离假设”:微调模型对子群数据表示的依赖程度,取决于各子群在预训练模型潜在空间中的分离程度。作者对该假设进行形式化与理论分析,并在四个视觉和语言数据集上验证,还通过正则化实验提供了因果作用的初步证据。研究显示,对潜在子群分离的定量分析可指导微调基础模型时的数据收集与平衡决策。

  5. arXiv cs.AI35

    PALATE:用全期望定律提升深度生成模型评估效率的新框架

    PALATE 是一个针对 FLD(Feature Likelihood Divergence)计算效率瓶颈而提出的深度生成模型评估框架,基于对可访问数据随机变量全期望定律的特殊应用。它与 MMD 基线指标和 DINOv2 特征提取器结合后,表现达到或超过 SOTA 方法,同时计算效率更高、可扩展至大规模数据集,尤其在检测样本记忆化和评估泛化能力上实用。源代码作为补充材料提供。

  6. arXiv cs.AI45

    当激活转向被用作记忆时,什么能留存下来?

    一项研究用冻结 LLM 旁的无训练激活记忆检验“用户事实必须以文本存储”的假设:经验被存为后层状态的偏移,按会话要点的白化键索引。在 Qwen3.5-2B 与 9B 上的预注册实验显示,该记忆有选择性(约 98% 无关回复不受影响),但事实几乎不被使用(干净使用至多 15%,上下文内为 96-98%),且不减去相反参照时,存储的“不喜欢”会被召回为“喜欢”。

  7. arXiv cs.AI42

    非平稳性破坏多智能体强化学习中的置换替代检验:诊断与补救

    一项 arXiv 研究在两个多智能体强化学习游戏中检验信息论度量的报告规范,发现忽略非平稳训练暂态这一前提时,假阳性率高达 100.00% 和 99.95%。仅排除暂态后假阳性率降至 3.05% 和 11.8%,而推荐的分块内置换零模型在两个游戏中分别达到 5.25% 和 5.50%。代码与数据已公开。

  8. arXiv cs.AI35

    表格基础模型可以学习关联规则

    研究者提出模型无关的关联规则学习框架 TabProbe,将表格基础模型(TFM)用作条件概率估计器,无需频繁项集挖掘即可开箱提取关联规则。在多种规模的表格数据集上,该方法按标准 ARM 规则质量指标和下游分类性能评估,均生成简洁、高质量且预测性强的规则,并在低数据场景下无需任务特定训练仍保持稳健。代码已开源,扩展版发表于 TMLR。

  9. arXiv cs.AI35

    LeWi 学习计算结构以实现样本高效的预测

    研究者提出 Learned Wiring(LeWi),让每个神经元学习低维嵌入、只连接邻近神经元,并联合训练嵌入与权重,以利用目标的组合计算结构提升样本效率。在 32 个由独立采样计算图生成的目标上,LeWi 是未获得目标图方法中样本效率最高的,平均学习曲线面积比稠密网络低 27%。

  10. arXiv cs.AI19

    TPO:面向 OOD 直接偏好优化的三层分布鲁棒学习

    论文提出 TPO,一个三层分布鲁棒框架,用于 OOD 偏好对齐,联合建模组级、提示级和偏好级三层分布偏移的不确定性。该方法用 Wasserstein 距离实例化,得到包含闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权的可解目标,各层由独立半径控制。论文给出了有限样本收敛保证,并实证验证 TPO 优于现有鲁棒 DPO 方法,已被 NeurIPS 2026 接收。

  11. arXiv cs.AI44

    DPO 超参数 landscape 的形态:测量什么、如何随规模变化、何时不可迁移

    一项 arXiv 研究通过密集超参数网格实验,分析 DPO 最优超参数(学习率与参考策略正则化参数 β)如何随模型规模和更新步数变化。结果显示最优学习率随模型大小变化,超参数不可跨训练数据集迁移,且验证损失与下游 benchmark 最优超参数仅弱相关,需针对目标模型、数据集和评测目标单独调优。研究还表明短期候选训练可大幅降低选择成本,并已开源全部训练配置与评测结果。

  12. arXiv cs.AI43

    成对学习提升深度神经网络的数据效率

    一项 arXiv 研究提出成对比较框架,将回归问题重构为聚合的相对排序任务,提升小样本场景下的数据效率。在 UTKFace 数据集(23k 图像)上,成对学习生成超过十亿个训练比较,使从零训练的轻量 ResNet10 达到 3.64 年 MAE,超越含大规模预训练的模型。分类任务中,该方法在 STL10 的 500-2000 标注样本上比同配置 10-way 交叉熵模型准确率最高提升 5.2%。

  13. arXiv cs.AI56

    arXiv 论文:语料质量提升不等于检索收益,语音转 QA 管线预处理与精炼阶段消融

    Wonsup Shin 与 Jingu Kim 在 arXiv 发表论文,消融一条将会议语音转为问答对的语料生产管线。四个语料来自同样 40 场韩语医疗与金融会议,语料质量随处理阶段开启上升,四名 LLM 评审与六名人类专家排名一致,全精炼语料在 1-5 分制上分别领先 +0.18 和 +0.22。