Adaptive Pullback:在 On-Policy Distillation 中对惩罚跳变处重加权监督
arXiv 论文提出 AP-OPD(Adaptive Pullback OPD),改进 on-policy distillation。作者通过对比同一 response 内相邻 token block 识别出 penalty jump——惩罚骤升且持续存在,同时 teacher 置信度下降,称其为 penalty-confidence tension。
arXiv 论文提出 AP-OPD(Adaptive Pullback OPD),改进 on-policy distillation。作者通过对比同一 response 内相邻 token block 识别出 penalty jump——惩罚骤升且持续存在,同时 teacher 置信度下降,称其为 penalty-confidence tension。
论文提出 CALM(Calibrated Allocation for Layer-Head Merging),针对自回归视频生成中的 token merging 压缩。
arXiv 论文(arXiv:2610.28184)提出推理型视觉-语言-行动(VLA)驾驶模型存在感知-行动绑定鸿沟:危险信息在模型中被编码,但对轨迹生成控制不足,纵向规划主要跟随自车速度历史,对危险距离和自身推理痕迹仅弱响应。
研究者提出 TEPCA 框架,在证据和参数两层对齐 LLM 与时序知识图谱推理。该框架引入时间约束的 DRGP 路径剪枝与基于互信息的剪枝保留时序连贯证据,并通过时间戳条件化的 DG-LoRA 动态调整低秩适配子空间。在两个 TKG 基准上取得 SOTA,DG-LoRA 在八个常识问答数据集上验证了通用性与可扩展性。
研究者发布 Africa-Papers,迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、101.5 亿 token、879 个 Parquet 分片,已在 Hugging Face Hub 的 AfriSpeech 组织下开源。
arXiv 论文提出一个工厂感知的 PLC 编程对话式 copilot,突破检索增强大语言模型一次性生成 Structured Text 代码的模式。系统新增三项能力:注入工厂特定上下文、以聊天为先的交互模型支持解释与调试、以及从对话到部署的分阶工具访问阶梯。系统面向真实工厂基础设施设计,确保工程师对每个产生实际效果的步骤保持控制,论文已被 2026 IEEE ETFA 会议接收。
研究者提出 LinADMG 框架,通过可识别表示学习为线性因果模型学习 ADMG(无环有向混合图),处理含隐混杂的因果发现问题。该方法不依赖非高斯性或 bow-freeness 等图约束,而是利用多域设定识别噪声变量;论文证明噪声变量的可识别性足以恢复所有直接因果关系,并在附加的 latent-confounding no-cancellation 条件下可识别整个 ADMG。
arXiv 论文提出 DirectWAM,通过动作充分蒸馏将级联世界-动作模型(WAM)中预训练的视频与动作专家转为单步预测器,去除扩散的随机采样迭代推理。该方法在 LIBERO 四个套件上取得 97.1% 平均成功率,在 RoboTwin 2.0 上达到 85.4%,超过同等单次评估预算下的 Flash-WAM,并扩展到三个真实世界任务。相比完整迭代教师模型,推理延迟降低 28.0 倍。
研究者提出 ClawMMU,一种针对有状态 LLM Agent 记忆的保护层,为每条来自网页或工具结果的记忆标注所有者、范围、来源与权限。它在内容进入模型上下文、写入存储、从存储读回或驱动工具调用时检查这些标签,核心规则是信息可以提升权限,但权限不能自行提升。由于检查只依赖内容来源而非内容本身,记忆攻击被转化为经典保护错误,即使模型被骗,harness 也能拦截。
研究者推出 BAIT(Bias Annotation In Text),用于检测新闻中的认知偏见触发因素,包含九类触发的标注规范和 50 篇由训练有素的标注者在文章与片段两级标注并裁定为金标准的英文新闻。
一篇 arXiv 论文提出,连续时间图学习应识别足以预测未来的低维状态,而非重构完整交互历史,并定义了可独立估计的内在预测维度。实验显示模型性能饱和主要由该维度决定。据此提出的轻量模型 PreDyG 仅用代表性复杂基线 0.07% 的参数即取得更优预测性能。
论文提出 MoDDiT,对 Diffusion Transformer(DiT)做简单架构改动,让 token 学习通过 MLP 和自注意力块路由,实现跨 token、图像和去噪时间步的动态算力分配。
PULSE 是一种事件驱动的个性化机会式学习框架,把设备间的每次相遇视为在线协作决策,仅在邻居梯度与本地学习方向兼容时才引入。在人类活动识别、跌倒检测和压力识别任务上,其相比机会式模型平均减少 80-94% 的同伴协作交换,同时保持或提升个性化分类性能。真机实验显示完整实现仅占 149.8 KiB RAM 和 561.8 KiB flash,peer-assisted 操作能耗有限。
一项 arXiv 研究测试八种模型在六种语言、最多 105 个道德情境上的 110 万条回答,考察不同引答与读答方式何时测得相同判断、何时测得答题习惯。结果显示 token 读法与句子读法的画像中位相关性仅 r = 0.67,而句子读法与自由句读法一致性达 0.94;去除语言共识后,48 个模型-语言组合中有 39 个在命题标签下最接近自身跨语言的画像。
一项 arXiv 研究审计了 Concept Bottleneck Models(CBM)与 Concept Embedding Models(CEM)在 CUB-200-2011 基准上的准确率来源。
一项研究提出因果、免训练的链接器,让冻结的流式 diarizer(如 Streaming Sortformer)在说话人数超过 N 个输出槽位时仍能区分说话人。
一项 arXiv 研究提出基于可解释性的框架,在 CUB-200 数据集上直接对比仅分类与描述生成两种监督训练得到的编码器表征。使用 attention rollout 与 gradient-weighted rollout 生成显著性图,并用涵盖忠实性与定位的五项指标评估。
arXiv 论文提出 On-Policy Transition Distillation(OPTD),在学生生成的 rollout 上对齐师生模型逐层 log-probability 增量,增强传统 on-policy distillation 的最终层分布匹配。
研究者提出 HuTact 框架,从大规模人手-物体交互(HOI)数据预训练触觉感知的手部表征,预训练阶段无需真实触觉信号。该框架可将人手动作中学到的交互结构迁移到机器人触觉观测,并能用少量无标签机器人交互数据继续适配。
ReCam 将历史潜变量的局部时空块分组并投影到 Diffusion Transformer 的高维隐空间中形成记忆 token,通过原生自注意力在压缩 token 数的同时保留对全部历史的块级访问;另引入双指针去噪,对近期上下文与目标帧采用分离噪声调度以抑制自回归漂移。