The Router Already Knows：Gemma 4 26B-A4B 上利用 MoE 路由选择指导稀疏字典学习
arXiv 论文提出 NR-SAE，让稀疏字典复用 Mixture-of-experts 模型中冻结 router 已有的专家选择，在 Gemma 4 26B-A4B 第 15 层、1000 万 C4 训练 token 和三个 seed 下验证。
#多模态
arXiv cs.AIAI 评分2929 arXiv cs.AIAI 评分4242 视觉语言模型研究揭示规模扩展的极限：子任务层面的反向缩放现象
一项 arXiv 研究系统证实视觉语言模型（VLM）在子任务层面存在反向缩放：同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准，共完成 558,334 次模型-问题评估，识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。
arXiv cs.AIAI 评分2424 通过隐状态引导控制视觉语言模型的位置披露粒度以保护隐私
一项 arXiv 研究提出推理时的 route-and-steer 框架，用于视觉语言模型（VLM）在地理定位披露中的视觉语境隐私问题：模型只应以与图像视觉语境相称的粒度透露位置信息。该方法先用序数粒度路由器从生成前隐状态判断合适的披露级别，再在解码时施加隐状态干预。在四个 VLM 骨干模型上，该方法改善了披露对齐、平衡了过度与不足披露，且对通用能力基准影响较小，并能迁移到另一分布不同的数据集。
arXiv cs.AIAI 评分3636 多模态基础模型在上下文驱动的类增量学习中的泛化研究
研究人员提出一个框架，将冻结的多模态基础模型泛化到视听类增量学习（CIL）中。该框架利用稠密音频与视觉表征，以音频表征作为任务稳定的上下文引导视觉表征，并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA，代码已开源，论文被 WACV 2027 接收。
arXiv cs.AIAI 评分3939 MMedAgent-Plus：跨模态、任务与工作流扩展多模态医疗智能体
研究团队推出多模态医疗工具调用智能体 MMedAgent-Plus，将视觉语言规划器与覆盖 12 种任务、8 种模态的 18 个专科模型结合，规划器基于来自 32 个公开医疗基准的 208,928 个样本进行指令微调。
arXiv cs.AIAI 评分3535 语言辅助监督视觉训练的泛化能力实证研究
一项发表于 Transactions on Machine Learning Research 的研究评估了预训练语言模型能否在不依赖图文配对数据、提示词工程或对比目标的情况下，为视觉训练提供轻量辅助监督。
arXiv cs.AIAI 评分3939 CARLAR 影响：多模态支票提取中的结构化幻觉风险与压缩图像干预探索
一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响：模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet，涵盖 243 张主支票和 598 个严格不匹配样本，GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%，CARLAR 案例的期望校准误差高达 0.93。
arXiv cs.AIAI 评分4444 视觉语言模型内部信号用于幻觉检测的鲁棒性分析
一项 NeurIPS 2026 评测与数据集 track 的研究系统分析了基于视觉语言模型（VLM）内部信号的幻觉检测方法的鲁棒性。研究发现，仅用生成词的 token 位置这一朴素基线即可取得有竞争力的性能，部分检测方法实际依赖 token 位置这一捷径，其强表现多来自检测语言层面的幻觉，视觉基础较弱，且对文本早期出现的幻觉鲁棒性下降。
arXiv cs.AIAI 评分2121 SZED 参与 ArGuard 共享任务：多任务标签注意力与跨模态融合检测阿拉伯语仇恨 meme
SZED 团队提交 ArGuard 2026 Track A 阿拉伯语仇恨 meme 检测方案，覆盖二分类（A1）与细粒度多标签标注（A2）两个子任务。A1 融合 MARBERTv2 与 CLIP ViT-L/14 嵌入，A2 采用带每类查询向量的多任务标签注意力架构及级联校准辅助头。最终 A1 macro-F1 为 0.7597，A2 为 0.3142（10 个活跃类平均）。
arXiv cs.AIAI 评分3737 UGA：不确定性门控梯度更新，推动广义少样本 3D 分割新 SOTA
arXiv 论文提出不确定性门控自适应框架 UGA，据称是首个将不确定性提升到更新级门控的广义少样本 3D 点云分割方法。其核心模块 UG-Update 通过合并支持样本与伪标签新类监督的类内离散度估计 episodic 可靠性，选择性地门控残差梯度更新，并配套 UB-Filter 过滤伪标签。
arXiv cs.AIAI 评分3636 PW-Pruning：面向语音中心全模态模型的相位感知专家剪枝方法
arXiv 论文提出 PW-Pruning，一种在 DO-ACP 基础上扩展的相位感知专家剪枝方法，为声学输入预填充和文本答案生成阶段分别构建重要性加权核，选出单一静态专家库。
arXiv cs.AIAI 评分3030 CoRAL：混合扩散-自回归框架突破多模态推理的顺序性瓶颈
一篇 arXiv 论文提出 CoRAL 混合框架，用非对称 Planner-Executor（APE）架构解决自回归模型的顺序性瓶颈：扩散语言模型 Planner 并行生成 K 条推理轨迹，大型自回归 Executor 选择最优方案并生成最终答案。
arXiv cs.AIAI 评分3535 AnomalyAgent：基于视觉语言模型的智能体集成视觉异常检测框架
研究者提出 AnomalyAgent，一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图，将融合建模为有限动作选择问题，并引入受约束的视觉语言模型（VLM）检查高冲突样本以选择有效的分数动作和图动作。在 MVTec AD 和 VisA 上，AnomalyAgent 取得对比融合方法中最佳的图像 AUROC 与像素 AP，并在多个额外异常基准上展现稳健的跨域迁移能力。
arXiv cs.AIAI 评分4444 DIVE 基准：评估连续流中带视觉参与的全双工交互
研究者推出 DIVE 基准，用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力，包含主动介入、持续参与和交互协调三大场景共六项任务，覆盖 525 个带精细人工标注的音视频样本。实验显示，主流实时模型平均响应延迟已低于 1 秒，但平均窗口响应率最高仅 53.77%，且根据新到达信息调整进行中回复仍然困难。
arXiv cs.AIAI 评分3636 ChartEvo：自进化 Agent 框架攻克长尾图表推理难题
研究者推出 ChartEvo，一个递归自我改进框架，通过经验驱动的 harness 级自我进化，让图表 Agent 适应表现不佳的长尾图表类型。该框架共同进化可复用的图表 Skills 与可执行 Tools，并学习可复用的局部工具调用链以控制推理开销。
arXiv cs.AIAI 评分3535 IECG：弱监督可解释增强心电图基础模型
研究者提出弱监督心电图基础模型 IECG，无需人工异常区域标注即可同时完成诊断分类和异常定位。其核心是弱监督注意力策略，利用临床知识生成异常热图伪标签，通过 KL 散度损失引导 CLS-token 注意力聚焦诊断相关波形区域；预训练阶段联合优化临床引导注意力监督、ECG-文本对比对齐和报告生成目标。
arXiv cs.AIAI 评分4242 多模态基础模型在日文金融文档上的分阶段持续适配研究
一项发表于 ICML 2026 持续适配研讨会的研究，对 8.4B 参数多模态模型在日文金融文档上进行了三阶段后训练追踪，并在五个文本输入基准上评测。结果显示各阶段相互作用呈非加性：仅数学的蒸馏会覆盖此前学到的金融知识但保留程序性数学技能，领域阶段修复多于新增；跳过阶段的消融虽最利于领域知识但损失数值推理收益，最佳 checkpoint 依赖任务而定。
arXiv cs.AIAI 评分1717 面向工业管道空化诊断的物理工况引导视觉-语言匹配方法 POC-VLM
研究者提出 POC-VLM 方法，将样本特定的物理运行工况变量融入候选空化文本语义，并通过时频条件文本适配与全局-局部视觉-语言匹配实现工业管道空化诊断。该方法还引入基于 K 近邻的非参数物理工况先验，在决策层与语义证据融合。在三个真实空化数据集上的实验显示，POC-VLM 持续优于代表性数据驱动、多模态及领域专用诊断方法，并在不同采样率、噪声水平和观测时长下保持稳健。
arXiv cs.AIAI 评分4242 给模型一根手指：从儿童计数发展视角评测视觉语言模型的计数能力
一项 arXiv 研究借鉴儿童借助手指点物学会计数的发展规律，用无智能的标注图像工具构建免训练 agent 循环，评测 9 个视觉语言模型在 682 张图片、7 种测试条件下的计数行为。
arXiv cs.AIAI 评分2828 复用多模态智能体：高效评估游戏中的声音设计
一篇 arXiv 论文提出用多模态学习与强化学习高效评估游戏声音设计的框架。该方法预训练将视觉与听觉信息编码到共享潜在空间的多模态编码器，再训练强化学习智能体；评估新声音设计时只微调编码器、固定策略，无需从头重训。在多类型游戏中对比仅用声音输入的盲智能体表现的实验显示，该法能检测出声音退化或改动导致的性能差异，并大幅降低计算成本，源代码与数据已开源。
arXiv cs.AIAI 评分4141 TriGeoBench：带图形与 TikZ 的多模态数学几何基准
研究者推出 TriGeoBench，一个基于中国初高中数学考试构建的几何多模态基准，包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形，覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战，人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。
arXiv cs.AIAI 评分2828 ProMemAgent：基于前瞻记忆与感知上下文的长时程主动助手
论文提出 ProMemAgent，首个引入前瞻记忆的主动式 LLM 智能体，可将自我中心视频、音频等感知信息组织为上下文感知记忆，在合适时机生成前瞻线索并主动推理是否需要协助。作者同时发布 CPMBench，首个面向感知上下文长时程主动辅助的评测基准，含 8 类日常场景共 1,000 个实例。实验显示 ProMemAgent 取得最优记忆检索性能，并在长时程主动辅助上超越所有基线。
arXiv cs.AIAI 评分3535 MoSAIK：基于 K 空间自洽性的脑部 MRI 运动伪影 AI 校正方法
研究者提出 MoSAIK，从标准多线圈 T2 加权 TSE 脑部 MRI 的 k 空间数据中回顾性估计刚体运动参数，无需无运动参考、外部导航或额外采集，并将预测参数融入运动感知的模型化重建。Transformer 编码器估计的旋转与平移误差 MSE 均低于 0.2，Pearson 相关约 0.96 和 0.94。所有在体采集中超过 75% 的切片相较未校正重建获得信息增益，同时保留解剖细节。
arXiv cs.AIAI 评分3737 EDMA：基于逻辑熵的多模态问答方法
研究者提出熵驱动的多模态问答方法 EDMA，将多模态问答形式化为逻辑熵逐步下降的迭代过程，量化每种模态对答案的贡献。方法包含模态条件划分、熵驱动的多模态融合和基于熵的答题轨迹选择。
arXiv cs.AIAI 评分3939 Omni-Woodpecker：通过证据-先验再平衡纠正 Omni LLM 幻觉
研究者提出免训练框架 Omni-Woodpecker（OWP），将 Omni LLM 的跨模态幻觉抑制从输出层操作转向表征层面的再平衡，通过正交分解分离隐藏状态中的接地证据与先验，并在解码前抑制误导性先验、恢复被忽略的证据。
arXiv cs.AIAI 评分3535 LightCRS：轻量级多域多模态对话式推荐系统
论文提出 LightCRS，一个轻量的查询条件式多域多模态对话推荐框架：离线用冻结编码器预计算商品表示，在线由 5.3M 参数模块通过跨域共享的 query-conditioned cross-attention 融合证据，并用候选间 Transformer 联合比较。
arXiv cs.AIAI 评分4040 MAMath-Bench：面向多智能体数学推理的过程感知鲁棒评测基准
研究者推出 MAMath-Bench，一个评估多智能体系统（MAS）多模态数学推理能力的过程感知基准，包含 1,003 道题，覆盖 11 个数学类别和文本、图像、音频等模态，并提供细粒度里程碑标注。评测发现：多智能体协作并不总能提升最终答案准确率；协作能扩大中间推理覆盖面但会增加推理冗余；现有系统仍易受对抗性推理错误影响，尤其是细微结构扰动。数据集已公开。
Hugging Face Daily PapersAI 评分3535 EvaOmni：一个证据锚定的音视频推理评测基准
EvaOmni 是一个证据锚定的音视频推理评测基准，包含 392 个视频和 1,027 条纯人工标注的问答对，覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
Hugging Face Daily PapersAI 评分4545 多模态重排序是一种 System One 决策
这篇立场论文提出，通用视觉语言模型（VLM）可通过 System One 决策直接充当多模态重排序器，无需专门训练：用一道选择题对第一阶段检索的 top 16 候选打分，从一次前向传播中读取各候选标签概率完成排序。
Hugging Face Daily PapersAI 评分3232 MMEnterprise-Bench：评估企业智能体处理演化多模态记录的能力
研究者推出 MMEnterprise-Bench 基准，包含 1,613 道基于模拟协作项目中演化多模态记录的问题，覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示，即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回，但不必然带来更高的答案准确率。
Hugging Face Daily PapersAI 评分4949 SolarRenderer：少步生成式参考渲染
SolarRenderer 是一种结构条件视频渲染器，通过两个轻量 LoRA 适配冻结的 MiniMax-H3 33B 骨干，将游戏引擎等粗略结构转为逼真视频。
Hugging Face Daily Papers精选AI 评分6161 Matrix-Game 4.0：用视频模型驱动实时可玩游戏世界
论文提出 Matrix-Game 4.0，通过可执行游戏框架将游戏执行与视觉生成分离，由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由：论文提出游戏执行与视觉生成分离的框架，并给出单卡 480p 60 FPS、112ms 延迟等实测指标，可帮助评估视频模型驱动可玩游戏世界的可行性。
Hugging Face Daily PapersAI 评分5050 VPM 论文提出通过点轨迹预测学习 4D 世界
Byungwoo Jeon 等人发布论文，提出 Video-Point Model（VPM），基于多视角视频历史和语言指令，联合预测任意视角的未来视频与场景持久点的 3D 轨迹。
Hugging Face Daily PapersAI 评分4242 S-Agent 2.0：用通用编码智能体做空间推理
研究者提出空间推理智能体 S-Agent 2.0，为现成的通用编码智能体配备命令行感知工具包，通过持久场景记忆帮助 VLM 补全证据闭环。
Hugging Face Daily PapersAI 评分5858 VLA 模型机制研究：激活注入可驱动 pi0.5 执行 99.6% 的目标任务轨迹
研究者开发可解释性管线研究 Vision-Language-Action 模型的内部计算，向动作专家注入任务 A 的激活可使 pi0.5 在 99.6% 的回合（n=1,968）执行任务 A 的运动轨迹，且该程序绑定绝对工作区坐标、忽略可见场景。
Hugging Face Daily PapersAI 评分4040 WorldStream：流式交互式 3D 世界模型，支持分层规划与持久状态
WorldStream 是一个开放式 3D 世界模型，具备三项能力：将可玩地形扩展到预设地图之外、响应运行中世界的开放语言指令、并按编辑记录恢复已访问地点。它用 Macro/Micro 分层规划器生成结构化决策，由确定性本地代码编译为地形、道路、聚落、植被和实体，单一世界记录保留规划、种子、对象身份与可变状态，支持有状态 NPC 交互。
Hugging Face Daily PapersAI 评分4444 Qwen-Audio-3.1-ASR 技术报告
阿里千问发布 Qwen-Audio-3.1-ASR 技术报告，这是在 Qwen-Audio-3.0-ASR 基础上改进语音识别并扩展说话人分离转录与通用音频理解能力的音频语言模型系列。
Hugging Face Daily PapersAI 评分3636 TRACE：用多模态临床轨迹建模进行住院风险预测
研究者提出 TRACE（多模态临床事件轨迹建模）框架，将 EHR 数据、胸片、放射报告和出院摘要按天级轨迹组织，用时间注意力编码并分离全局上下文与当日事件。在 MIMIC-IV、eICU 和 MIMIC-III 共近 180,000 次住院数据上，TRACE 在全部 9 个数据集-任务设置中取得最高 AUROC，其中 8 个取得最高 ACC，涵盖死亡率、住院时长和再入院预测任务。
Hugging Face Blog精选AI 评分7070 Apertus 1.5 发布：8B 与 70B 模型新增多模态与思考模式
Project Apertus 发布 Apertus 1.5，在 8B 和 70B 基础上以继续预训练方式加入图像和音频理解、可选思考模式，上下文窗口扩展至 262,144 tokens，模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。
推荐理由：官方发布说明完整公开了训练流程、数据与中间检查点，读者可据此了解开源多模态模型的全链路做法。
Hugging Face Blog精选AI 评分8484 Meta 发布开源权重多模态 MoE 模型 Muse Spark Open，约 816B 参数
Meta 发布开源权重多模态 MoE 模型 Muse Spark Open，总参数约 816B、每 token 激活约 42B，支持文本、图像、音频和视频输入，上下文窗口最高 1M tokens，定位为 agentic coding 模型。
推荐理由：原文给出架构细节、部署配方和实测吞吐数字，开发者可以据此评估如何在自己环境里运行或微调这个 816B 模型。