CountVideoBench:评估视频语言模型物体计数预测偏差的新基准
研究者推出 CountVideoBench,包含 2,600 段合成视频、覆盖 [5, 50] 区间 26 个基数(各 100 段),用于诊断视频语言模型的物体计数偏差。
研究者推出 CountVideoBench,包含 2,600 段合成视频、覆盖 [5, 50] 区间 26 个基数(各 100 段),用于诊断视频语言模型的物体计数偏差。
研究者提出 RayCo4D,一种用于单目 4D 动态重建的射线条件连续运动模型,将视觉测量与潜在 3D 运动状态显式分离。该方法通过白噪声加速度过程先验实现连续时间插值,并借助双四元数混合将共享运动传递到高斯基元。实验显示其在快速运动与不完整轨迹下提升了结构与时间一致性,支持连续时间渲染,新视角合成质量具有竞争力。
研究者提出门控知识引导原型迁移方法 GProtoT,作为免训练求解器 SS-Text+ 的前置斥力模块,利用 VLM 相似度与基于本体的临床距离,将已支持类别的视觉残差迁移到无标注支持样本的低流行类别。
研究者提出 ABACUS,一个针对指令式图像编辑模型数值编辑能力的基准,用于评估模型在保持场景不变的前提下增、删或改变指定数量对象的能力。该协议无需 VLM 打分,基于 panoptic 真值和检测器共识在实例级验证编辑结果。对主流图像编辑模型的评测显示,数值编辑失败随场景复杂度和对象数量增加而显著加剧。
arXiv 论文提出 VGL-stGen,一个从预训练医学视觉-语言模型适配而来的多模态大语言模型,使用配对的肺 H&E 病理图像与空间转录组学数据及单细胞参考进行训练。单一部署检查点支持 13 项评测任务,涵盖组织与细胞类型分类、基因预测及基于病理、细胞身份和观测表达的条件表达补全。实验表明正确配对的病理图像能提供超越观测表达之外的信息。
研究者提出 PI-MLLM,一种心理物理学启发的多模态大语言模型,用于 Oddly Satisfying(解压向)视频情感分析(OSVEA),并构建了含 12,000 条标注 5 秒片段的 OSVD 数据集。
该研究提出面向南非食品包装照片 R3337 草案标准的区域引导证据提取与弃权式筛查流程,先用三类检测器定位营养成分表、配料表和产品标识区域,再以 PaddleOCR 和结构化提取恢复证据并按确定性规则判定,证据不全时弃权。
一项 arXiv 研究测试八种模型在六种语言、最多 105 个道德情境上的 110 万条回答,考察不同引答与读答方式何时测得相同判断、何时测得答题习惯。结果显示 token 读法与句子读法的画像中位相关性仅 r = 0.67,而句子读法与自由句读法一致性达 0.94;去除语言共识后,48 个模型-语言组合中有 39 个在命题标签下最接近自身跨语言的画像。
一项 arXiv 研究提出基于可解释性的框架,在 CUB-200 数据集上直接对比仅分类与描述生成两种监督训练得到的编码器表征。使用 attention rollout 与 gradient-weighted rollout 生成显著性图,并用涵盖忠实性与定位的五项指标评估。
RLSplat 是一种资源线性的预算可控前馈 3D Gaussian Splatting(FF3DGS)框架,使表示大小、推理延迟和峰值内存随 Gaussian 预算减少而线性下降。
研究者提出 AudiPsy,一个面向口语咨询对话抑郁评估的证据驱动 omni-LLM。其采用 Observation-Assessment-Summary(OAS)范式,整合对话转录、文本与声学情绪及情绪不一致性进行结构化推理,并构建了带多模态上下文增强的合成语料库 AudiPsy-Counsel 与三阶段课程训练。
研究者提出 AnomalyJev,一个轻量级框架,通过从多模态 LLM 生成的图像异常解释中提取可验证声明并与真值标注比对,来评估其忠实性与完整性,无需生成 token。
arXiv 论文提出 Less-is-More CIR,一个免训练的两阶段零样本组合图像检索(ZS-CIR)框架,结合简洁检索与 Critic 重排序。第一阶段只保留最具判别力的修改语义生成简洁目标描述,减少语义噪声;第二阶段从修改一致性和参考图保留度两个角度对候选图像重排序。实验验证了该框架的有效性与鲁棒性,代码已开源。
一篇 arXiv 论文提出无监督预训练视觉-语言模型(PVLM)适配框架,结合基于预测边际的渐进子集选择与级联一致性学习:先用类平衡的可靠伪标签锚点起步,再用弱增强视图的时间平滑教师预测监督强增强视图的学生预测,并做置信度过滤。
一篇 arXiv 论文提出 EmbGA,一种在 token 嵌入空间中执行交叉与变异的遗传算法,用于恢复文生图模型生成图像中存在、但提示词未提及的隐藏概念。该方法把子代投影回离散 token 序列后再评分,克服了梯度方法需反向访问编码器、语言模型引导搜索每次候选需一次推理调用的局限。
arXiv 论文提出 NR-SAE,让稀疏字典复用 Mixture-of-experts 模型中冻结 router 已有的专家选择,在 Gemma 4 26B-A4B 第 15 层、1000 万 C4 训练 token 和三个 seed 下验证。
一项 arXiv 研究系统证实视觉语言模型(VLM)在子任务层面存在反向缩放:同一模型家族中更大模型在特定问题类别上表现不如小模型。研究评估 4 个模型家族的 19 个模型、8 个多模态基准,共完成 558,334 次模型-问题评估,识别出 375 个反向缩放的子任务-模型对组合、4,342 个大模型答错而小模型答对的独特查询。
一项 arXiv 研究提出推理时的 route-and-steer 框架,用于视觉语言模型(VLM)在地理定位披露中的视觉语境隐私问题:模型只应以与图像视觉语境相称的粒度透露位置信息。该方法先用序数粒度路由器从生成前隐状态判断合适的披露级别,再在解码时施加隐状态干预。在四个 VLM 骨干模型上,该方法改善了披露对齐、平衡了过度与不足披露,且对通用能力基准影响较小,并能迁移到另一分布不同的数据集。
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
研究团队推出多模态医疗工具调用智能体 MMedAgent-Plus,将视觉语言规划器与覆盖 12 种任务、8 种模态的 18 个专科模型结合,规划器基于来自 32 个公开医疗基准的 208,928 个样本进行指令微调。
一项发表于 Transactions on Machine Learning Research 的研究评估了预训练语言模型能否在不依赖图文配对数据、提示词工程或对比目标的情况下,为视觉训练提供轻量辅助监督。
一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响:模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet,涵盖 243 张主支票和 598 个严格不匹配样本,GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%,CARLAR 案例的期望校准误差高达 0.93。
一项 NeurIPS 2026 评测与数据集 track 的研究系统分析了基于视觉语言模型(VLM)内部信号的幻觉检测方法的鲁棒性。研究发现,仅用生成词的 token 位置这一朴素基线即可取得有竞争力的性能,部分检测方法实际依赖 token 位置这一捷径,其强表现多来自检测语言层面的幻觉,视觉基础较弱,且对文本早期出现的幻觉鲁棒性下降。
SZED 团队提交 ArGuard 2026 Track A 阿拉伯语仇恨 meme 检测方案,覆盖二分类(A1)与细粒度多标签标注(A2)两个子任务。A1 融合 MARBERTv2 与 CLIP ViT-L/14 嵌入,A2 采用带每类查询向量的多任务标签注意力架构及级联校准辅助头。最终 A1 macro-F1 为 0.7597,A2 为 0.3142(10 个活跃类平均)。
arXiv 论文提出不确定性门控自适应框架 UGA,据称是首个将不确定性提升到更新级门控的广义少样本 3D 点云分割方法。其核心模块 UG-Update 通过合并支持样本与伪标签新类监督的类内离散度估计 episodic 可靠性,选择性地门控残差梯度更新,并配套 UB-Filter 过滤伪标签。
arXiv 论文提出 PW-Pruning,一种在 DO-ACP 基础上扩展的相位感知专家剪枝方法,为声学输入预填充和文本答案生成阶段分别构建重要性加权核,选出单一静态专家库。
一篇 arXiv 论文提出 CoRAL 混合框架,用非对称 Planner-Executor(APE)架构解决自回归模型的顺序性瓶颈:扩散语言模型 Planner 并行生成 K 条推理轨迹,大型自回归 Executor 选择最优方案并生成最终答案。
研究者提出 AnomalyAgent,一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图,将融合建模为有限动作选择问题,并引入受约束的视觉语言模型(VLM)检查高冲突样本以选择有效的分数动作和图动作。在 MVTec AD 和 VisA 上,AnomalyAgent 取得对比融合方法中最佳的图像 AUROC 与像素 AP,并在多个额外异常基准上展现稳健的跨域迁移能力。
研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。
研究者推出 ChartEvo,一个递归自我改进框架,通过经验驱动的 harness 级自我进化,让图表 Agent 适应表现不佳的长尾图表类型。该框架共同进化可复用的图表 Skills 与可执行 Tools,并学习可复用的局部工具调用链以控制推理开销。
研究者提出弱监督心电图基础模型 IECG,无需人工异常区域标注即可同时完成诊断分类和异常定位。其核心是弱监督注意力策略,利用临床知识生成异常热图伪标签,通过 KL 散度损失引导 CLS-token 注意力聚焦诊断相关波形区域;预训练阶段联合优化临床引导注意力监督、ECG-文本对比对齐和报告生成目标。
一项发表于 ICML 2026 持续适配研讨会的研究,对 8.4B 参数多模态模型在日文金融文档上进行了三阶段后训练追踪,并在五个文本输入基准上评测。结果显示各阶段相互作用呈非加性:仅数学的蒸馏会覆盖此前学到的金融知识但保留程序性数学技能,领域阶段修复多于新增;跳过阶段的消融虽最利于领域知识但损失数值推理收益,最佳 checkpoint 依赖任务而定。
研究者提出 POC-VLM 方法,将样本特定的物理运行工况变量融入候选空化文本语义,并通过时频条件文本适配与全局-局部视觉-语言匹配实现工业管道空化诊断。该方法还引入基于 K 近邻的非参数物理工况先验,在决策层与语义证据融合。在三个真实空化数据集上的实验显示,POC-VLM 持续优于代表性数据驱动、多模态及领域专用诊断方法,并在不同采样率、噪声水平和观测时长下保持稳健。
一项 arXiv 研究借鉴儿童借助手指点物学会计数的发展规律,用无智能的标注图像工具构建免训练 agent 循环,评测 9 个视觉语言模型在 682 张图片、7 种测试条件下的计数行为。
一篇 arXiv 论文提出用多模态学习与强化学习高效评估游戏声音设计的框架。该方法预训练将视觉与听觉信息编码到共享潜在空间的多模态编码器,再训练强化学习智能体;评估新声音设计时只微调编码器、固定策略,无需从头重训。在多类型游戏中对比仅用声音输入的盲智能体表现的实验显示,该法能检测出声音退化或改动导致的性能差异,并大幅降低计算成本,源代码与数据已开源。
研究者推出 TriGeoBench,一个基于中国初高中数学考试构建的几何多模态基准,包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形,覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战,人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。
论文提出 ProMemAgent,首个引入前瞻记忆的主动式 LLM 智能体,可将自我中心视频、音频等感知信息组织为上下文感知记忆,在合适时机生成前瞻线索并主动推理是否需要协助。作者同时发布 CPMBench,首个面向感知上下文长时程主动辅助的评测基准,含 8 类日常场景共 1,000 个实例。实验显示 ProMemAgent 取得最优记忆检索性能,并在长时程主动辅助上超越所有基线。
研究者提出 MoSAIK,从标准多线圈 T2 加权 TSE 脑部 MRI 的 k 空间数据中回顾性估计刚体运动参数,无需无运动参考、外部导航或额外采集,并将预测参数融入运动感知的模型化重建。Transformer 编码器估计的旋转与平移误差 MSE 均低于 0.2,Pearson 相关约 0.96 和 0.94。所有在体采集中超过 75% 的切片相较未校正重建获得信息增益,同时保留解剖细节。
研究者提出熵驱动的多模态问答方法 EDMA,将多模态问答形式化为逻辑熵逐步下降的迭代过程,量化每种模态对答案的贡献。方法包含模态条件划分、熵驱动的多模态融合和基于熵的答题轨迹选择。
研究者提出免训练框架 Omni-Woodpecker(OWP),将 Omni LLM 的跨模态幻觉抑制从输出层操作转向表征层面的再平衡,通过正交分解分离隐藏状态中的接地证据与先验,并在解码前抑制误导性先验、恢复被忽略的证据。