多模态基础模型在上下文驱动的类增量学习中的泛化研究
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
研究人员提出一个框架,将冻结的多模态基础模型泛化到视听类增量学习(CIL)中。该框架利用稠密音频与视觉表征,以音频表征作为任务稳定的上下文引导视觉表征,并结合特征级与 logit 级蒸馏缓解灾难性遗忘。在多个视听 CIL 基准上该方法持续优于 SOTA,代码已开源,论文被 WACV 2027 接收。
一项覆盖 14 种语言的大规模研究发现,一种语言的仇恨言论检测训练数据能否有效迁移到另一语言,取决于语言对组合,其中语言相似性是最强的预测因素,时间重叠和数据集规模差异影响较小。可量化因素无法完全解释迁移模式,定性分析提示共享文化线索与交际规范可能与部分剩余情况相关,但仅作为假设。研究覆盖低资源语言,为构建多语言仇恨检测系统提供了实践参考。
arXiv 论文提出 VPFlow,一种用价值预测代替精确状态预测进行规划的离线目标条件强化学习方法,其潜空间世界模型以目标达成价值为唯一监督,配合单步流策略在噪声空间用进化搜索规划。
研究者在此前提出的 Locksmith Loop 确定性验证方法基础上,提出通过 entry-replay 测试用例认证生成合成端到端测试、提升分支与段落覆盖率的新方法。
一项 arXiv 研究提出符号化偏好标注(Symbolic Preference Labeling)方法:用预训练语言模型对 prompt 与回复的预定义属性分类,再由显式规则和固定判定排序生成偏好标签,且每条标签可从存储的属性、规则和排序复算,无需重跑模型。
JetBrains Research 撰文介绍其定理证明器 Arend,该语言基于带 cubical 语法的同伦类型论变体,比完全可计算的 cubical 类型论更贴近 Martin-Löf 类型论(MLTT),面向单价基础下的数学形式化,侧重构造性数学。
一项被 EMNLP Findings 接收的研究分析了 8 个 6.7B–15B 参数的代码模型,基于 DELTASECOMMITS、SVEN 和 PRECISE-BUGS 三个 C 语言数据集进行线性探测。
研究者提出 ValiAssist,一种“示范即验证”系统,从教师对 AI 生成编程反馈的修改中推断可复用的验证逻辑,并支持教师在其他学生提交上检查和细化该逻辑。在 16 名教师的对比研究中,系统帮助产出的反馈与教学意图的一致率达 91%(对照 57%),修正问题标准的准确率提升一倍以上(77% 对 32%)。
一项 arXiv 研究提出迭代编辑基于来源的种子提示词的方法,以暴露目标大语言模型的幻觉。实验覆盖来自 7 个数据集、10 个主题的 500 个种子,在基线配置下,针对外在与内在幻觉的测试中分别有 77.2% 和 74.2% 的回答落入评审的强幻觉区间。
研究团队发布 AutoRedClaw,一个自动生成端到端攻击及配套环境的红队框架,针对带配置文件、长期记忆和技能的 claw 式智能体的持久化威胁。
研究团队推出多模态医疗工具调用智能体 MMedAgent-Plus,将视觉语言规划器与覆盖 12 种任务、8 种模态的 18 个专科模型结合,规划器基于来自 32 个公开医疗基准的 208,928 个样本进行指令微调。
arXiv 论文提出 Profile-DP,一种面向个性化 LLM 推理中用户资料发布的策略感知本地差分隐私框架,可证明性地约束用户未授权信息的泄露。论文给出两个有限域机制:独立扰动受保护属性的 DP-SLOT 和基于公共语义决策联合采样的 DP-BLOCK。
一项发表于 Transactions on Machine Learning Research 的研究评估了预训练语言模型能否在不依赖图文配对数据、提示词工程或对比目标的情况下,为视觉训练提供轻量辅助监督。
研究者推出 LoWAgent 基准,用于评测 Web Agent 在低资源语言(印地语、孟加拉语、乌尔都语、阿姆哈拉语)与英语下的表现,包含 6 个完全本地化的网站、5 种语言共 3,000 个任务实例。
一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响:模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet,涵盖 243 张主支票和 598 个严格不匹配样本,GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%,CARLAR 案例的期望校准误差高达 0.93。
arXiv 论文发现,语言模型在单个提示词中组合多个任务时错误率显著上升,即使各任务单独都能可靠解决。研究指出其根源是“隐式思考预算”:组合时模型每任务使用的 token 少于单独执行,且远未耗尽上下文窗口,单独需要更长推理链的任务在组合下更脆弱,涵盖开源模型与 Claude Opus 5。按任务脆弱性分组可操纵隐式预算,在数学与语言任务上减少 43% token 用量并保持准确率。
研究者提出一种让摄像头机器人半自主完成 Shoebox Tasks 的方法:用视觉大语言模型将任务照片转换为 PDDL 表示并生成动作规划。系统在 Nao 机器人上实现了自主执行、提示下一步或以动作演示、语音和手势指出失败,无需教师编程,仅以拍摄的图像为输入,求解器可集成到多种教育机器人中。
研究者提出脚手架(inference-time harness)带来的能力提升能否通过蒸馏进入学生模型权重的问题,实验发现即使简单脚手架配小模型也显著优于蒸馏学生。
一篇 arXiv 论文指出,部署在移动和 IoT 边缘设备上的神经网络模型可能被解包暴露,攻击者在单台受感染设备上生成的对抗样本可迁移攻击共享同一模型的其他节点。
ICLHerd 是一个针对大语言模型训练的数据选择框架,针对传统余弦相似度方法导致选定数据过度聚集在开发集样本附近的模式寻求偏差,利用 von Mises-Fisher 核在模式寻求与模式平均之间取得平衡。该方法还引入 in-context learning 作为验证代理,以高效搜索平衡超参数。结果显示 ICLHerd 优于现有 LLM 数据选择算法。
研究人员提出一个自监督表示学习框架,以时间邻近性作为监督信号,从自由活动大鼠的运动轨迹中直接学习紧凑表示,无需人工定义行为状态或运动学特征。结果显示,短至一秒的轨迹就包含可预测身份和学习进度的信号:自我中心的姿态动态更能预测身份,而以环境为参照的运动更能预测学习相关变化,且两种信号在交替任务的决策节点处最强。团队还用表示条件扩散模型检视相关运动模式,代码已开源。
Ping Zhang 在 arXiv 论文(arXiv:2610.27139)中提出模型相对的状态定义:状态是系统在指定查询全集上的完整响应分布,对同一查询集响应一致的状态视为相同。论文区分预测(关注选定观测)与恢复(关注整体响应分布),并通过查询歧义、状态空间几何和预测目标选择考察二者关系,实验采用响应律已知的合成系统与神经记录数据,旨在阐明预测如何成为认识系统的方式。
一篇 arXiv 论文提出 BMO 方法,针对边缘设备部署中跨节点攻击的威胁,通过混淆模型参数使各设备模型的决策边界多样化。该方法基于零空间约束将参数分解为边界位置与边界曲率分量,向曲率分量注入噪声,同时保持良性准确率。在四类对抗攻击和四个主流端侧模型上,BMO 防御平均成功率达 68.68%,远超基线的 22.32%。
研究者提出 OptEP,一种基于连续松弛的后训练专家剪枝方法,通过可微专家选择变量和基于重构的权重更新,为 MoE 大语言模型保留最优专家子集。
研究人员提出 Joint Constraint Aggregation(JCA)方法,解决检索增强问答中错误答案因出现频繁且满足部分问题要求而被误选的问题。实验通过增加支持竞争答案的段落验证了这种检索偏斜确实影响模型决策,而 JCA 将候选答案与从问题中提取的全部要求进行对比。在三种评测设置和三个指令微调骨干模型上,JCA 提升了整体准确率,且在检索偏向竞争答案时优势更明显。
研究者提出 MEDIATOR,一种离散本体无关分词器,将任意临床概念文本映射到共享向量量化码本,无需人工映射或固定词表即可完成 EHR 数据统一。
一项 arXiv 研究检验英文构建的 LLM 流水线能否跨语言复用,覆盖支票抽取、九种语言的 Mintaka QA 及基于 SEC 10-K 财报的 FinanceBench 四语言试点(50 题)。
一项 NeurIPS 2026 评测与数据集 track 的研究系统分析了基于视觉语言模型(VLM)内部信号的幻觉检测方法的鲁棒性。研究发现,仅用生成词的 token 位置这一朴素基线即可取得有竞争力的性能,部分检测方法实际依赖 token 位置这一捷径,其强表现多来自检测语言层面的幻觉,视觉基础较弱,且对文本早期出现的幻觉鲁棒性下降。
BR-MoE 提出预算化语义发布机制,作为既有强化学习与混合专家框架的扩展,用于交通摄像头数据的隐私保护分析。方法由四个场景专家处理隔离的视频片段,输出映射到有界语义模式,强化学习控制器决定发布哪些专家摘要及隐私预算消耗,独立的隐私过滤器强制总预算约束。在片段隔离与有界事件假设下,完整发布文本满足事件级差分隐私界,并支持复用先前摘要而不新增披露。
一项 arXiv 研究发现,以往差分隐私(DP)审计在运行成员推断攻击(MIA)时普遍引入选择偏差,导致隐私泄露下界被高估、统计上无效。研究利用统计学工具提出多种校正方法并比较其优劣,对已有审计结果重新分析后发现:不做校正时,审计违反理论上界的频率最高达声称置信度所隐含水平的 4 倍;校正后下界统计有效,违反率不超过名义水平。
一项 arXiv 研究提出 Activation-Space Exploration(ASE),一种在线多样化训练 rollout 的方法:通过聚类正确与错误响应的激活差异,构建潜在探索向量库,引导后续 rollout 探索不同推理路径。
研究者提出层次化结构感知框架 HierDTA,用于药物-靶点亲和力(DTA)预测。该框架将药物表示为原子-基序异构图,把激酶域结构转为残基交互图,并用 cross-attention 融合分子指纹与预训练 ESM-2 嵌入。HierDTA 在 Davis 数据集各项指标上超越 SOTA,KIBA 上最高 r_m² 达 0.791,未见蛋白质场景下 MSE 降低 21.7%。
研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。
研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。
论文提出动态双反馈共形推理方法 DDCI,用于时间序列预测的不确定性量化,并被 NeurIPS 2026 接收。该方法在传统基于真实标签覆盖情况的实际反馈之外,引入基于 oracle 共形方法经验阈值的估计反馈,抑制区间过度扩张或收缩。两种信号平衡后,DDCI 在保持接近名义覆盖率的同时,可获得更稳定、更窄的预测区间。
SZED 团队提交 ArGuard 2026 Track A 阿拉伯语仇恨 meme 检测方案,覆盖二分类(A1)与细粒度多标签标注(A2)两个子任务。A1 融合 MARBERTv2 与 CLIP ViT-L/14 嵌入,A2 采用带每类查询向量的多任务标签注意力架构及级联校准辅助头。最终 A1 macro-F1 为 0.7597,A2 为 0.3142(10 个活跃类平均)。
研究者发布 FoundPDE,一个将离散时空轨迹映射为符号化 PDE 的预训练 data-to-symbol 基础模型,基于 Transformer 架构并采用 Fourier 与一阶空间导数增广。
一项 arXiv 研究提出能力感知多教师 on-policy 蒸馏方法 CA-MOPD,先将强化学习专家模型合并为学生初始化,再用验证器估计的师生能力差距动态调整各领域蒸馏强度。在数学、代码生成和指令跟随共六项 benchmark 上,CA-MOPD 平均得分 32.22,分别超过 naive MOPD、Open-MOPD 和合并初始化基线 0.86、0.83 和 0.74 分。
arXiv 论文提出 GRaSP,一种无需重训练的重排序层,通过按延迟衰减相关性得分并可选加入成本惩罚来优化地理分布式 RAG 检索。
一项 arXiv 研究考察干预历史是否会让 AI 智能体在后续任务中更擅长绕过 defer-to-trusted(DtT)防御,实验基于 ControlArena 的 IaC 和 SHADE-Arena 两个测试环境。