CARLAR 影响:多模态支票提取中的结构化幻觉风险与压缩图像干预探索
一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响:模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet,涵盖 243 张主支票和 598 个严格不匹配样本,GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%,CARLAR 案例的期望校准误差高达 0.93。
一项 arXiv 研究揭示了多模态大语言模型在支票金额提取中的 CARLAR 影响:模型在大小写金额两个原本不同的字段返回相同数值。研究在十种视觉提示条件下评测 GPT-4.1 与 Claude 4.5 Sonnet,涵盖 243 张主支票和 598 个严格不匹配样本,GPT-4.1 在金额遮蔽下 CARLAR 率达 73.7%,CARLAR 案例的期望校准误差高达 0.93。
arXiv 论文发现,语言模型在单个提示词中组合多个任务时错误率显著上升,即使各任务单独都能可靠解决。研究指出其根源是“隐式思考预算”:组合时模型每任务使用的 token 少于单独执行,且远未耗尽上下文窗口,单独需要更长推理链的任务在组合下更脆弱,涵盖开源模型与 Claude Opus 5。按任务脆弱性分组可操纵隐式预算,在数学与语言任务上减少 43% token 用量并保持准确率。
研究者提出一种让摄像头机器人半自主完成 Shoebox Tasks 的方法:用视觉大语言模型将任务照片转换为 PDDL 表示并生成动作规划。系统在 Nao 机器人上实现了自主执行、提示下一步或以动作演示、语音和手势指出失败,无需教师编程,仅以拍摄的图像为输入,求解器可集成到多种教育机器人中。
研究者提出脚手架(inference-time harness)带来的能力提升能否通过蒸馏进入学生模型权重的问题,实验发现即使简单脚手架配小模型也显著优于蒸馏学生。
一篇 arXiv 论文指出,部署在移动和 IoT 边缘设备上的神经网络模型可能被解包暴露,攻击者在单台受感染设备上生成的对抗样本可迁移攻击共享同一模型的其他节点。
ICLHerd 是一个针对大语言模型训练的数据选择框架,针对传统余弦相似度方法导致选定数据过度聚集在开发集样本附近的模式寻求偏差,利用 von Mises-Fisher 核在模式寻求与模式平均之间取得平衡。该方法还引入 in-context learning 作为验证代理,以高效搜索平衡超参数。结果显示 ICLHerd 优于现有 LLM 数据选择算法。
研究人员提出一个自监督表示学习框架,以时间邻近性作为监督信号,从自由活动大鼠的运动轨迹中直接学习紧凑表示,无需人工定义行为状态或运动学特征。结果显示,短至一秒的轨迹就包含可预测身份和学习进度的信号:自我中心的姿态动态更能预测身份,而以环境为参照的运动更能预测学习相关变化,且两种信号在交替任务的决策节点处最强。团队还用表示条件扩散模型检视相关运动模式,代码已开源。
Ping Zhang 在 arXiv 论文(arXiv:2610.27139)中提出模型相对的状态定义:状态是系统在指定查询全集上的完整响应分布,对同一查询集响应一致的状态视为相同。论文区分预测(关注选定观测)与恢复(关注整体响应分布),并通过查询歧义、状态空间几何和预测目标选择考察二者关系,实验采用响应律已知的合成系统与神经记录数据,旨在阐明预测如何成为认识系统的方式。
一篇 arXiv 论文提出 BMO 方法,针对边缘设备部署中跨节点攻击的威胁,通过混淆模型参数使各设备模型的决策边界多样化。该方法基于零空间约束将参数分解为边界位置与边界曲率分量,向曲率分量注入噪声,同时保持良性准确率。在四类对抗攻击和四个主流端侧模型上,BMO 防御平均成功率达 68.68%,远超基线的 22.32%。
研究者提出 OptEP,一种基于连续松弛的后训练专家剪枝方法,通过可微专家选择变量和基于重构的权重更新,为 MoE 大语言模型保留最优专家子集。
研究人员提出 Joint Constraint Aggregation(JCA)方法,解决检索增强问答中错误答案因出现频繁且满足部分问题要求而被误选的问题。实验通过增加支持竞争答案的段落验证了这种检索偏斜确实影响模型决策,而 JCA 将候选答案与从问题中提取的全部要求进行对比。在三种评测设置和三个指令微调骨干模型上,JCA 提升了整体准确率,且在检索偏向竞争答案时优势更明显。
研究者提出 MEDIATOR,一种离散本体无关分词器,将任意临床概念文本映射到共享向量量化码本,无需人工映射或固定词表即可完成 EHR 数据统一。
一项 arXiv 研究检验英文构建的 LLM 流水线能否跨语言复用,覆盖支票抽取、九种语言的 Mintaka QA 及基于 SEC 10-K 财报的 FinanceBench 四语言试点(50 题)。
一项 NeurIPS 2026 评测与数据集 track 的研究系统分析了基于视觉语言模型(VLM)内部信号的幻觉检测方法的鲁棒性。研究发现,仅用生成词的 token 位置这一朴素基线即可取得有竞争力的性能,部分检测方法实际依赖 token 位置这一捷径,其强表现多来自检测语言层面的幻觉,视觉基础较弱,且对文本早期出现的幻觉鲁棒性下降。
BR-MoE 提出预算化语义发布机制,作为既有强化学习与混合专家框架的扩展,用于交通摄像头数据的隐私保护分析。方法由四个场景专家处理隔离的视频片段,输出映射到有界语义模式,强化学习控制器决定发布哪些专家摘要及隐私预算消耗,独立的隐私过滤器强制总预算约束。在片段隔离与有界事件假设下,完整发布文本满足事件级差分隐私界,并支持复用先前摘要而不新增披露。
一项 arXiv 研究发现,以往差分隐私(DP)审计在运行成员推断攻击(MIA)时普遍引入选择偏差,导致隐私泄露下界被高估、统计上无效。研究利用统计学工具提出多种校正方法并比较其优劣,对已有审计结果重新分析后发现:不做校正时,审计违反理论上界的频率最高达声称置信度所隐含水平的 4 倍;校正后下界统计有效,违反率不超过名义水平。
一项 arXiv 研究提出 Activation-Space Exploration(ASE),一种在线多样化训练 rollout 的方法:通过聚类正确与错误响应的激活差异,构建潜在探索向量库,引导后续 rollout 探索不同推理路径。
研究者提出层次化结构感知框架 HierDTA,用于药物-靶点亲和力(DTA)预测。该框架将药物表示为原子-基序异构图,把激酶域结构转为残基交互图,并用 cross-attention 融合分子指纹与预训练 ESM-2 嵌入。HierDTA 在 Davis 数据集各项指标上超越 SOTA,KIBA 上最高 r_m² 达 0.791,未见蛋白质场景下 MSE 降低 21.7%。
研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。
研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。