arXiv 论文用计算复杂度分离解释脚手架为何难以通过训练内化
研究者提出脚手架(inference-time harness)带来的能力提升能否通过蒸馏进入学生模型权重的问题,实验发现即使简单脚手架配小模型也显著优于蒸馏学生。
研究者提出脚手架(inference-time harness)带来的能力提升能否通过蒸馏进入学生模型权重的问题,实验发现即使简单脚手架配小模型也显著优于蒸馏学生。
一篇 arXiv 论文指出,部署在移动和 IoT 边缘设备上的神经网络模型可能被解包暴露,攻击者在单台受感染设备上生成的对抗样本可迁移攻击共享同一模型的其他节点。
ICLHerd 是一个针对大语言模型训练的数据选择框架,针对传统余弦相似度方法导致选定数据过度聚集在开发集样本附近的模式寻求偏差,利用 von Mises-Fisher 核在模式寻求与模式平均之间取得平衡。该方法还引入 in-context learning 作为验证代理,以高效搜索平衡超参数。结果显示 ICLHerd 优于现有 LLM 数据选择算法。
研究人员提出一个自监督表示学习框架,以时间邻近性作为监督信号,从自由活动大鼠的运动轨迹中直接学习紧凑表示,无需人工定义行为状态或运动学特征。结果显示,短至一秒的轨迹就包含可预测身份和学习进度的信号:自我中心的姿态动态更能预测身份,而以环境为参照的运动更能预测学习相关变化,且两种信号在交替任务的决策节点处最强。团队还用表示条件扩散模型检视相关运动模式,代码已开源。
Ping Zhang 在 arXiv 论文(arXiv:2610.27139)中提出模型相对的状态定义:状态是系统在指定查询全集上的完整响应分布,对同一查询集响应一致的状态视为相同。论文区分预测(关注选定观测)与恢复(关注整体响应分布),并通过查询歧义、状态空间几何和预测目标选择考察二者关系,实验采用响应律已知的合成系统与神经记录数据,旨在阐明预测如何成为认识系统的方式。
一篇 arXiv 论文提出 BMO 方法,针对边缘设备部署中跨节点攻击的威胁,通过混淆模型参数使各设备模型的决策边界多样化。该方法基于零空间约束将参数分解为边界位置与边界曲率分量,向曲率分量注入噪声,同时保持良性准确率。在四类对抗攻击和四个主流端侧模型上,BMO 防御平均成功率达 68.68%,远超基线的 22.32%。
研究者提出 OptEP,一种基于连续松弛的后训练专家剪枝方法,通过可微专家选择变量和基于重构的权重更新,为 MoE 大语言模型保留最优专家子集。
研究人员提出 Joint Constraint Aggregation(JCA)方法,解决检索增强问答中错误答案因出现频繁且满足部分问题要求而被误选的问题。实验通过增加支持竞争答案的段落验证了这种检索偏斜确实影响模型决策,而 JCA 将候选答案与从问题中提取的全部要求进行对比。在三种评测设置和三个指令微调骨干模型上,JCA 提升了整体准确率,且在检索偏向竞争答案时优势更明显。
研究者提出 MEDIATOR,一种离散本体无关分词器,将任意临床概念文本映射到共享向量量化码本,无需人工映射或固定词表即可完成 EHR 数据统一。
一项 arXiv 研究检验英文构建的 LLM 流水线能否跨语言复用,覆盖支票抽取、九种语言的 Mintaka QA 及基于 SEC 10-K 财报的 FinanceBench 四语言试点(50 题)。
一项 NeurIPS 2026 评测与数据集 track 的研究系统分析了基于视觉语言模型(VLM)内部信号的幻觉检测方法的鲁棒性。研究发现,仅用生成词的 token 位置这一朴素基线即可取得有竞争力的性能,部分检测方法实际依赖 token 位置这一捷径,其强表现多来自检测语言层面的幻觉,视觉基础较弱,且对文本早期出现的幻觉鲁棒性下降。
BR-MoE 提出预算化语义发布机制,作为既有强化学习与混合专家框架的扩展,用于交通摄像头数据的隐私保护分析。方法由四个场景专家处理隔离的视频片段,输出映射到有界语义模式,强化学习控制器决定发布哪些专家摘要及隐私预算消耗,独立的隐私过滤器强制总预算约束。在片段隔离与有界事件假设下,完整发布文本满足事件级差分隐私界,并支持复用先前摘要而不新增披露。
一项 arXiv 研究发现,以往差分隐私(DP)审计在运行成员推断攻击(MIA)时普遍引入选择偏差,导致隐私泄露下界被高估、统计上无效。研究利用统计学工具提出多种校正方法并比较其优劣,对已有审计结果重新分析后发现:不做校正时,审计违反理论上界的频率最高达声称置信度所隐含水平的 4 倍;校正后下界统计有效,违反率不超过名义水平。
一项 arXiv 研究提出 Activation-Space Exploration(ASE),一种在线多样化训练 rollout 的方法:通过聚类正确与错误响应的激活差异,构建潜在探索向量库,引导后续 rollout 探索不同推理路径。
研究者提出层次化结构感知框架 HierDTA,用于药物-靶点亲和力(DTA)预测。该框架将药物表示为原子-基序异构图,把激酶域结构转为残基交互图,并用 cross-attention 融合分子指纹与预训练 ESM-2 嵌入。HierDTA 在 Davis 数据集各项指标上超越 SOTA,KIBA 上最高 r_m² 达 0.791,未见蛋白质场景下 MSE 降低 21.7%。
研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。
研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。
论文提出动态双反馈共形推理方法 DDCI,用于时间序列预测的不确定性量化,并被 NeurIPS 2026 接收。该方法在传统基于真实标签覆盖情况的实际反馈之外,引入基于 oracle 共形方法经验阈值的估计反馈,抑制区间过度扩张或收缩。两种信号平衡后,DDCI 在保持接近名义覆盖率的同时,可获得更稳定、更窄的预测区间。
SZED 团队提交 ArGuard 2026 Track A 阿拉伯语仇恨 meme 检测方案,覆盖二分类(A1)与细粒度多标签标注(A2)两个子任务。A1 融合 MARBERTv2 与 CLIP ViT-L/14 嵌入,A2 采用带每类查询向量的多任务标签注意力架构及级联校准辅助头。最终 A1 macro-F1 为 0.7597,A2 为 0.3142(10 个活跃类平均)。
研究者发布 FoundPDE,一个将离散时空轨迹映射为符号化 PDE 的预训练 data-to-symbol 基础模型,基于 Transformer 架构并采用 Fourier 与一阶空间导数增广。
一项 arXiv 研究提出能力感知多教师 on-policy 蒸馏方法 CA-MOPD,先将强化学习专家模型合并为学生初始化,再用验证器估计的师生能力差距动态调整各领域蒸馏强度。在数学、代码生成和指令跟随共六项 benchmark 上,CA-MOPD 平均得分 32.22,分别超过 naive MOPD、Open-MOPD 和合并初始化基线 0.86、0.83 和 0.74 分。
arXiv 论文提出 GRaSP,一种无需重训练的重排序层,通过按延迟衰减相关性得分并可选加入成本惩罚来优化地理分布式 RAG 检索。
一项 arXiv 研究考察干预历史是否会让 AI 智能体在后续任务中更擅长绕过 defer-to-trusted(DtT)防御,实验基于 ControlArena 的 IaC 和 SHADE-Arena 两个测试环境。
一项 arXiv 研究针对金融服务等非可验证领域中 LLM 智能体的强化学习,提出将少量专家判断转化为稠密奖励,并与检索指标结合形成 GRPO 兼容的混合训练信号,解决稀疏奖励导致组内同分、优化停滞的问题。实验显示,相比稀疏奖励基线,Recall@3 提升最高 6%,MRR@3 提升 6.7%。
一项 arXiv 研究提出多语言脑解码框架,分析 227 名覆盖中文、英语和法语受试者的脑记录,发现皮层语义表征在不同语言和个体间呈现一致的语义几何关系。这种跨语言一致性从感觉运动皮层向高阶联合皮层递增,形成与主要皮层功能梯度高度对齐的共享语义几何梯度,为跨语言语义共性提供了神经基础。
一项研究提出物理引导残差学习框架,将扩散近似(DA)预测作为物理先验,用神经网络只学习其与 Monte Carlo 参考结果之间的残差,兼顾解析建模的计算效率与 MC 仿真的精度。在所评估光学参数范围内,标量反射率 RMSE 和空间分辨反射率 RMSLE 相比 DA 分别降低约 62 倍和 14 倍;仅用 1% 训练数据时,比直接神经网络代理误差再低约 87% 和 93%。
arXiv 论文提出 Preference-PCA Pluralistic Learning(P3L),一种无需标注者身份的多元化对齐框架,通过 PCA 分解从异构群体反馈中联合学习轨迹嵌入与偏好方向的共享基。
arXiv 论文提出不确定性门控自适应框架 UGA,据称是首个将不确定性提升到更新级门控的广义少样本 3D 点云分割方法。其核心模块 UG-Update 通过合并支持样本与伪标签新类监督的类内离散度估计 episodic 可靠性,选择性地门控残差梯度更新,并配套 UB-Filter 过滤伪标签。
论文提出 Model Sanity Service(MOSS),将 LLM 相关性评分嵌入持续监控循环,用于搜索与推荐系统的语义故障诊断。该框架已在美国某大型零售商生产环境运行超过六个月,覆盖推荐、搜索和优惠场景,发现两起确认的线上服务缺陷,其中回填混合缺陷的修复方案经离线验证使告警率相对下降 76.4%。
arXiv 论文提出 PW-Pruning,一种在 DO-ACP 基础上扩展的相位感知专家剪枝方法,为声学输入预填充和文本答案生成阶段分别构建重要性加权核,选出单一静态专家库。
一项发表于 Interspeech 2026 的研究提出含 89 名 MCI 老年说话者、历时三年采集的韩语语音语料库,同步收集 SGDS 抑郁与 MMSE 认知评估。控制认知功能后,七个特征组中仅共振峰特征与抑郁相关,常用 F0 特征无信号。仅用 12 个特征的 F1+F2 子集达到 UAR 0.760,超过完整 eGeMAPS 基线和自监督表征。
一篇 arXiv 论文提出评估 AI 智能体网络中共识形成的框架,将共识视为公开立场在累积通信历史上下文中的演化,追踪立场轨迹、群体离散度与公开消息中的信息。1,872 次完成的运行结果显示,共享解释与更准确的群体决策相关,第二项任务则出现总体答案准确但分歧持续存在的情况。框架还通过成员变更实验,区分智能体间收敛与任务全信息答案的进展。
论文提出 INCAR-SLM,即在参考 VASP 计算上微调 Qwen3-4B 并配合确定性后处理器 VASPGuard 的方案,用于从自然语言生成 VASP INCAR 文件。
研究者推出 INCARBench 基准,通过配置生成与修复两类任务评估大语言模型为 Vienna Ab initio Simulation Package(VASP)编写 INCAR 输入参数的能力。
一组研究者系统梳理了大语言模型(LLM)在基于智能体建模(ABM)中的应用,并沿建模周期探讨 LLM 的潜在用途与挑战。文章指出 LLM 在文本总结、生成、分析、信息抽取及逻辑推理等方面的能力可为建模过程提供助力。该综述在回顾现有用法的同时保持批判立场,覆盖从问题定义到模型结果的文档化与传播全过程。
arXiv 论文提出自适应多 token 预测(AMTP),把多 token 预测的视野选择形式化为在线控制问题,用验证反馈在每次生成前预测草稿接受概率并选出期望吞吐量最高的视野,无需重训练、不改动验证器。
一篇 arXiv 论文提出 Semantic Observability 框架,将分布式微服务的异构日志统一为可查询的属性图数据库,并通过由有向循环图(DCG)编排的多智能体系统定位故障根因。
一篇 arXiv 论文提出用于比较人类参考辩论与 AI 生成辩论中价值表达和价值组织的诊断性指标框架,基于 Schwartz 基本价值理论,在话语、立场和整场辩论等多个层级上度量价值覆盖、对齐、扩散与跨轮动态。
一篇 arXiv 论文构建了 RTL 修复评测体系:含 5,784 对(broken, fixed)训练数据的 RTLRepairDataset、459 个留出用例的 RTLRepairBench(374 个语法变异、85 个行为变异)及支持仿真与形式等价的评测框架。
一篇 arXiv 论文提出 CoRAL 混合框架,用非对称 Planner-Executor(APE)架构解决自回归模型的顺序性瓶颈:扩散语言模型 Planner 并行生成 K 条推理轨迹,大型自回归 Executor 选择最优方案并生成最终答案。