DPO 超参数 landscape 的形态:测量什么、如何随规模变化、何时不可迁移
一项 arXiv 研究通过密集超参数网格实验,分析 DPO 最优超参数(学习率与参考策略正则化参数 β)如何随模型规模和更新步数变化。结果显示最优学习率随模型大小变化,超参数不可跨训练数据集迁移,且验证损失与下游 benchmark 最优超参数仅弱相关,需针对目标模型、数据集和评测目标单独调优。研究还表明短期候选训练可大幅降低选择成本,并已开源全部训练配置与评测结果。
一项 arXiv 研究通过密集超参数网格实验,分析 DPO 最优超参数(学习率与参考策略正则化参数 β)如何随模型规模和更新步数变化。结果显示最优学习率随模型大小变化,超参数不可跨训练数据集迁移,且验证损失与下游 benchmark 最优超参数仅弱相关,需针对目标模型、数据集和评测目标单独调优。研究还表明短期候选训练可大幅降低选择成本,并已开源全部训练配置与评测结果。
研究者提出物理变量信息深度学习框架 PhyNet,用于工业流体输送系统在异构采样条件下的鲁棒故障诊断。该框架将物理变量视为全局运行约束、响应信号作为局部诊断证据,通过物理-响应交叉注意力机制实现无需严格时间对齐的交互。在三个真实空化数据集和一个公开两相流数据集共四项基准上,PhyNet 在所有评估指标中均取得最佳表现。
一项系统性实证研究分析了 LLM 在跨语言代码翻译中的幻觉现象。研究覆盖 3 个基准数据集、6 组语言对和 7 个 LLM,人工标注 13,919 个幻觉案例,构建了包含语义一致性冲突、事实知识冲突和项目上下文偏差三大类的分类体系。基于该分类提出缓解框架 HaluCodeTran,结合基于 BM25 的相关翻译示例检索与分类感知的反思式优化,为构建更可靠的 LLM 代码迁移工具提供了实测基线。
VISH 是一个无需训练、即插即用的热词预选框架,通过帧级 CTC 后验搜索直接验证候选热词的声学支持。其变体 M-VISH 在五个基准上将 Best-F1 较强学习检索基线最高提升 11.7%,并在 2,000 个候选时将候选搜索延迟降低 75.2%。Bi-MVISH 则利用反向证据增强验证的稳健性。
arXiv 论文提出 SMART,一个用于 ASR 语义可追溯评估与定向纠错的框架:它将参考与假设的差异映射为语义分段,并用上下文评分标准赋予后果标签,支持在语句、分块和词级量化 Semantic Impact Error Rate(SIER)。
RAG-NIMBF 是一个非侵入式模块化基准测试框架,可作为评估层附加到现有 RAG 流水线,通过受控消融和端到端实验追踪分析分块、嵌入、检索、重排等配置空间。
研究者提出 SLM-SS,一种用语音语言模型做基于 token 的生成式语音分离框架:先用神经编解码器将语音离散化为多码本 token 序列,并通过 Serialized Output Training(SOT)序列化多说话人目标,再由编码器-解码器自回归模型预测零阶序列、非自回归模块细化高阶码本。
研究者在 14,159 个 OSS-Fuzz 案例上分析历史软件构建的环境退化问题,发现 69.7% 的案例无法完成重构与验证,且多数失败源自少数重复出现的症状。
研究者提出 I2R-Pose 框架,用于毫米波雷达 3D 人体姿态估计,包含运动感知姿态初始化与观测引导精修两阶段,支持 TD/TR 图与雷达点云的单独或融合输入,并构建了含同步数据的 RaMoS-Pose 数据集。在 MVDoppler-Pose 和 RaMoS-Pose 上,融合输入使 MPJPE 分别较最优现有方法降低 39.50% 和 15.13%。
一项研究在 ℓ1 攻击中加入逐坐标上限并用循环内精确投影强制联合约束,评测 APGD-ℓ1、SLIDE 和 FMN-ℓ1 三种攻击。在 18 个标准模型设置中,上限不超过 32/255 时仍保留中位数 97% 的攻击成功率,峰值幅度中位数下降 80%,有效支撑接近增至三倍;循环内约束优化比事后截断最多多保留 88 个百分点的攻击成功率。
研究团队推出 S$^2$-MAS,一个基于真实调查数据构建 5 亿合成家庭画像智能体的社会规模多智能体模拟框架。
一项 arXiv 研究测量了 LLM 在收到单条新信息后的概率更新幅度,使用 δ-SNLI 的前提-假设配对,测试 Qwen3-8B、OLMo-2-7B 两个本地模型及五种 agent 命令行配置(240 对与 120 对)。
研究者提出一种 anytime-valid 运行时监控器,用观测到的闭环轨迹审计学习型障碍证书,检测其在部署时因动力学偏离训练分布而失去统计支持。该方法将条件障碍漂移表述为逐回合序贯假设检验,把障碍增量转化为非负检验上鞅,在任意停止时间下实现有限样本误报控制,并通过监控边界的确定性时间整形在前段部署期内更保守。实验评估了有效与无效证书下的经验报警行为,代码和数据已公开。
研究者提出 World2HOSI,一个多专家编排框架,可从 3D Gaussian Splatting(3DGS)场景和自然语言指令生成长时程人-物-场景交互(HOSI)数据。
RLSplat 是一种资源线性的预算可控前馈 3D Gaussian Splatting(FF3DGS)框架,使表示大小、推理延迟和峰值内存随 Gaussian 预算减少而线性下降。
一项 arXiv 研究将 LLM 置信度分为解题前的 FOK 与解题后的 JOL 两类信号,在两个前沿大语言模型、多推理领域、翻译版马拉地语基准及新构建的本地马拉地语事实问答基准上评估其可靠性。结果显示,成本更低的解题前信号校准较弱,解题后置信度认知对齐更强但推理成本更高;英语与马拉地语间校准趋势经翻译可较好迁移,但在本地化知识上明显退化,且模型幻觉答案在生成后仍保持持续偏高的置信度。
arXiv 论文提出 VLA-Retain 基准,在 LIBERO-Plus 数据集七个扰动维度上比较五个开源 VLA 模型经 Camera-view 或 Sensor-noise 数据微调后与自身基础检查点的表现。
CovNav 是一个免训练框架,用 Conformal Prediction(CP)将混合推理 LLM 的快慢双模式转化为不确定性感知的决策,仅在模糊查询时升级到慢速思维链推理。在 Gibson 和 HM3D 上,成功率比最强零样本基线分别高出 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理。TurtleBot 4 真机实验进一步验证了该方法。
一项 arXiv 研究提出成对比较框架,将回归问题重构为聚合的相对排序任务,提升小样本场景下的数据效率。在 UTKFace 数据集(23k 图像)上,成对学习生成超过十亿个训练比较,使从零训练的轻量 ResNet10 达到 3.64 年 MAE,超越含大规模预训练的模型。分类任务中,该方法在 STL10 的 500-2000 标注样本上比同配置 10-way 交叉熵模型准确率最高提升 5.2%。
研究者提出针对大语言模型统计水印的统一攻击框架,发现 KGW、GumbelSoft、DipMark、ITS、SynthID 等方法的检测分数与生成时引入的 token 概率偏移存在 score-ratio alignment 关联。攻击者仅需黑盒查询即可生成逃逸检测且保持流畅的文本,在 7 种水印方案、3 个 LLM 的评测中将检测率降至最高 0.05,并证明该弱点是设计上的固有缺陷。
推荐理由:论文指出统计类大语言模型水印的检测分数与 token 概率偏移存在固有关联,并给出黑盒攻击可将检测率降至 0.05 以内。