强化线性遗传编程:用 Q-Learning 优化寄存器-动作映射
一篇本科论文提出 Reinforced Linear Genetic Programming(RLGP),在 Linear Genetic Programming 之上引入 Q-Learning,自动学习最优的寄存器-动作映射,解决需人工显式映射的问题。作者还发布了用内存安全的 Rust 编写的开源框架 "linear-gp",供后续实验使用,源码可在网上获取。
一篇本科论文提出 Reinforced Linear Genetic Programming(RLGP),在 Linear Genetic Programming 之上引入 Q-Learning,自动学习最优的寄存器-动作映射,解决需人工显式映射的问题。作者还发布了用内存安全的 Rust 编写的开源框架 "linear-gp",供后续实验使用,源码可在网上获取。
arXiv 论文提出 OPTIMA,一种实用的单次训练后剪枝方法,将掩码选择后的逐层权重重构转化为共享 Hessian 的逐列二次规划(QP),可批量在加速器上并行求解。
一项 arXiv 研究提出“潜在分离假设”:微调模型对子群数据表示的依赖程度,取决于各子群在预训练模型潜在空间中的分离程度。作者对该假设进行形式化与理论分析,并在四个视觉和语言数据集上验证,还通过正则化实验提供了因果作用的初步证据。研究显示,对潜在子群分离的定量分析可指导微调基础模型时的数据收集与平衡决策。
arXiv 论文提出 AISTRAL,一种 AI 原生互联网架构,让出版方通过政策管控的接口直接暴露语义单元,并借助类比 DNS 的语义解析器供 AI 智能体发现和检索内容。端到端原型在大型专业文档集上准确率最高提升 4.2 倍,比公开网络搜索智能体多答对最多 4.2 倍的问题,每查询传输数据减少 2.9-41 倍。由于检索终止于出版方服务器,署名、来源与使用策略随内容传递。
研究人员提出 SpectralTrain,一个架构无关的通用训练框架,将课程学习与基于 PCA 的光谱降采样结合,逐步引入光谱复杂度,提升高光谱图像分类的训练效率。该框架不依赖特定架构、优化器或损失函数,在 Indian Pines、Salinas-A 和新提出的 CloudPatch-7 三个基准数据集上取得 2-7 倍训练提速,精度变化因 backbone 而异。代码已开源。
研究者提出 CLP-SNN,将 Continually Learning Prototypes 算法重构为事件驱动的脉冲神经网络,并部署在 Intel Loihi 2 芯片上,成为该芯片上首个在线持续学习器。
一种新的贝叶斯非参数方法可对数量不设上限的时间序列簇的演化建模,通过在未知数量的线性动态 regimes 间切换实现聚类。该方法用分层 Dirichlet 过程作为 Switching Linear Dynamical System 参数的先验,并用 Gaussian process 先验刻画簇内振幅与时间对齐的统计变化,以原则化方式避免簇的过度增殖。
研究者提出 ATAR,一种利用推理结构引导 LLM 注意力的推理方法,解决长推理链中关键中间步骤和原始提示词被淹没、注意力不足的问题。实验显示 ATAR 在六个基准上超越 SOTA 方法,绝对提升最高达 15.39%;"非推理"模型借助 ATAR 在多数基准上达到与同规模推理模型相当甚至更好的表现。消融实验表明注意力对齐组件贡献显著,且提升在不同注意力引导后端下均保持稳定。
研究者提出 WoW-Bench(World-of-Whale)基准,以海洋哺乳动物叫声作为分布外声音事件,评测大型音频-语言模型(LALM)的低层听觉感知与认知,避免模型依赖对声音事件的先验知识。
一篇 arXiv 综述梳理了多模态生成模型(MGMs)的六类文本条件生成模态,涵盖图像、音乐、视频、人体运动和 3D 物体,并考察 self-supervised learning、mixture of experts、RLHF 和 chain-of-thought prompting 四种技术在不同模态中的应用。
研究者发布 MedHal,一个面向医学文本幻觉检测的大规模合成数据集,覆盖内在与外在幻觉的多种医学文本来源和任务。作者基于该数据集训练并评估了基线检测模型,效果优于通用幻觉检测方法。该资源可用于评估和训练医学文本生成系统,减少对昂贵专家审核的依赖。
PALATE 是一个针对 FLD(Feature Likelihood Divergence)计算效率瓶颈而提出的深度生成模型评估框架,基于对可访问数据随机变量全期望定律的特殊应用。它与 MMD 基线指标和 DINOv2 特征提取器结合后,表现达到或超过 SOTA 方法,同时计算效率更高、可扩展至大规模数据集,尤其在检测样本记忆化和评估泛化能力上实用。源代码作为补充材料提供。
一项 arXiv 研究提出在深度强化学习的关节级力矩控制中引入归纳偏置:从小规模专家示范数据中学习潜在动作,作为策略的行动先验。该先验让智能体利用专家动作知识、提升探索效率,迁移任务表现显著改善,且不受示范奖励水平限制;结合风格奖励做模仿时,能更贴近复现专家行为。论文已被 Humanoids 2026 接收。
arXiv 论文《Help Me Help You》在有监督迁移学习中识别出一种二分法:弱迁移机制下最优速率仅由源或目标单方数据决定,强迁移机制下则可利用源与目标数据的互补信息实现更快的目标收敛率。作者指出以往针对无监督场景的理论工具无法刻画强迁移机制,并提出“弱/强迁移模数”这一相关性概念精化,给出区分机制的条件,还提供了一种在各机制下均接近最优、无需先验分布知识的通用方法。
一项研究用 ResNet-50 和 Audio Spectrogram Transformer(AST)模型,基于鼾声识别阻塞性睡眠呼吸暂停(OSA)患者的多 level 上气道塌陷部位。
arXiv 论文(arXiv:2406.16232v4)提出 Jacobian descent(JD)及其随机变体,通过向量值目标函数的 Jacobian 矩阵迭代更新参数,将梯度投影以完全解决目标冲突,并在光滑凸情形下证明了比弱 Pareto 平稳点收敛更强的 Pareto 前沿收敛保证。
Illia Horenko 在 arXiv 论文中提出用熵优化的视角量化 AI 韧性与鲁棒性,证明对抗攻击全局最优性与唯一性的可廉价验证数学条件。
论文提出 Typhoon,一种利用 MLM 损失对 one-hot token 输入的梯度来在线估计各 token 显著性的动态 masking 策略。作者在 MRPC 和 CoLA 两个 GLUE 任务、三种 BERT 系骨干(TinyBERT、DistilBERT、BERT-base)上共进行 90 次训练对比随机 masking 和 whole-word masking。
Taskonomy 提出一种全计算化方法,通过在 26 个 2D、2.5D、3D 和语义任务间寻找一阶及高阶迁移学习依赖,构建视觉任务迁移学习的分类图谱。该研究显示,联合求解 10 个任务所需的标注数据量可比独立训练减少约 2/3,同时性能几乎不变,并提供求解器帮助用户设计高效监督策略。该论文获 CVPR 2018 最佳论文奖。
arXiv 论文提出一个反事实评估框架,将 LLM 提议的修复动作拆分为目标记录选择与更新值两个组件,分别衡量其作用与交互。在交通分配实验中,将 LLM 提议的更新保留在参考目标上可达到参考损失降低量的 79.4%,而在原目标上调节更新强度仅达 43.7%;数据库实验的 108 个动作中,替换更新使 17 个恶化,且均选中了未受影响的记录。组件复用研究将平均留出恢复率提升至 0.616。