Jacobian Descent:面向多目标优化的梯度下降推广方法
arXiv 论文(arXiv:2406.16232v4)提出 Jacobian descent(JD)及其随机变体,通过向量值目标函数的 Jacobian 矩阵迭代更新参数,将梯度投影以完全解决目标冲突,并在光滑凸情形下证明了比弱 Pareto 平稳点收敛更强的 Pareto 前沿收敛保证。
arXiv 论文(arXiv:2406.16232v4)提出 Jacobian descent(JD)及其随机变体,通过向量值目标函数的 Jacobian 矩阵迭代更新参数,将梯度投影以完全解决目标冲突,并在光滑凸情形下证明了比弱 Pareto 平稳点收敛更强的 Pareto 前沿收敛保证。
Illia Horenko 在 arXiv 论文中提出用熵优化的视角量化 AI 韧性与鲁棒性,证明对抗攻击全局最优性与唯一性的可廉价验证数学条件。
论文提出 Typhoon,一种利用 MLM 损失对 one-hot token 输入的梯度来在线估计各 token 显著性的动态 masking 策略。作者在 MRPC 和 CoLA 两个 GLUE 任务、三种 BERT 系骨干(TinyBERT、DistilBERT、BERT-base)上共进行 90 次训练对比随机 masking 和 whole-word masking。
Taskonomy 提出一种全计算化方法,通过在 26 个 2D、2.5D、3D 和语义任务间寻找一阶及高阶迁移学习依赖,构建视觉任务迁移学习的分类图谱。该研究显示,联合求解 10 个任务所需的标注数据量可比独立训练减少约 2/3,同时性能几乎不变,并提供求解器帮助用户设计高效监督策略。该论文获 CVPR 2018 最佳论文奖。
arXiv 论文提出一个反事实评估框架,将 LLM 提议的修复动作拆分为目标记录选择与更新值两个组件,分别衡量其作用与交互。在交通分配实验中,将 LLM 提议的更新保留在参考目标上可达到参考损失降低量的 79.4%,而在原目标上调节更新强度仅达 43.7%;数据库实验的 108 个动作中,替换更新使 17 个恶化,且均选中了未受影响的记录。组件复用研究将平均留出恢复率提升至 0.616。
arXiv 论文提出 RELIEF 方法,用编码智能体修订代码生成模型产出的界面,并将改进融入原始生成轨迹作为微调监督数据。研究团队收集了 200 个合成网站、355 段交互记录及 24 名用户的反馈,微调了两个代码生成模型的多个变体。结果显示反馈效果随基础模型能力而变,其中来自人类交互记录的批评在测试模型下带来最大的可用性提升。
arXiv 论文提出 VibeTraining-Bench,评估智能体联合优化训练数据、训练器与推理框架的跨组件协同设计能力,任务覆盖终端操作、软件工程、多轮工具使用和数学推理,并设置测试数据隔离、独立容器和网络限制三重防作弊机制。
一篇 arXiv 论文提出语义感知决策框架,将候选动作的提出、在交互上下文下的评估与最终执行结果显式分离建模。框架通过联合动作语言和解释函数定义语义结果,并由此诱导转移与奖励动态,可刻画咨询、授权等人机共享自主交互模式,且与标准 MDP 规划保持兼容。
浙大团队提出 VLA-Rolling,一个轻量推理框架,在流匹配 VLA 模型上复用被丢弃的动作尾部,包含动作尾继承、逐动作置信度估计和置信度引导的去噪预算分配三个阶段,底层模型保持冻结。
研究者提出分层分数后验恢复方法 HSPR,用历史响应因子与带不确定性的组成功率,结合后验引导的自适应任务选择,以小预算估计软件智能体在完整基准上的分数。在 SWE-bench 系列四个任务库上以 10% 任务预算评测时,HSPR 在其中三个任务库取得最低平均绝对误差(MAE),四个任务库均取得最低最大绝对误差(MaxErr),且代码与项目资源已公开。
arXiv 论文提出 HABIT-Bench,用于评估大语言模型智能体记忆系统从弱证据中推断用户习惯并应用于后续请求的能力。
研究团队提出 AM-Bench,一个基于欺诈三角框架、覆盖七个行业 35 个场景的智能体失准评测基准,沿感知威胁、感知机会和推理三个维度构建评测与检测系统。
Google 与 Meta 的开源合作项目 TorchTPU 发布论文,提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移,并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页,链接 https://arxiv.org/abs/2610.24161。
推荐理由:Google 与 Meta 合作的开源项目,论文说明了 TPU 上原生执行 PyTorch 的混合架构,关注框架与硬件适配的读者可作参考。
一篇 arXiv 论文提出心理世界模型 MWM 及其实现架构 MMEA,显式构建主观世界、建模认知与心理状态的交互,并模拟受历史经验塑造的心理持续演化。
研究者提出 PraxisMemBench,一个面向持久化个人助手的基准,让个人记忆与程序性记忆在日常与工作轨迹中共同演化、相互依赖。实验显示单独维护两类记忆不足,任务完成率从 84.6% 降至 77.9%;随交互历史增长,关系类失败率从 59.8% 升至 72.9%。
arXiv 论文提出 MULTIFINGROUND 基准,用于检验多语言财报中“概念识别”与“证据抽取”之间的差距。基准基于 90 家发行方 FY2025 的英、法、希腊语披露文件构建,评测事实识别、概念识别、穷尽式事实选择与概念区分四项能力。
arXiv 论文提出 AgentStripes,一种针对 AI 智能体的证据分级成熟度模型,包含 0 到 7 stripes 等级、12 个过程域共 40 项能力、三道门(基础、安全、证明)以及 E0 到 E5 证据分级。
Thinker 团队(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享中间 Unified Dynamics Transformer 联合建模与生成 RGB、度量深度和机器人动作。
一篇 arXiv 论文提出自适应分组过程奖励框架,解决 GUI 智能体强化学习中结果奖励稀疏导致的低效学习问题。该框架将 GUI 轨迹动态划分为语义连贯的子目标组,在动作与组两个层面估计过程奖励,并将其融入 GRPO 的结果优势以提供更细粒度的训练信号。过程奖励基准与下游 RL 训练实验验证了框架的有效性。
arXiv 论文提出 MADDIE,一个由 Orchestrator 统筹、HitIdentifier、LeadOptimizer、Synthesizer 和 Evaluator 四个专职智能体组成的多智能体药物发现引擎,可灵活组合工作流、端到端完成药物发现流程。
一项研究用冻结 LLM 旁的无训练激活记忆检验“用户事实必须以文本存储”的假设:经验被存为后层状态的偏移,按会话要点的白化键索引。在 Qwen3.5-2B 与 9B 上的预注册实验显示,该记忆有选择性(约 98% 无关回复不受影响),但事实几乎不被使用(干净使用至多 15%,上下文内为 96-98%),且不减去相反参照时,存储的“不喜欢”会被召回为“喜欢”。
研究者推出 FDE-Bench,首个基于真实客户项目构建的基准,用于评估 AI 智能体在需交互式需求澄清与迭代优化的端到端交付任务上的表现。基准包含 49 个涵盖组合优化与机器学习的案例,智能体需从模拟客户处挖掘缺失需求,并由专属评估器按客户验收标准打分。
研究者推出 MultiWorldBench,一个基于 Minecraft 的多人世界模型诊断基准,包含 495 个案例配置、七大任务套件和十项能力。以 Engine GT 为参照,Gamma-World 十项能力平均分最高(21.39),Solaris(MP)为 20.88,Solaris(SP)为 10.06,而 Engine GT 达 91.69。
论文研究智能体验证器中固定检查与需judge裁决的划分能否由模型自行决定。在 EU AI Act、FINRA 指引及已部署信贷智能体等六个语料上收集约 22,000 个标注,来自三个实验室的四个模型:答案明显处几乎完全一致,监管文本上则崩溃;错误方向相反,无法选出一个保守模型;在已部署智能体自己的规则集上还共同高估固定检查的适用,恰是不触发升级的方向。
arXiv 论文提出 Penumbra,一种针对金融、医疗等场景中监管义务的样本高效对抗搜索方法,从验证锚点出发在扩展编辑预算下寻找合规与违规的相邻响应对。在同等预算下,自适应分配在 59% 的候选上达到均匀分配全覆盖,同等记录数下覆盖的失败模式是朴素枚举的 1.43 倍。
arXiv 论文提出 CEDR(Continuous Embedding Diffusion Reasoner),一种面向数学推理与代码生成的连续潜空间扩散训练与推理管线,从 Qwen3-4B 的三个隐藏层学习紧凑答案表示。
研究者提出扩散子目标规划框架 DSP,用于长时程离线目标条件强化学习(GCRL)的高层子目标生成。DSP 将高层规划转化为对目标条件子目标的引导式生成推理,结合条件与无条件流实现 classifier-free guidance,摆脱了对噪声敏感的价值估计引导。在离线 GCRL 基准上,DSP 在导航和操作任务中优于此前方法,尤其在需要多步子目标规划的迷宫环境中表现突出。
APOLO 将本体学习(OL)转化为基于 LLM 模块的显式提示词优化问题,并利用多智能体系统从专家本体生成文本-本体配对训练数据。研究者提出贪心与自回归两种本体学习器架构,基于 DSPy 上的 GEPA 进化提示词优化器进行优化。
一项 arXiv 研究分析 LoRA 中秩 r 的作用,证明在硬性逐因子范数预算(实践中权重衰减的理想化)下,秩并不控制模型容量:可达更新恰为核范数球内秩不超过 r 的矩阵,而各复杂度与位移泛函均由秩一更新取得最大值,线性读出模型类与 Rademacher 复杂度均与 r 无关。
研究者提出 AtomWorld-Mem,一种记忆恢复式原子世界模型,通过空间编码器写入多尺度原子关键帧,并结合短期事件记忆与长期结构记忆,恢复瞬时晶体快照中缺失的潜在世界状态。
arXiv 论文提出认知场网络(CFN),一种带隐场回环的循环 Transformer 架构,更新式为 Φ_{n+1} = F_θ(X_{n+1}, Φ_n),让全部 token 级隐场重新进入下一计算周期,而非显式规定记忆操作。
ER-EDF 是一个基于心理学 Gross 扩展过程模型的共情对话框架,遵循三阶段流程:从语音识别用户情绪、匹配调节策略、再通过大音频语言模型(LALM)执行。该框架与具体模型无关,可无缝接入现有 LALM,并配套构建了口语共情对话数据集和超越词汇匹配的共情评测指标。在五个 LALM 和两个数据集上的自动与人工评估均显示其持续提升共情回复质量。
arXiv 论文提出一套智能体(Agentic)工具方法,用于自动化视频编辑,覆盖场景预览、视频摘要和电影预告片三类任务,这些任务在编辑目标、复杂度与创意性上各不相同。作者对输出结果进行了评估,并讨论其对自动化与智能体自主性的影响。
David Balduzzi 在 arXiv 发布论文,提出物理相互作用的一阶结构(Jacobian)塑造现象经验结构的假说,并引入透明度(有效秩)与完整性(归一化代数连通度)两种度量。该框架在一系列算例中给出经验重叠、系统边界、时间厚度、空间结构、清晰与模糊观念、随机初始化网络的不连贯性及学习等现象的结构相关物。这些度量可在人工网络中大规模计算,也可从大脑的扰动数据中估计。
Kalin Stoyanov 在 arXiv 发表的论文提出分析 LLM 辅助科研的规范概念框架,将科学推理视为分布式过程,区分内容来源 O(g)、人类验证完成 V(g)、责任归属 R(g)、可问责的人类所有权 M(g) 和认知结果 E(g)。核心主张是伦理边界主要由充分验证和可问责的人类所有权决定,而非机器参与程度本身。论文据此提出"认知审计"概念,以结构化记录使 AI 辅助推理透明可审查。
ECHO(Embodied Context & History Orchestration)是一个面向长时程 Agent 的可审计双路径记忆系统:快速路径记录不可变事件并提供多路召回,异步工作器把经验整合为可修订状态并重建索引,同时保留来源溯源、时间权威与答案实现的显式边界。
研究者在 Qwen3.5-VL-27B 基础上,用约 52k 多模态样本(CAD 视觉问答、text2cadquery 参数化与装配级 CAD 代码、Inventor/SolidWorks 的 COM 子语料)经统一多任务 SFT 训练出 IndustryForge-27B。
研究者提出 HFS 框架,解决端侧智能体增强实时通信(RTC)中人类直播视频流量与智能体上下文传输流量的并发争用问题。该框架通过应用层统一编排器联合控制多流发送速率,基于 WebRTC 的原型实现视频质量提升 1.5 倍、智能体响应时间降低 31%。论文已被 USENIX NSDI 2027 接收。
研究者提出 IDEAgent,一个将科研选题建模为质量-多样性(QD)联合搜索的多智能体框架,通过 lineage 追踪选题演化,用多目标反馈驱动质量修复与精炼,并借助轻量级序列记忆和与已完成、历史及被否决选题的显式对比保证多样性。在横跨 8 个 CS 领域的 32 个主题上,IDEAgent 的 Yield 指标较最佳基线提升 3.89x,Yield≥2 的主题数量达基线的 8 倍,并已开源。
研究者提出 AIMO Interpretability Challenge,一项基于模型内部机制区分前沿数学大语言模型稳健推理与虚假推理的竞赛,已被 NeurIPS 2026 接收为竞赛项目。