Physical AI:概念、技术与挑战
上海交大 Weinan Zhang 等学者在 arXiv 发布 388 页、12 章的 Physical AI 专著,提出将物理 AI 定义为在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统。
上海交大 Weinan Zhang 等学者在 arXiv 发布 388 页、12 章的 Physical AI 专著,提出将物理 AI 定义为在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统。
arXiv 论文提出 M-Plan,一个融合长期与短期记忆的闭环多智能体系统(MAS)规划框架。该框架为智能体提供全局-局部与过去-当前两类任务引导,在执行中按需给予局部提示,任务完成后将相关信息优化后写入长期记忆库,并保持即插即用设计。在 ALFWorld、Webshop 和 PDDL 多轮任务上的大量实验显示,M-Plan 在准确性和效率上均优于多种基线方法。
研究者提出结合 KL 锚定均衡的策略偏好优化方法 SPOKE,用于训练扑克 AI 智能体在隐藏信息下做出策略性行动。
一项 arXiv 研究评估了 4 个 LLM 系统(单个基线与 3 种多智能体拓扑)在 4 个模型、3 个临床任务上的表现,在推理过程中按事实性与忠实性分类测量幻觉。
研究者提出 SPEM,一个轻量级结构感知程序性记忆框架,用于解决 LLM Agent 技能库扩大后全量加载开销高、扁平语义检索忽略依赖与执行顺序的问题。
该 arXiv 论文研究 LLM 在经典规划中的困难来源,在七个 STRIPS 域上对比结构难度与符号词汇可解释性的影响。
论文提出 LightCRS,一个轻量的查询条件式多域多模态对话推荐框架:离线用冻结编码器预计算商品表示,在线由 5.3M 参数模块通过跨域共享的 query-conditioned cross-attention 融合证据,并用候选间 Transformer 联合比较。
研究者推出 MAMath-Bench,一个评估多智能体系统(MAS)多模态数学推理能力的过程感知基准,包含 1,003 道题,覆盖 11 个数学类别和文本、图像、音频等模态,并提供细粒度里程碑标注。评测发现:多智能体协作并不总能提升最终答案准确率;协作能扩大中间推理覆盖面但会增加推理冗余;现有系统仍易受对抗性推理错误影响,尤其是细微结构扰动。数据集已公开。
论文提出一种有界的在线步级修复模块,在 Lean 4 自动定理证明中不再丢弃失败的 tactic,而是把编译器错误信息喂给预训练修复模型原位修复。该方法在 LeanDojo 基准 1,990 题子集上相对纯采样基线最多提升 32%,多解出 82 题且在 K∈{1,3,5,8} 各预算下均有效;首次修复尝试即贡献 84–96% 的总增益,并在 Lean Workbook 上近乎翻倍解题率且零回退。
arXiv 一篇综述系统梳理了 LLM 驱动的工业智能体在智能制造中的应用。文章分析了通用智能体直接部署面临的五大挑战,提出了涵盖应用场景、具身形式与五个能力层级的统一分类法,以及四层系统架构与闭环任务执行机制,并回顾工业全生命周期的代表性应用与未来研究方向。
论文提出 DataPraxis,一个基于经验证工作区演化的数据分析任务合成框架,通过逐步丰富工作区并继承组合来挖掘更深层问题,并在演化与任务组装后验证分析结果。
研究者提出 MedPAO-Assist,一个可边缘部署的智能体框架,从放射科医生口述和语音指令直接生成结构化放射报告,仅需约 3.3 GB 峰值内存,在普通笔记本 CPU 上端到端平均延迟约 31 秒。
一项 arXiv 研究提出首个面向 LLM 电路生成的学习方法,不再优化单个电路,而是优化多次生成所得整个电路集在 PPA(功耗、性能、面积)目标空间中的质量与多样性。
一项研究提出结合大语言模型与强化学习的自主建造方法:采用增强型 soft actor-critic 强化学习算法为移动起重机规划施工动作,并借助机器人运动学与控制算法保证动作可执行。系统还定制了嵌入模型按用户兴趣提取施工环境信息,并调用 ChatGPT 5 更新施工进度、向控制系统提供安全信息、生成进度报告。该方法通过多个全尺寸挡土墙建造实验验证了可行性。
Navalia 是一个结合可验证任务合成与长程后训练的 Cowork Agents 框架,以企业财报为数据源,构建可执行计算链生成有证据可追溯的分析任务,并通过独立 LLM 审查和程序化校验保证答案正确性。
EvaOmni 是一个证据锚定的音视频推理评测基准,包含 392 个视频和 1,027 条纯人工标注的问答对,覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
这篇立场论文提出,通用视觉语言模型(VLM)可通过 System One 决策直接充当多模态重排序器,无需专门训练:用一道选择题对第一阶段检索的 top 16 候选打分,从一次前向传播中读取各候选标签概率完成排序。
一篇 arXiv 论文提出 Lafa(Large flow language model),一种扩展到 8B 参数的连续流语言模型,采用块内因果注意力前缀与双向异步流设计,可基于预训练自回归模型高效训练,仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。
论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。
DecisionPivot 是一个诊断基准,包含 48 个任务、40,033 个条目、七种决策角色,用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。
研究者提出 Agent S4,一种能从任务经验中自主构建进化界面的计算机操作智能体,通过元智能体修订界面仓库并进行种群级进化筛选。
推理系统 Specter 将量化与推测解码、专家卸载结合,用量化轻量草稿模型预测未来专家激活,让运行时提前调度专家的搬运与执行,缓解 PCIe I/O 瓶颈。单请求推理下,Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x,最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用,代码已开源。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。
SolarRenderer 是一种结构条件视频渲染器,通过两个轻量 LoRA 适配冻结的 MiniMax-H3 33B 骨干,将游戏引擎等粗略结构转为逼真视频。
论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。
Byungwoo Jeon 等人发布论文,提出 Video-Point Model(VPM),基于多视角视频历史和语言指令,联合预测任意视角的未来视频与场景持久点的 3D 轨迹。
研究者提出空间推理智能体 S-Agent 2.0,为现成的通用编码智能体配备命令行感知工具包,通过持久场景记忆帮助 VLM 补全证据闭环。
研究者提出进度对齐循环方法 PAR,训练循环语言模型第 k 次迭代的预测对齐前 k 步操作后的状态,并将循环状态重缩放到首轮范数。在 swap-S5 任务上,基于 Qwen2.5-0.5B、最多训练 32 步的模型在 512 步(16 倍训练长度)下达到 95.5% 平均全状态准确率,而同骨干上 RLT 为 55.7%、显式思维链仅 0.8%。消融显示去掉范数锚定后外推倍数降至 2.2 倍以下。
《柳叶刀·数字健康》10月20日发表麻省总医院布莱根医疗集团的 FAHR-Face 研究,AI 仅凭一张脸部照片即可识别癌症患者的死亡风险差异。
马萨诸塞州总医院百瀚癌症研究所在《柳叶刀·数字健康》发表研究,发布用4000万张人脸预训练的FAHR-Face模型,微调出FAHR-FaceAge和FAHR-FaceSurvival两个工具,后者用34363张癌症患者照片训练,可凭一张面部照片预测生存风险。
36氪授权发布经纬创投对 Google Quantum AI、斯坦福等机构论文的解读,论文估算破解 secp256k1 只需约 1200—1450 个逻辑量子比特,快时钟超导量子计算机或可在约 9 分钟内从公钥推出私钥,接近 Bitcoin 平均 10 分钟出块时间。
《柳叶刀·数字健康》10月20日发表麻省总医院布莱根医疗集团的 FAHR-Face 研究,AI 仅凭一张脸部照片即可识别癌症患者的死亡风险差异。
一组研究人员的研究显示,AI 正帮助东南亚数字经济在物价上涨与需求疲软的背景下保持强劲增长,规模将达 3680 亿美元。
Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。
推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。
ALTK-Evolve 用同一模型 GPT-4.1 从智能体自身轨迹中蒸馏行为指南并追加到系统提示词,无需更新权重或人工标注,让基础 ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%。
Google DeepMind 论文展示四个 Gemini 4 Argon 智能体在共享生存世界中用 27 小时 14 分钟通关 Minecraft 并击杀末影龙,全程无人类输入,自行编写 2,783 个 JavaScript 程序,期间死亡 605 次,token 成本估算约 $520。
清华大学团队 10 月 17 日发布 TacTalent 技术报告,评估 GPT-6 Astra 在接触密集型操作中的表现。
Xingyu Zhu 分享了相位敏感性评测实验仓库及基于 Qwen3 构建的分块 KV 压缩模型。实验显示 DeepSeek-V4 在相同代码和问题下,随前缀装饰性 docstring 每两个 token 变化而翻转答案,NIAH 准确率随 needle 位置在固定 4-token 周期上波动最高达 40 分,团队解释了这与分块 KV-cache 压缩的关系。
The Verge 报道 Environmental Defense Fund 与 Atlas Public Policy 上周发布的报告,称美国正在建设十年来最多的化石燃料基础设施,而可再生能源增长放缓。
推荐理由:报告给出新增装机结构从 5% 到 30% 的转变及风电光伏与燃气的成本对比,可帮助读者理解数据中心需求下美国电力格局的变化。
研究者提出 ConfigWM,通过任务条件化状态提取实现可配置感知,以语言任务描述为配置信号,将视觉嵌入映射到任务特定状态空间,过滤与任务无关的干扰信息,并在该状态空间中学习动作条件动力学用于规划。在干扰逐级增强的环境中,ConfigWM 规划成功率保持稳定,平均比最强基线高 22.3%,物理量探测 Pearson r 提升 0.365,干扰到干净检索提升 75.5%。