UCSB 与微软发布 ScholarEvolve:让 Agent 自动读论文并进化自身 Harness
UCSB 和微软研究团队提出 ScholarEvolve,将阅读研究文献、实现算法、评估效果的过程自动化,让学术成果直接参与 Agent Harness 演化。
UCSB 和微软研究团队提出 ScholarEvolve,将阅读研究文献、实现算法、评估效果的过程自动化,让学术成果直接参与 Agent Harness 演化。
arXiv 论文(arXiv:2610.25946)提出由人类主导、编码智能体迭代在代码空间中搜索策略的工作流,结合仿真反馈与正确性验证,并给出两个案例研究。
推荐理由:论文展示了用编码智能体在代码空间直接搜索策略的方法,两个案例的量化结果对多智能体路径规划工程实践有参考。
arXiv 论文提出 FALCON,一个反例锚定的代码安全验证框架,将攻击探索与行为验证分离,并通过被测程序的执行轨迹连接两者。在安全代码生成 benchmark 的测试时修复中,FALCON 带来比其他安全信号更强的留出集功能-安全增益,同时保持或提升功能;作为 RL 奖励时也优于静态分析和学习型奖励,并与代理奖励结合进一步提升留出集表现。
一项基于 400 个 BigCodeBench 问题构建 AST 级受控损坏评测框架的研究,衡量 LLM 修复代码时的“过度编辑”倾向。
arXiv 一项研究用多层模型比较 GitHub 上 AI 编程智能体与人类的 pull request,发现约五分之二的智能体 PR 处理时长差异来自仓库之间;在 280 个仓库中,智能体 PR 的仓库间方差是人类的 1.76 倍(95% CI 1.41–2.18)。
arXiv 论文提出 RELIEF 方法,用编码智能体修订代码生成模型产出的界面,并将改进融入原始生成轨迹作为微调监督数据。研究团队收集了 200 个合成网站、355 段交互记录及 24 名用户的反馈,微调了两个代码生成模型的多个变体。结果显示反馈效果随基础模型能力而变,其中来自人类交互记录的批评在测试模型下带来最大的可用性提升。
arXiv 论文提出 CEDR(Continuous Embedding Diffusion Reasoner),一种面向数学推理与代码生成的连续潜空间扩散训练与推理管线,从 Qwen3-4B 的三个隐藏层学习紧凑答案表示。
研究者在 Qwen3.5-VL-27B 基础上,用约 52k 多模态样本(CAD 视觉问答、text2cadquery 参数化与装配级 CAD 代码、Inventor/SolidWorks 的 COM 子语料)经统一多任务 SFT 训练出 IndustryForge-27B。
研究者提出 IDEAgent,一个将科研选题建模为质量-多样性(QD)联合搜索的多智能体框架,通过 lineage 追踪选题演化,用多目标反馈驱动质量修复与精炼,并借助轻量级序列记忆和与已完成、历史及被否决选题的显式对比保证多样性。在横跨 8 个 CS 领域的 32 个主题上,IDEAgent 的 Yield 指标较最佳基线提升 3.89x,Yield≥2 的主题数量达基线的 8 倍,并已开源。
研究者提出 VRPAgent 框架,将 LLM 生成的组件嵌入共享元启发式框架,并通过新型遗传搜索优化,为车辆路径问题(VRP)自动发现启发式算子。该方法在容量约束 VRP、带时间窗 VRP 和奖赏收集 VRP 上发现的开创了超越人工方法与近期学习方法的算子,且仅需单个 CPU 核心。作者称这是首批推进 VRP 最先进水平的 LLM 方法之一,论文发表于 TMLR。
GenoMAS 是一个由多个 LLM 智能体组成的基因组数据分析框架,通过类型化消息传递协议和引导式规划,将任务指南分解为 Action Units 并动态推进、修订或回溯。
arXiv 论文提出 AP-OPD(Adaptive Pullback OPD),改进 on-policy distillation。作者通过对比同一 response 内相邻 token block 识别出 penalty jump——惩罚骤升且持续存在,同时 teacher 置信度下降,称其为 penalty-confidence tension。
arXiv 论文提出一个工厂感知的对话式 copilot,将 PLC(可编程逻辑控制器)编程从一次性代码生成扩展为持续工程陪伴。系统在检索增强大语言模型生成符合厂商规范的 Structured Text 基础上,新增三项能力:工厂特定上下文摄取、面向解释与调试的聊天优先交互,以及从聊天到部署的分级工具访问阶梯。系统面向真实工厂基础设施设计,让工程师对每个产生实际影响的步骤保持控制。
一项系统性实证研究分析了 LLM 在跨语言代码翻译中的幻觉现象。研究覆盖 3 个基准数据集、6 组语言对和 7 个 LLM,人工标注 13,919 个幻觉案例,构建了包含语义一致性冲突、事实知识冲突和项目上下文偏差三大类的分类体系。基于该分类提出缓解框架 HaluCodeTran,结合基于 BM25 的相关翻译示例检索与分类感知的反思式优化,为构建更可靠的 LLM 代码迁移工具提供了实测基线。
研究者在 14,159 个 OSS-Fuzz 案例上分析历史软件构建的环境退化问题,发现 69.7% 的案例无法完成重构与验证,且多数失败源自少数重复出现的症状。
研究者在此前提出的 Locksmith Loop 确定性验证方法基础上,提出通过 entry-replay 测试用例认证生成合成端到端测试、提升分支与段落覆盖率的新方法。
一项被 EMNLP Findings 接收的研究分析了 8 个 6.7B–15B 参数的代码模型,基于 DELTASECOMMITS、SVEN 和 PRECISE-BUGS 三个 C 语言数据集进行线性探测。
研究者提出 ValiAssist,一种“示范即验证”系统,从教师对 AI 生成编程反馈的修改中推断可复用的验证逻辑,并支持教师在其他学生提交上检查和细化该逻辑。在 16 名教师的对比研究中,系统帮助产出的反馈与教学意图的一致率达 91%(对照 57%),修正问题标准的准确率提升一倍以上(77% 对 32%)。
一篇 arXiv 论文构建了 RTL 修复评测体系:含 5,784 对(broken, fixed)训练数据的 RTLRepairDataset、459 个留出用例的 RTLRepairBench(374 个语法变异、85 个行为变异)及支持仿真与形式等价的评测框架。
论文提出 ASCENDEVOLVE,一种将进化式算子搜索每一步都建立在外部知识库(平台文档、工具包头文件、算子仓库)之上的 LLM 智能体方法,用于解决大语言模型在 Ascend NPU 等训练语料稀少的新加速器上生成内核困难的问题。
论文提出 MemDev-Bench,基于真实仓库历史评测记忆系统对代码 Agent 的影响,构建了 555 个基础任务配 4,869 个可执行可验证历史任务的评测集。系统评测发现记忆主要提升细粒度定位与编辑的正确性,但 Agent 不加重新评估地复用记忆会导致本可解决任务失败,且无关历史加剧此问题;直接提供原始历史轨迹则比记忆系统更省步数。
arXiv 论文提出 REM(Reusable Experience Memory)框架,在智能体 think-act 循环内管理经验记忆的存储、召回和遗忘三个决策。
论文提出 TEAL,一种无需标注数据的工具进化方法,可为编码智能体在数据湖分析任务中自动构建和精炼可复用工具库:Explorer 与 Critic 两个智能体分别从数据湖和 Worker 轨迹中提出工具,仅在 Worker 重跑采纳且答案有轨迹证据支持时保留。
TEX 是一种基于执行驱动交叉验证的协作式测试时扩展框架:多个智能体并行生成测试与补丁,通过 K×K 交叉执行形成反馈矩阵进行客观验证。在 SWT-Bench Verified 上 TEX 达到 86.4%,刷新 SOTA 并比单智能体基线提升 +9.0%;即使从其输出中随机选取(84.4%)也超过此前 SOTA(84.0%)。
ReuF2F 是一个 Lean 4 基准,从 REU 项目收集 244 个形式化的入门级开放研究问题,用于评估编程智能体在 Lean 中端到端解决开放问题的能力。评测将问题及其逻辑否定放入 Docker 容器中的 Lean 项目,并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。结果显示表现最好的模型也只解决约 40% 的问题,仍有较大提升空间。
论文提出一种有界的在线步级修复模块,在 Lean 4 自动定理证明中不再丢弃失败的 tactic,而是把编译器错误信息喂给预训练修复模型原位修复。该方法在 LeanDojo 基准 1,990 题子集上相对纯采样基线最多提升 32%,多解出 82 题且在 K∈{1,3,5,8} 各预算下均有效;首次修复尝试即贡献 84–96% 的总增益,并在 Lean Workbook 上近乎翻倍解题率且零回退。
一项 arXiv 研究提出首个面向 LLM 电路生成的学习方法,不再优化单个电路,而是优化多次生成所得整个电路集在 PPA(功耗、性能、面积)目标空间中的质量与多样性。
论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。
ALTK-Evolve 用同一模型 GPT-4.1 从智能体自身轨迹中蒸馏行为指南并追加到系统提示词,无需更新权重或人工标注,让基础 ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%。
Google DeepMind 论文展示四个 Gemini 4 Argon 智能体在共享生存世界中用 27 小时 14 分钟通关 Minecraft 并击杀末影龙,全程无人类输入,自行编写 2,783 个 JavaScript 程序,期间死亡 605 次,token 成本估算约 $520。
研究者提出 HarnessAdapt-RL,在强化学习中同时训练策略并自适应调整 harness。基于 9B 基座模型,该方法在 SWE-bench Verified、Multilingual 和 Pro 上 pass@1 分别比 GRPO 提升 9.8、12.6 和 6.4 个百分点,并超过配备 OpenHands harness 的 GRPO。
论文提出 Agent4Sci,一个衡量前沿编程智能体能否改进科学 ML 基准已发表最优模型的长程测试床,覆盖 11 个领域共 20 个基准。Claude Opus 平均相对提升 10.4%,但增益几乎全部来自常规 ML 工程技巧而非研究级洞察,并呈现新颖性误判、资源利用不足和快速坍缩为局部工程扫参三类局限。
思琦团队的 SwiftSIQI 公开了围绕 Xcode 和 Apple 生态的 AI 方向调研分析报告,基于 100 位 Apple 生态领域专家反馈形成专家组报告。报告指出 Apple 开发生态相对独立,其 AI 采用率和开发者想法可能与外部体感不同。大众组数据仍在收集中。
南京大学和UIUC研究人员对Codex、Claude Code、Kimi Code三种Coding Agent开展大规模配对实验,覆盖354个任务、2124次执行、约112亿Token,分析动态并发是否有效。