DecisionPivot:面向 LLM 系统决策模型的诊断基准
DecisionPivot 是一个诊断基准,包含 48 个任务、40,033 个条目、七种决策角色,用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。
DecisionPivot 是一个诊断基准,包含 48 个任务、40,033 个条目、七种决策角色,用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。
Wired 实测多款 AI 录音笔记设备并给出推荐:Plaud NotePin S 售价 179 美元、重 18 克,续航 20 小时、64 GB 存储,但转录仅 300 分钟且定价偏高;3.5 克的 Vocci Ring 智能戒指售 299 美元,转录速度快、摘要实用;Memoket Gem 售 200 美元,可生成独有的一页式信息图摘要。
EverOS 公布最新跑分,达到 SOTA 水准:LoCoMo 94.74%、LongMemEval 94.00%、AMA 80.89%、BEAM-1M 69.42%、SWE-ContextBench 34.34%。作者同时预告下个月将有重磅更新,未披露更多细节。
Nace.AI 于 10 月 6 日发布 Drex v2.0 决策模型,并在 10 月 12 日将 drex-latest 别名切至新版。
Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。
推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。
Axios 记者用 OpenAI Dots 和 Meta Muse 两款 AI 智能体规划 WNBA 总决赛亚特兰大之旅、紫色主题早午餐和纪念册,测试两者能力边界。
Hatch Sleep Clock 是一款非接触式睡眠追踪器,通过运动传感器记录睡眠,不提供睡眠评分,只给出每晚睡眠摘要和建议。与 Apple Watch Series 12 和 Oura Ring 5 对比,睡眠时长估算基本一致,睡眠阶段差异最明显。设备需摆放在床头柜上、与床垫齐平并距使用者 2 到 4 英尺,摆放位置会显著影响追踪准确性。
超频玩家 Luumi 用 Intel Core i5 4670K 在 Cinebench R11.5 上取得 10.8 cb 的多核成绩,打破了尘封12年的 HWBot 同级别世界纪录。
Arm 称其面向智能体 AI 工作负载的 AGI CPU 按机架性能约为 AMD EPYC 9755 的 1.99 倍,结果由 Arm 委托 Signal65 独立分析验证,测试覆盖 MySQL、NGINX、Milvus、Terminal-Bench 2、SWE-bench replay、fastText 和 vLLM CPU 开销七项工作负载。
Tom's Hardware 评测了 Creality Pika 手持 3D 扫描仪,称其便携性与价格使其成为 2026 年评测过的最佳扫描仪之一。该扫描仪重 260 克,预售价 $699,采用蓝激光线扫描与 NIR 结构光,单帧精度 .03mm,扫描速度最高 90fps,可无线连接手机或通过 USB 连接电脑,无标记激光扫描需线缆连接。
论文提出 Agent4Sci,一个衡量前沿编程智能体能否改进科学 ML 基准已发表最优模型的长程测试床,覆盖 11 个领域共 20 个基准。Claude Opus 平均相对提升 10.4%,但增益几乎全部来自常规 ML 工程技巧而非研究级洞察,并呈现新颖性误判、资源利用不足和快速坍缩为局部工程扫参三类局限。
研究者推出 StreamEval,一个面向交互式流式视频生成的统一基准,涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。
PhAI Labs 联合 16 个机构、23 位作者提出 DiscoveryRSI,一套面向科学发现的递归自我改进范式,论文、代码与模型已公开(https://arxiv.org/abs/2610.23839)。
Paweł Huryn 测试发现,使用 Claude Code harness 使 DeepSeek V4.1 Flash 1017 的成绩平均提升 2-3 分,但由于子智能体和更多输出 token,成本增加 80%。新结果中,max 档 7 次平均为 39.1,high 档 5 次平均为 36.4。
南京大学和UIUC研究人员对Codex、Claude Code、Kimi Code三种Coding Agent开展大规模配对实验,覆盖354个任务、2124次执行、约112亿Token,分析动态并发是否有效。
开源项目 OpenDesign 演示用 DeepSeek V4.1 Flash 1017 在其 Motion Design 中制作教程动效视频,内容是教其他 coding agent 接入 OpenDesign API。
Mistral 发布首个时序基础模型家族 Timestral,含 5M、28M、123M、209M 四种规格,最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三大公开基准上排名第一,以约三分之二的参数量超过此前最优模型。
推荐理由:官方给出了四个参数规模在 GIFT-Eval、TIME 和 fev-bench 上的排名与 CPU 延迟数据,读者可以据此评估时序预测选型。
Toby Ord 发文分析 AI 智能体群体(swarm)的扩展规律,指出 4 个智能体的群体总 token 需求约为单智能体两倍,但并行运行可将任务时间缩短一半;智能体数量扩 10 倍的收益仅为 10λ(约 3x 到 5x),存在类似人类团队的“踩脚”递减效应。
Yao Fu 转发 Xingyu Zhu 的观察:相同代码和问题下,DeepSeek-V4 的答案会随每前置 2 个 token 的装饰性 docstring 而翻转,NIAH 准确率还随 needle 位置在固定 4-token 周期内波动最多 40 个百分点。该推文串解释了 chunked KV-cache 压缩与此现象的关系。