谷歌 Gemini 4 Carbon 首批实测曝光，手感直逼 Opus 5.5
谷歌未发布的 Gemini 4 Carbon 被曝进入合作伙伴测试，并在 LMArena 开启盲测，实测显示其 3D 生成能力突出，有测试者用它一次通关整关超级玛丽。测试者反馈它比 Argon 慢 2 到 4 倍但质量更高、写代码手感接近 Opus 5.5；SVG 与前端审美仍是短板。Argon 全面开放仅 8 天后 Carbon 即开测，布林将这一节奏归因于递归自我改进。
#评测/基准
36氪 · AIAI 评分5757 Bloomberg NewsAI 评分2929 亚马逊 Alexa Tablet 12 Pro 评测：对标苹果 iPad
Amazon 推出 Alexa Tablet 12 Pro，对标苹果 iPad。Bloomberg 评测认为，这款平板采用 Google 软件，并配备出色屏幕，因此表现出色、值得推荐。
Startup FortuneAI 评分5353 Base Labs 发布 mammoth-1 与 elephant-1 决策模型评测
Startup Fortune 评测 Base Labs 在 Baseten 内发布的开源权重决策模型 mammoth-1（27B）与 elephant-1（9B），两者由 Qwen3.5 模型后训练而来，权重以 MIT 许可上架 Hugging Face，并通过 System One API 提供托管，2026 年 10 月 27 日前免费。
第一财经 · 正在AI 评分5353 DeepSeek 开源 DeepInfer 推理框架，AI 编写的 ForgeKernel 同周登顶两个算子评测榜
DeepSeek 近日全面开源推理框架 DeepInfer，继模型权重和 FlashMLA、DeepGEMM 等算子库后开放模型运行链路。
0xLuffy (@0xluffy_eth)AI 评分1515 Tim 实测 iPhone Duo 折叠屏：手动折叠 10,000 次后的深度评测
科技博主 Tim Pan 发布 iPhone Duo 折叠屏评测，实际手动折叠 10,000 次进行测试。该评测被称为比钟文泽的测试更客观，视频标题为 "iPhone Duo Review: 10,000 Folds Later"。
0xLuffy (@0xluffy_eth)AI 评分1717 省流版：iPhone Duo 折叠 10000 次前后对比，每天 5 次不到五年即达标
博主 Tim 对 iPhone Duo 折叠屏进行了 10000 次手动折叠的前后对比测试。按每天折叠 5 次计算，不到五年即可达到 10000 次。有人评价该测试为手动完成，比钟文泽的测试更客观。
Hugging Face Daily PapersAI 评分3939 CulturalRiddles：一个多文化谜语评测基准
CulturalRiddles 是一个由人工创作、社区协作完成的多文化谜语基准，覆盖 62 种文化、45 个国家、51 种语言，要求模型具备溯因与组合推理及文化特有知识。研究评测了 28 个 LLM 配置，结合自动评估与大规模人工评估，前沿模型在某些文化社区中准确率最高仅 22%。全部数据与代码已公开，并开放贡献渠道以扩展语言与文化覆盖。
36氪 · AIAI 评分7272 iPhone Duo 一周深度评测：软硬结合惊艳，但应用生态尚需数月完善
爱范儿发布 iPhone Duo 折叠屏手机的一周高强度使用评测，认为它是第一梯队产品但建议稍晚两个月购入。评测指出其通过折叠角度 API、纳米纹理表层和对 iOS 的底层重构实现软硬结合，折痕控制属第一梯队；但截至 10 月 21 日主流应用虽陆续适配，微信、抖音等高频应用仍需等待，内屏维修更换费用高达 8000 元，裸机重 254g。
a16z (@a16z)AI 评分3636 Reducto CEO Adit Abraham 谈 AI 基准测试沦为营销及如何找到真正适合自己的评测方法
Reducto 联合创始人兼 CEO Adit Abraham 在 a16z 访谈中指出，AI 行业的基准测试正逐渐沦为营销手段。他举例说，某基准发布方在自己的测试中加入轻微噪声和模糊后，其表现远差于其他厂商，而其他厂商表现稳定。他推荐谨慎设计评分细则的 LLM as a judge 方法，并主张行业应在自己的数据上做评测，而不是依赖通用基准。
WiredAI 评分6060 Wired 评测 Apple 首款折叠屏 iPhone Duo：硬件成熟但应用适配待完善
Wired 评测 Apple 首款折叠屏手机 iPhone Duo，给出 7/10 分，认为硬件成熟、铰链顺滑、纳米纹理屏明显弱化折痕，但重 254 克且部分应用尚未针对 7.6 英寸内屏适配。评测指出应用需适配 iOS 27.1 SDK 才能完整支持，建议等开发者优化后再入手，并对比了 Galaxy Z Fold8 的轻量化优势。
The VergeAI 评分6969 The Verge 评测苹果首款折叠屏 iPhone Duo
The Verge 发布 iPhone Duo 折叠屏评测，称其为苹果多年来最大胆也最混乱的第一代产品，评分 7 分，起售价 $1999。
ElectrekAI 评分3535 沃尔沃 EX60 实测续航超 EPA 标称，单次充电行驶超 350 英里
Edmunds 真实续航测试中，2027 款 Volvo EX60 P10 AWD（22″ 轮胎）单次充电行驶 352 英里，比 EPA 标称的 312 英里高出 13%，能效为 28.8 kWh/100 英里，优于标称的 30 kWh。
Gorden Sun (@Gorden_Sun)AI 评分4747 Vals AI 测试显示 DeepSeek V4.1 Flash 1017 在多步骤进攻性网络安全任务中击败 GPT 6 Sol
Vals AI 称，在其基于模拟企业网络构建的多步骤进攻性网络安全基准中，DeepSeek V4.1 Flash 1017 击败了 GPT 6 Sol。GPT 6 Sol 是通过 Daybreak 可信访问计划测试的，而获取 Daybreak 权限的账号需约 1000 块且无质保。
oran_ge (@oran_ge)AI 评分3030 DeepSeek 4.1 Flash 测试视频动效 harness 用时 12 分钟、成本约 0.20 美元
博主 oran_ge 用 DeepSeek 4.1 Flash 最新版测试生成视频动效 harness cola，用时 12 分钟，总成本约 0.20 美元。效果与 opus 5.5 相比存在差距。让模型自己打分，它给出 7.5 分（opus 原版为 10 分标准）。
arXiv cs.AIAI 评分5959 BreakingWeb 通过受控环境干预构造更难的浏览器智能体任务
研究者提出 BreakingWeb，通过可控修改网站内容、服务器状态或渲染页面把已有任务变难，包含 7 个自托管网站上的 519 个任务对。六款浏览器智能体在干预下平均下降 22.9 个百分点，人类仅降 10.0 点；智能体 75% 的失败是信念失败，即在未完成所需改动时宣布任务完成。
arXiv cs.AIAI 评分4343 OPIS：面向视频世界模型多目标记忆的输入锚定基准
研究者推出 OPIS，一个以初始观测中的固定目标实例为锚点的输入锚定基准，用于评估视频世界模型的多目标记忆能力。数据集包含 500 个案例，覆盖真实世界、具身机器人和游戏世界领域，为 12,672 个刚体、铰接和可形变实例提供密集目标级标注。
arXiv cs.AIAI 评分3434 双重差分在受限评分量表上可人为制造效应：一项预注册的 LLM-judge 审计
一项 NeurIPS 2026 NewInML Workshop 接收的预注册审计研究以闭式推导证明：当评分量表有界时，两回答共同经历的严重度偏移会因量表上下界衰减不均而伪造成差异中的差异交互效应。
arXiv cs.AIAI 评分4747 VibeTraining-Bench：面向迭代系统改进的数据-训练器-推理框架协同设计基准
arXiv 论文提出 VibeTraining-Bench，评估智能体联合优化训练数据、训练器与推理框架的跨组件协同设计能力，任务覆盖终端操作、软件工程、多轮工具使用和数学推理，并设置测试数据隔离、独立容器和网络限制三重防作弊机制。
arXiv cs.AIAI 评分3737 HSPR：通过分层后验推理恢复软件智能体基准测试分数
研究者提出分层分数后验恢复方法 HSPR，用历史响应因子与带不确定性的组成功率，结合后验引导的自适应任务选择，以小预算估计软件智能体在完整基准上的分数。在 SWE-bench 系列四个任务库上以 10% 任务预算评测时，HSPR 在其中三个任务库取得最低平均绝对误差（MAE），四个任务库均取得最低最大绝对误差（MaxErr），且代码与项目资源已公开。
arXiv cs.AIAI 评分5959 AM-Bench：面向智能体失准的统一分类与评测基准
研究团队提出 AM-Bench，一个基于欺诈三角框架、覆盖七个行业 35 个场景的智能体失准评测基准，沿感知威胁、感知机会和推理三个维度构建评测与检测系统。
arXiv cs.AIAI 评分4949 FDE-Bench：评估 AI 智能体端到端交付模糊真实业务需求的新基准
研究者推出 FDE-Bench，首个基于真实客户项目构建的基准，用于评估 AI 智能体在需交互式需求澄清与迭代优化的端到端交付任务上的表现。基准包含 49 个涵盖组合优化与机器学习的案例，智能体需从模拟客户处挖掘缺失需求，并由专属评估器按客户验收标准打分。
arXiv cs.AIAI 评分3939 AIMO Interpretability Challenge：基于模型内部机制区分稳健与虚假数学推理的竞赛
研究者提出 AIMO Interpretability Challenge，一项基于模型内部机制区分前沿数学大语言模型稳健推理与虚假推理的竞赛，已被 NeurIPS 2026 接收为竞赛项目。
arXiv cs.AIAI 评分3535 PReMISE：将策略评分标准作为 LLM 评测裁判的测量规范
论文提出 PReMISE 框架，基于成对人类偏好数据自动发现策略级评分标准集，并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%，可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%，且裁判间一致性基本不变（α=.531→.519）。
arXiv cs.AIAI 评分4949 Agents-as-Peers：以多智能体同行互评实现偏差可控的 LLM 评测
Agents-as-Peers 是一种分布式 LLM 评测协议：每个智能体生成任务、作答并互评同伴答案，不设特权评测者，自我评分不计入排名。在 12 个 LLM、420 道智能体生成问题的实例中，每个 regime 聚合 55,440 条非自我同伴判断，测得自评偏高、可见身份影响分数、首个固定答题位得分比打乱基线高 0.39 分等偏差。
arXiv cs.AIAI 评分3535 Code2Video-Compass：覆盖 T2V、I2V 与 V2V 的通用代码式视频生成综合基准
研究者推出通用代码式视频生成基准 Code2Video-Compass，覆盖文本到视频（T2V）、图像到视频（I2V）和视频到视频（V2V）三类设定。基准包含 2,104 个任务，横跨 10 个类别、24 个子类型和三个复杂度维度，并采用 12 项客观指标与 5 项主观指标的双层评测框架。
arXiv cs.AIAI 评分4141 事实回忆中的“指令税”：基座模型可胜过其指令微调版本
该论文介绍 AKBC LM-KBC 2026 共享任务的解决方案，在官方榜单取得 0.6836 分，超过 0.2964 基线一倍以上。在不使用检索和微调、参数上限 32B 的条件下，基座模型用文本补全提示得 0.6836，而指令微调版本经聊天界面仅得 0.5681，作者称之为“指令税”。方案用训练集示例提示基座模型，生成 64–256 个输出并保留重复项，再针对不同关系做两项专门处理。
arXiv cs.AIAI 评分2929 CountVideoBench：评估视频语言模型物体计数预测偏差的新基准
研究者推出 CountVideoBench，包含 2,600 段合成视频、覆盖 [5, 50] 区间 26 个基数（各 100 段），用于诊断视频语言模型的物体计数偏差。
arXiv cs.AIAI 评分3131 ABACUS：评估图像编辑模型在场景保持下的对象类别与计数能力基准
研究者提出 ABACUS，一个针对指令式图像编辑模型数值编辑能力的基准，用于评估模型在保持场景不变的前提下增、删或改变指定数量对象的能力。该协议无需 VLM 打分，基于 panoptic 真值和检测器共识在实例级验证编辑结果。对主流图像编辑模型的评测显示，数值编辑失败随场景复杂度和对象数量增加而显著加剧。
arXiv cs.AIAI 评分4141 超越标量排行榜：多目标 LLM 竞技场中识别 Pareto 前沿的自适应采样方法 VB-EGE
arXiv 论文提出 VB-EGE，一种固定置信度的自适应采样算法，用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下，该算法能以高概率返回正确的 Pareto 前沿，并给出依赖实例的样本复杂度上界，证明其在对数因子内 minimax 最优。
arXiv cs.AIAI 评分2828 INCARBench：评估大语言模型为 VASP 生成 INCAR 参数的科学配置基准
研究者推出 INCARBench 基准，通过配置生成与修复两类任务评估大语言模型为 Vienna Ab initio Simulation Package（VASP）编写 INCAR 输入参数的能力。
arXiv cs.AIAI 评分2828 衡量 AI 生成辩论中的价值观表达与组织方式：arXiv 新研究提出诊断性指标框架
一篇 arXiv 论文提出用于比较人类参考辩论与 AI 生成辩论中价值表达和价值组织的诊断性指标框架，基于 Schwartz 基本价值理论，在话语、立场和整场辩论等多个层级上度量价值覆盖、对齐、扩散与跨轮动态。
arXiv cs.AIAI 评分3535 RTL 修复基准究竟在测什么？——RTLRepairBench 构建与评测偏差审计
一篇 arXiv 论文构建了 RTL 修复评测体系：含 5,784 对（broken, fixed）训练数据的 RTLRepairDataset、459 个留出用例的 RTLRepairBench（374 个语法变异、85 个行为变异）及支持仿真与形式等价的评测框架。
arXiv cs.AIAI 评分4444 DIVE 基准：评估连续流中带视觉参与的全双工交互
研究者推出 DIVE 基准，用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力，包含主动介入、持续参与和交互协调三大场景共六项任务，覆盖 525 个带精细人工标注的音视频样本。实验显示，主流实时模型平均响应延迟已低于 1 秒，但平均窗口响应率最高仅 53.77%，且根据新到达信息调整进行中回复仍然困难。
arXiv cs.AIAI 评分4242 给模型一根手指：从儿童计数发展视角评测视觉语言模型的计数能力
一项 arXiv 研究借鉴儿童借助手指点物学会计数的发展规律，用无智能的标注图像工具构建免训练 agent 循环，评测 9 个视觉语言模型在 682 张图片、7 种测试条件下的计数行为。
arXiv cs.AIAI 评分4141 TriGeoBench：带图形与 TikZ 的多模态数学几何基准
研究者推出 TriGeoBench，一个基于中国初高中数学考试构建的几何多模态基准，包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形，覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战，人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。
arXiv cs.AIAI 评分3636 TxnQA：面向交易事件序列的分析推理与证据溯源基准
TxnQA 是一个针对商户交易历史分析问答的基准，包含 27 个任务族（81 个模板）和 5 场景欺诈风险推理套件，答案由程序化计算。对 6 个 LoRA 适配的开源权重模型评测显示，Gemma-4-31B-IT 与 Qwen3-8B 的 E2E 得分分别为 0.867 和 0.816，被测 MoE checkpoint 仅 0.632-0.713。
arXiv cs.AIAI 评分4747 EGI-BENCH：企业级通用智能评测套件发布
Salesforce 等机构的研究者发布 EGI-BENCH，一个统一的企业级 LLM 智能体评测套件，整合 CRMARENA、HERB、MCP-UNIVERSE 等 8 个基准，提供单一命令行界面和 quick/deep 两种运行预算模式，并定义了 M1-M6 六维 EGI 分数。
arXiv cs.AIAI 评分4949 ReuF2F：基于形式化本科研究问题评测编程智能体的 Lean 4 基准
ReuF2F 是一个 Lean 4 基准，从 REU 项目收集 244 个形式化的入门级开放研究问题，用于评估编程智能体在 Lean 中端到端解决开放问题的能力。评测将问题及其逻辑否定放入 Docker 容器中的 Lean 项目，并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。结果显示表现最好的模型也只解决约 40% 的问题，仍有较大提升空间。
Hugging Face Daily PapersAI 评分3535 EvaOmni：一个证据锚定的音视频推理评测基准
EvaOmni 是一个证据锚定的音视频推理评测基准，包含 392 个视频和 1,027 条纯人工标注的问答对，覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
Hugging Face Daily PapersAI 评分4242 DecisionPivot：面向 LLM 系统决策模型的诊断基准
DecisionPivot 是一个诊断基准，包含 48 个任务、40,033 个条目、七种决策角色，用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。