跳到正文
arXiv cs.AI· Abbas Raza Ali, Muhammad Ajmal Siddiqui, Moona Zahid·· 53 分钟前精选AI 评分60

面向受监管企业的 Agentic AI 平台能力评估框架

A Capability Framework for Evaluating Agentic AI Platforms in Regulated Enterprises

AI 导读

作者提出一个评估受监管企业中 Agentic AI 平台的能力框架,基于某全球银行创新实验室的实测,对覆盖开源框架、专有产品和超大规模云生态的十个平台,在交易对手信用风险、检索增强生成和流程自动化三类金融工作负载上按九个能力维度评分。

推荐理由

论文基于某全球银行对十个智能体平台的实测,指出演示式评分存在光环效应,并给出先门控后评分的评估协议。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:智能体式 AI 平台——即由 LLM 智能体进行规划、调用工具、保留记忆并协同以改变企业系统状态的系统——其采购速度已超过其可被评估的速度。公开的智能体基准测试在固定测试框架中对模型进行评分;而企业购买的是集成平台,其编排、记忆、治理和工具层主导了最终效果,且企业采购在很大程度上依据供应商的演示。我们报告了一项由某全球性银行的创新实验室运行的工业评估计划(“竞赛”),由跨职能评审小组在三个金融服务工作负载(交易对手信用风险、检索增强生成和流程自动化)上,沿九个能力维度对十个平台——涵盖开源框架、专有产品和超大规模云厂商生态系统——进行评估。评分将各平台划分为三个梯队,这种划分在替代权重方案下保持稳定,并揭示了汇总分数掩盖的针对特定工作负载的优势。然而,一项次要分析发现,在名义上互不相同的维度之间 Cronbach's alpha = 0.98,且九个维度中有八个与总分的秩相关 >= 0.93:这是一种晕轮效应,表明基于演示的评分对呈现效果的度量与对实际能力的度量相当。基于这些经验教训,我们提出一个“先设门槛后评分”的评估协议,包含四个层次(能力、执行可靠性、治理门槛、业务价值)、通过多次重复运行估计的追踪级可靠性指标、一个自主就绪度量表以及一个可复现性协议。我们精确说明了当前证据能支持什么,以及一个受控测试框架还需要增加什么,才能把企业平台评估从结构化的判断转变为测量。
学科分类: 人工智能 (cs.AI);多智能体系统 (cs.MA);机器学习 (stat.ML)
引用格式: arXiv:2611.24039 [cs.AI]
  (本版本的 arXiv:2611.24039v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.24039

通过 DataCite 提供的 arXiv 签发 DOI(注册中)

提交历史

来自:Abbas Raza Ali [查看邮件]
[v1] 2026年11月18日 星期三 08:28:02 UTC (221 KB)

来源:arXiv cs.AI · arxiv.org