SynthCorp 发布数据智能体基准生成平台

SynthCorp 团队在 arXiv 发布论文，介绍一个通过模拟业务事件随时间生成和修改企业数据、从而创建可定制数据资产与基准测试的平台，目的是解决现有 LLM 数据智能体基准快速饱和、难以针对特定能力的问题。 其初始基准包含七个数据资产（单资产最多 1K 运营表）和覆盖五个领域的 256 个任务，论文称流水线检查错误率接近零。跨三种模型、四种数据上下文设置的评估显示该基准能有效区分数据上下文与模型层级。团队称基准即将发布。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。