跳到正文
热点事件持续更新

RefCraft 基准发布:视觉参考网页生成仍是模型难题

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

RefCraft 团队在 arXiv 发布多模态网页开发基准 RefCraft,包含 300 个真实任务,将自然语言指令与 1-5 个参考网页截图结合,要求智能体解读参考、渲染、视觉检查并迭代优化输出,评测采用可独立验证的 keypoints 及程序化与 VLM 评判。 在 9 个前沿(M)LLM 上,最强系统总分仅 52.12/100,论文称基于视觉参考的智能体网页生成对现有模型仍是重大挑战。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    RefCraft 基准:以网页开发评测基于视觉参考的智能体生成

    RefCraft 是一个包含 300 个真实多模态网页开发任务的基准,任务将自然语言指令与 1-5 个参考网页截图结合,要求智能体解读参考、渲染、视觉检查并迭代优化输出,评测采用可独立验证的 keypoints 及程序化与 VLM 评判。在 9 个前沿(M)LLM 上,最强系统总分仅 52.12/100,表明基于视觉参考的智能体生成对现有模型仍是重大挑战。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。