BigCode 团队发布代码生成基准 BigCodeBench
热点事件持续更新
BigCode 团队发布代码生成基准 BigCodeBench
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
BigCode 团队发布代码生成基准 BigCodeBench,要求模型在 1,140 个细粒度任务中调用来自 139 个库、7 个领域的多个函数,平均每个任务含 5.6 个测试用例,分支覆盖率达 99%。团队同时发布了变体 BigCodeBench-Instruct,并评估了 60 个大语言模型。 评估结果显示,模型最高得分仅 60%,远低于人类的 97%。团队称这表明模型尚不能精确遵循复杂指令来使用函数调用。
AI 根据报道生成 · 3 小时前更新
最新进展11月16日 13:00
BigCodeBench:用多样函数调用与复杂指令评测大语言模型代码生成报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- arXiv cs.AIBigCodeBench:用多样函数调用与复杂指令评测大语言模型代码生成
BigCodeBench 基准挑战大语言模型在 1,140 个细粒度任务中调用来自 139 个库、7 个领域的多个函数,平均每个任务含 5.6 个测试用例、分支覆盖率达 99%。对 60 个 LLM 的评估显示,模型得分最高仅 60%,远低于人类的 97%,表明模型尚不能精确遵循复杂指令使用函数调用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。