清华姚班团队发布TCSExam基准评测LLM理论计算机科学研究能力
热点事件持续更新
清华姚班团队发布TCSExam基准评测LLM理论计算机科学研究能力
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
清华大学姚班团队(Yifan Luo、Zhengying Liu、Yang Yuan、Zhilin Yang、Andrew Chi-Chih Yao 等)发布 TCSExam 基准与统一评测框架,用于评测前沿大模型在理论计算机科学研究全范围的能力,覆盖定理证明、求解器工程、构造及开放猜想求解四类任务。 TCSExam-Full 含 100 个经专家评审的任务,提交结果由 Lean 内核或可执行检查器核验;TCSExam-Lite 从中选取 20 个任务(每类任务 5 个),在相同单次尝试预算下将尝试次数减少 80%。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
TCSExam 基准发布:覆盖理论计算机科学全领域评测前沿 LLM报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AITCSExam 基准发布:覆盖理论计算机科学全领域评测前沿 LLM
清华大学姚班团队等发布 TCSExam 基准与统一框架,覆盖理论计算机科学(TCS)研究全范围,评测定理证明、求解器工程、构造及开放猜想求解四类任务。TCSExam-Full 含 100 个专家评审任务,提交由 Lean 内核或可执行检查器核验;Lite 版选 20 个任务,将尝试次数减少 80%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。