研究者提出SME-C专家点评+LLM精炼的评测数据集构建工作流

Honson Ling 等研究者在 arXiv 发布论文，提出 SME-C（Subject Matter Expert Critique）人机协作流程：领域专家对候选回答做轻量点评，再由 LLM 迭代分析精炼，用于构建领域专属评测数据集和评分标准。 该流程在金融商业简报领域验证：411 名金融从业者在两轮调查中对 520 个查询提交了 3,853 条点评，并测试了基于专家书面点评和仅基于偏好投票两种 LLM 精炼策略。研究者称，在另外 100 名从业者的盲测验证调查中，两种策略的质量都显著优于专家排位最高的基线回答。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。