arXiv cs.AI· Yuqiao Wen, Lili Mou·· 1 天前AI 评分36
ICLHerd：以 In-Context Learning 为代理的大语言模型数据选择方法
ICLHerd: Herding-Based Data Selection for LLMs with In-Context Learning as a Proxy
AI 导读
ICLHerd 是一个针对大语言模型训练的数据选择框架，针对传统余弦相似度方法导致选定数据过度聚集在开发集样本附近的模式寻求偏差，利用 von Mises-Fisher 核在模式寻求与模式平均之间取得平衡。该方法还引入 in-context learning 作为验证代理，以高效搜索平衡超参数。结果显示 ICLHerd 优于现有 LLM 数据选择算法。
来源：arXiv cs.AI · arxiv.org