Hugging Face Daily Papers· Zhizhuo Kou, Heming Li, Jian Yang, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo·· 3 天前AI 评分42
校准顺应对(CAP):让聊天模型回应时匹配用户方言变体的后训练方法
Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training
AI 导读
一项 arXiv 研究追踪了从 SFT、DPO 到强化学习各后训练阶段对模型匹配用户方言倾向的影响,发现 10 个开源模型系的后训练把回复统一为标准英语,且 DPO 更新偏好匹配英式/澳式拼写而非 AAE 和 Singlish。研究者提出校准顺应对(CAP)偏好数据,在完全开源模型上提升了对未见方言特征的匹配度,同时未增加标准英语用户的方言输出,也不损害指令遵循能力。
来源:Hugging Face Daily Papers · arxiv.org