研究显示对 LLM 做价值训练会对未训练价值和安全 traits 产生意外副作用
Unintended Side Effects of Value Training in LLMs
AI 导读
arXiv 论文 2610.29922 在四个指令微调 LLM 上沿 Hofstede 价值维度分别做价值训练,并评估跨价值迁移与更广泛行为。研究发现针对特定价值的微调会在未训练价值、风险偏好、社会认知和安全 traits 上产生意外副作用,作者建议后训练的价值对齐应纳入更广泛的行为评估。
来源:arXiv cs.AI · arxiv.org