提出Prompt-TIES/DARE梯度合并增强提示鲁棒性

波茨坦大学 Hasso Plattner Institute 的 Frederic Sadrieh 等人发布论文（arXiv:2610.37683），提出 Prompt-TIES 与 Prompt-DARE 两种梯度合并方法，在指令微调阶段为大语言模型构建对提示词变化的鲁棒性。方法将模型与梯度合并中的干扰消解算子应用于提示梯度。 论文称，该方法可直接提升局部鲁棒性，在完全微调模型上将近乎减半逐样本方差，且对整体准确率影响很小。评估覆盖两个家族、两种规模的四个模型。

AI 根据报道生成 · 37 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。