DualHeads：少步扩散模型的奖励倾斜对齐方法

DualHeads 方法在冻结的扩散主干上仅用两个轻量二分类头——奖励头与参考头——对少步蒸馏扩散模型做奖励对齐，只需外部奖励评估和参考样本，无需可微奖励或随机轨迹。该目标在头最优时等价于带 KL 正则的奖励最大化，头权重之比设定正则强度。实验中少步生成器在使用规则型和模型型奖励时，任务奖励接近 40 步强化学习方法，且保持图像质量、无额外推理成本。