跳到正文
热点事件持续更新

论文提出Ambient SFT:温度匹配微调框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Giannis Daras 等人在 arXiv 论文中提出 Ambient SFT 框架:将冻结的预训练模型作为噪声教师,要求微调后模型的高温条件分布与预训练模型匹配,以缓解微调数据集偏小导致的过拟合和尾部灾难性遗忘。 框架中温度超参数控制对预训练模型的信任程度:T→∞ 时退回标准 SFT,T=1 时等同知识蒸馏。论文称该方法在领域适配、指令微调和推理任务上均优于标准 SFT,相对标准 SFT 平均相对提升最高达 21%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv cs.AI
    Ambient LLMs:通过温度匹配实现数据高效的监督微调

    arXiv 论文提出 Ambient SFT 框架,用冻结的预训练模型作为噪声教师,要求微调后模型在高温条件分布上与预训练模型匹配,以缓解 SFT 数据集偏小导致的过拟合与尾部灾难性遗忘。温度超参数控制对预训练模型的信任程度:T→∞ 退回标准 SFT,T=1 等同知识蒸馏。该方法在领域适配、指令微调和推理任务上均优于标准 SFT,平均相对提升最高达 21%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。