研究LoRA-DPO块层级放置
热点事件持续更新
研究LoRA-DPO块层级放置
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Yishen Chen、Qi Dong、Yukun Zhang 在 arXiv 论文(arXiv:2510.12044)中提出 Hierarchical Alignment 方法,把 Transformer 解码器按深度划分为 Local、Intermediate、Global 三个区域,将固定的 LoRA 预算限制在某个连续块内研究 DPO 偏好微调。 论文称,将更新放在中间层不仅效果更好,还比参数量相当的全深度分配占用更少峰值内存、单步耗时更短。不过作者指出,最佳块位置及其行为价值仍需按具体设置逐一验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
Hierarchical Alignment:块级 LoRA-DPO 用于大语言模型偏好微调报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIHierarchical Alignment:块级 LoRA-DPO 用于大语言模型偏好微调
论文提出 Hierarchical Alignment 方法,将 Transformer 解码器按深度划分为 Local、Intermediate、Global 区域,把固定 LoRA 预算限制在某一连续块内研究 DPO 偏好微调。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。