跳到正文
热点事件持续更新

研究LoRA-DPO块层级放置

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Yishen Chen、Qi Dong、Yukun Zhang 在 arXiv 论文(arXiv:2510.12044)中提出 Hierarchical Alignment 方法,把 Transformer 解码器按深度划分为 Local、Intermediate、Global 三个区域,将固定的 LoRA 预算限制在某个连续块内研究 DPO 偏好微调。 论文称,将更新放在中间层不仅效果更好,还比参数量相当的全深度分配占用更少峰值内存、单步耗时更短。不过作者指出,最佳块位置及其行为价值仍需按具体设置逐一验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    Hierarchical Alignment:块级 LoRA-DPO 用于大语言模型偏好微调

    论文提出 Hierarchical Alignment 方法,将 Transformer 解码器按深度划分为 Local、Intermediate、Global 区域,把固定 LoRA 预算限制在某一连续块内研究 DPO 偏好微调。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。