跳到正文
热点事件持续更新

研究:单文档LoRA开放书分数主要反映阅读行为

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Martino M. L. Pulici 等人发布 arXiv 论文《Mostly Reading》,在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器,结论是开放书(开卷)分数主要衡量的是所有适配器共享的“阅读”行为,而非记忆具体内容。 证据是:一个在其他文档上训练的随机适配器可恢复专家适配器相对基座模型 82% 的开卷优势;但内容确实进入了权重,因为在无原文的 cloze 回忆探测中,专家适配器比基座模型高 0.094。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.AI
    开卷分数在文档级 LoRA 适配器中主要衡量什么

    研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个 LoRA 适配器,发现开卷分数主要反映所有适配器共享的“阅读”行为:随机适配器可恢复专家适配器 82% 的开卷优势,但在无原文的 cloze 探测中仅约 2%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。