研究者提出CoMem选择性上下文压缩框架

Sikui Zhang等研究者在arXiv发布论文，提出查询引导的选择性上下文压缩框架CoMem，让大语言模型在有限记忆预算下按查询需求选择性压缩长输入，而非无差别压缩全部内容。 该方法通过对比压缩器学习和同上下文难负样本挖掘策略获得查询敏感且保留上下文的记忆表示，并在记忆槽之间启用双向注意力。论文实验显示，CoMem在多种压缩比下的问答和RULER-NIAH基准上持续优于现有上下文压缩方法，代码已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。