DiaLong:面向长上下文对话记忆能力的评测基准
DiaLong: Benchmarking Reminiscence in Long-Context Dialogues
AI 导读
DiaLong 是一个长上下文对话数据集与记忆评测任务,包含 100 段由人工创建、再用 LLM 扩充的独特对话,任务为对 40 条关于对话的事实做真假判断的事实回忆。对最新 LLM 及多种记忆增强方案的测试表明,模型在长对话中保留和检索信息的能力仍需改进,提升记忆能力有助于模型在长对话中保持连贯与相关性。
来源:arXiv cs.AI · arxiv.org