用探针代替提示词:Multi-Meta-RAG 中基于隐藏状态的元数据过滤方法
一项研究提出用小型开源语言模型隐藏状态上的多标签逻辑回归探针,替换 Multi-Meta-RAG 中依赖 GPT-3.5 API 的新闻源元数据提取器。
一项研究提出用小型开源语言模型隐藏状态上的多标签逻辑回归探针,替换 Multi-Meta-RAG 中依赖 GPT-3.5 API 的新闻源元数据提取器。
研究者推出 nokast-secureRAG,一个约 0.5B 参数的小语言模型,作为 RAG 检索与生成之间的语义防火墙,联合评估用户查询与检索内容,分类为安全、可疑或恶意。
研究者提出 Temporal Evidence-Parameter Co-Alignment(TEPCA)框架,用于提升 LLM 在时序知识图谱(TKG)上的推理能力。
RAG-NIMBF 是一个非侵入式模块化基准测试框架,可作为评估层附加到现有 RAG 流水线,通过受控消融和端到端实验追踪分析分块、嵌入、检索、重排等配置空间。
Wonsup Shin 与 Jingu Kim 在 arXiv 发表论文,消融一条将会议语音转为问答对的语料生产管线。四个语料来自同样 40 场韩语医疗与金融会议,语料质量随处理阶段开启上升,四名 LLM 评审与六名人类专家排名一致,全精炼语料在 1-5 分制上分别领先 +0.18 和 +0.22。
一项 arXiv 研究提出"事实访问状态"概念,发现掩码扩散语言模型(DLM)在第一层注意力就把关系措辞路由到可见实体位置,事实查找比自回归(AR)模型更早完成,且状态随关系表述和查询方向变化而占据一片区域而非单点。
一项 arXiv 研究评测了语言模型智能体的上下文压缩对“后续问题”的影响。在 MultiRC 上,用 gpt-6-luna(通过 OpenAI Decisions API)为当前问题选句可提升该问题准确率 11.4 个百分点(仅用 25% token),但对后续问题相比随机删句无优势;LLMLingua-2 按词删减则在后续问题上高出随机删句 12.5 个百分点。
研究人员提出 Joint Constraint Aggregation(JCA)方法,解决检索增强问答中错误答案因出现频繁且满足部分问题要求而被误选的问题。实验通过增加支持竞争答案的段落验证了这种检索偏斜确实影响模型决策,而 JCA 将候选答案与从问题中提取的全部要求进行对比。在三种评测设置和三个指令微调骨干模型上,JCA 提升了整体准确率,且在检索偏向竞争答案时优势更明显。
arXiv 论文提出 GRaSP,一种无需重训练的重排序层,通过按延迟衰减相关性得分并可选加入成本惩罚来优化地理分布式 RAG 检索。
论文提出 Model Sanity Service(MOSS),将 LLM 相关性评分嵌入持续监控循环,用于搜索与推荐系统的语义故障诊断。该框架已在美国某大型零售商生产环境运行超过六个月,覆盖推荐、搜索和优惠场景,发现两起确认的线上服务缺陷,其中回填混合缺陷的修复方案经离线验证使告警率相对下降 76.4%。
研究者提出用 LLM 驱动的进化程序搜索来优化生成式检索(GR)中的语义标识符(SID)设计,据称是该方法的首次应用。框架使用本地部署的开源 31B 模型变异可执行组件,并用 1M 参数代理解码器替代反复训练 1B 目标生成器,代理与目标 Recall@100 的 Spearman ρ 达 0.90。
arXiv 论文提出 FALCA,将长程深度搜索建模为“提出-证伪”过程,采用 Searcher-Falsifier 协作架构:Searcher 提出候选答案,独立 Falsifier 主动寻找反证、检查未满足约束并生成证伪报告。
论文提出 InsightRAG,利用作者撰写的 Related Work 章节中的人工判断来改进自动综述生成。其洞见引导检索沿作者支持的引用关系重建经验证的研究范围,并在最小冲突目标下聚合判断生成分类体系。在十个主题上的结果显示,范围重建、分类体系质量、引用支持和参考文献可靠性均有提升。
一篇 arXiv 立场与技术报告提出,纵向临床检索应视为在时间轴上分配有限证据预算,而非仅按相关性排序,并展示 Onco-CONSTRUE 框架的检索分析。Study A 中 13 个临床查询、20 份患者记录上,Temporal-15 配置槽位召回率达 0.538,高于 Global-50 基线的 0.388,但每查询检索证据达 496 对 50 个索引单元。
论文提出 MemDev-Bench,基于真实仓库历史评测记忆系统对代码 Agent 的影响,构建了 555 个基础任务配 4,869 个可执行可验证历史任务的评测集。系统评测发现记忆主要提升细粒度定位与编辑的正确性,但 Agent 不加重新评估地复用记忆会导致本可解决任务失败,且无关历史加剧此问题;直接提供原始历史轨迹则比记忆系统更省步数。
这篇立场论文提出,通用视觉语言模型(VLM)可通过 System One 决策直接充当多模态重排序器,无需专门训练:用一道选择题对第一阶段检索的 top 16 候选打分,从一次前向传播中读取各候选标签概率完成排序。