如何在多语言预训练中使用平行数据
一项 arXiv 研究探究如何利用机器翻译网页语料的平行结构提升多语言预训练:将文档与其翻译拼接进同一训练序列(PPT)并与标准预训练(SPT)在相同 token 预算下从头训练对比。结果显示 PPT 单独使用并不能稳定提升语言理解,但能建立更强的跨语言基础。据此提出先用 PPT 再接 SPT 的两阶段方法,在高资源和低资源设置下均持续优于单独标准预训练。
一项 arXiv 研究探究如何利用机器翻译网页语料的平行结构提升多语言预训练:将文档与其翻译拼接进同一训练序列(PPT)并与标准预训练(SPT)在相同 token 预算下从头训练对比。结果显示 PPT 单独使用并不能稳定提升语言理解,但能建立更强的跨语言基础。据此提出先用 PPT 再接 SPT 的两阶段方法,在高资源和低资源设置下均持续优于单独标准预训练。
论文提出 Banzhaf Resource Attribution(BRA),在固定失败状态与修订协议下测量计算、信息、反馈三类资源对修复失败的边际贡献。
研究者提出将高保真数字化任务模型与强化学习结合的任务协调方法,用 PPO 训练协调器在马尔可夫决策过程框架下做自适应任务分配。以空中灭火任务的三种场景验证:单场景训练的协调器在苛刻场景中会退化到随机策略水平,而双场景并发训练的协调器在自身场景内不输单场景版本并显著优于其他策略。敏感性分析表明训练时覆盖的变化范围决定部署后的表现。
arXiv 论文提出通用记忆注入威胁模型,指出 ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 均可通过个人记忆、项目、技能、组织指令和 MCP 资源等向量被注入恶意指令,实现 NIST 全部攻击目标,并在新会话中持续传播虚假信息或生成有害内容。
推荐理由:论文提出通用记忆注入威胁模型,并指出近半数防御机制在主流服务中尚未实现,可帮助读者评估长期记忆功能的安全风险。
比萨大学人工智能国家博士项目的一篇 175 页博士论文(arXiv:2610.28803)从因果视角研究分布偏移下的泛化问题。
一篇 arXiv 论文提出基于 CUDA 的 GPU 并行化策略,使 Gabriel 图的构建可扩展到大规模数据。方法包括线程索引到顶点对的隐式闭式映射、基于 bitmask 的两遍原子压缩边表构建和线程粗化策略。
Md Mirajulul Islam 的博士论文提出一系列离线学徒学习框架,围绕奖励建模与示范质量两大挑战。其中 EM-EDM 按潜在奖励函数聚类示范,THEMES 通过分层奖励调控切分轨迹并在一个教育及三个临床数据集上超越基线;CCHAL 借助贝叶斯信用分配在三个临床 EHR 数据集和一个 ITS 数据集上优于 HALIDE 等基线。
VerifierBench 是一个评测验证器生成能力的基准,包含来自六个 agent 基准的 222 个任务、4,993 个隐藏测试用例,覆盖工具调用、基于状态和代码验证三类场景,并配有 Verifier4Verifier 六项审计。
一项 arXiv 研究提出用从历史评审语料学习的批评清单来减少同行评审中的“评审员抽签误差”,并构建了 LLM 辅助的清单树生成流程。在 NeurIPS 2021 和 ICLR 2022 评审数据的模拟实验中,清单使三位评审员委员会的 MSE 分别降低 58% 和 21%;20 人的人类实验中,论文排序 MSE 从 0.48 降至 0.22。
Ksenia Kozha 提出在 LLM 构建的学术知识图谱中,仅验证引文不足以保证可比性,需区分工作地址、来源定义的类别及准入比较的决策。文章以汉语方言学为例说明不同文献分类单位在成员、层级和判定标准上的差异,并在四个可重跑案例中通过 PaRAGraph Casebook 存储 地名归属、名称判定等决策对象,使分类可修订而证据路径保持固定。
arXiv 论文提出文献搜索基准 CompLit,覆盖全部八个 arXiv 领域,分别诊断隐式、累积与未被满足三类搜索需求。最强智能体 Codex(GPT-5.6-Sol)和 Claude Code(Opus 4.8)在 Standard 查询上答对 86-87%,隐式需求下降至 66-68%,累积需求再分别降 6 和 15pp,对无文献满足的查询最多弃答 53%。
FutureLens 研究分析了 2012-2022 年 5,655 篇 ACL 论文(其中 4,005 篇含未来工作引用文本),考察用未来工作语句描述领域演变时的测量问题。
一项被 NeurIPS 2026 AI-Native Academia 工作坊接收的研究审计了同一作者的两个科研仓库(分别为 466 和 103 个 commits),考察 Git 记录能提供多少 AI 参与科研的证据。
论文提出 CIDOC CRM Periodic Table,一个单页浏览器工具,将 CIDOC CRM 7.1.3、CRMsci 3.2、CRMdig 5.0 与 CRMinf 1.2.1 中的 131 个类和 480 个属性条目整合为可导航界面。工具提供一步三元组构建器和多步路径查找器,可解析跨越四个规范文档模型边界的属性链。基于 56 个月的访问统计,作者报告了初步采用信号。
研究者提出伪造严重性分级框架(Fabrication Severity Stack, FSS),按检测难度将引用造假分为从虚构文献到内容错配的三个层级,并设计可由主流 LLM 界面执行的分阶段启发式核查流程。
arXiv 论文提出 First Passage Attention(FPA),用路径极值替代传统遗忘门沿 key-query 路径求和的衰减方式,可选择性擦除中间上下文并保留更早的关键 token。
arXiv 一项研究探索将图表作为数据智能体推理循环中的内部认知动作。研究者构建包含 200 个受控任务的 probe 套件,发现智能体从自生成图表中得分与数值输出相当,但图表访问权不会自动转化为持续使用;图表在时序、模式和异常推理上占优,文本在精确读取和条件验证上更强。
一项 arXiv 研究(arXiv:2610.30045)通过可执行的算术规则,将受控输入变化与决策模型的规则迁移、联合可靠性和定向信息使用联系起来。实验显示迁移增益随最近源答案一致性上升,完全冲突的 quartet 群体增益很小且在不同源拆分下符号相反;等价改写在任务层面产生相反效果。测试的决策服务在等价措辞间改变答案的幅度大于相同文本重复,且通常遵循被改动表格数值或映射所暗示的答案目标。
研究者提出 HGM-Dual,一个用于规划智能体 harness 演化的诊断引导框架,以解决 HGM 等递归自我改进方法在规划任务中盲目探索、消耗大量评估预算的问题。该方法通过谱系感知上下文记录祖先修改的效果归因,并采用错误条件下的双路径子代生成。在案例准确率上相较最强基线最高提升 14.45%,同时以 2x-4x 更少的评估预算达到 HGM 变体的最终性能。
一项 arXiv 研究提出 Behavioral Localization 方法,通过对比冻结智能体有无文本技能时的输出,定位技能真正起作用的轨迹位置,再用其监督训练短软提示。