跳到正文

官方站

arXiv cs.AI

共收录 790 条近 30 天 790 条

更新

收录归档 · 第 4 页

今天10月23日周五第 61–80 条
  1. arXiv cs.AI40

    多层 SSM 表达能力与限制的理论研究

    一项理论研究考察深度、有限精度、状态维度和思维链(CoT)如何影响多层状态空间模型(SSM)的表达能力。针对显式表的 K 函数复合问题,证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³);而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。

  2. arXiv cs.AI30

    MoE Transformer 泛化与缩放定律的理论研究

    一项发表于 ICML 2026 的研究为 MoE Transformer 建立了泛化与缩放理论,将每输入的激活参数容量与路由组合复杂度清晰分离。通过在固定路由模式上条件化并跨模式做联合界定,作者得到随激活参数预算缩放的度量熵上界及 MoE 特有的路由开销。研究证明逼近误差既可通过扩大激活容量、也可通过增加专家数来降低,并据此导出模型规模、数据量与算力最优权衡的神经缩放定律。

  3. arXiv cs.AI42

    步进信息量假设:LLM 中熵动态何时能追踪推理正确性

    一项 arXiv 研究提出步进信息量假设(SIA),从理论上刻画熵降低类推理信号何时与 LLM 推理正确性对齐,指出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。实验覆盖 GSM8K、ARC、SVAMP、MATH 四个基准及 base、指令微调、RL 训练等多种开源权重模型,发现熵-正确性对齐随 post-training 增强,但在任务难度超出模型能力时会减弱。

  4. arXiv cs.AI36

    SYNAPSE:用于序列编码中神经元分析与扰动的免训练框架

    SYNAPSE 是一个无需重训练基础模型的系统性框架,用于理解和压力测试 Transformer 模型的内部行为。它提取逐层 [CLS] 表示、训练轻量线性探针获得全局和逐类神经元排名,并在推理时施加 forward-hook 干预。实验显示任务相关信息编码在宽泛重叠的神经元子集中,这种冗余带来功能稳定性,但对权重或 logit 空间的小幅结构化操纵即可改变预测结果。

  5. arXiv cs.AI40

    StructLens:基于最大生成树的语言模型内部结构分析框架

    研究者提出 StructLens,通过在残差流的语义表征上构建最大生成树,以整体结构视角分析语言模型的 token 表征组织方式。分析发现相邻 token 在表征空间中也彼此接近,中间层表现出最强的局部跨度组织。预训练检查点分析显示,较小的局部单元在预训练中更早可被检测到,较大单元则更晚。

  6. arXiv cs.AI53

    信息论分析思维链可监控性并提出缓解 CoT 混淆的无标注训练目标

    论文用信息论分析思维链(CoT)监控,证明 CoT 与输出之间非零互信息是可监控性的必要非充分条件,并区分信息缺口与激发误差两类近似误差。作者提出基于输出与 CoT 互信息的免标注训练目标,在多环境中可防止 CoT 混淆并缓解奖励设定不完美时的 reward hacking。

  7. arXiv cs.AI33

    HealthMamba:面向医疗设施就诊预测的不确定性感知时空图状态空间模型

    HealthMamba 是一个不确定性感知的时空框架,用于医疗设施就诊预测,由统一时空上下文编码器、图状态空间模型 GraphMamba 和集成三种机制的不确定性量化模块组成。在加利福尼亚、纽约、得克萨斯和佛罗里达四个真实数据集上,其预测精度较 SOTA 基线提升约 6.0%,不确定性量化提升 3.5%。论文已被 IJCAI 2026 接收。

  8. arXiv cs.AI40

    LOFT:在低维特征子空间中实现机器遗忘(NeurIPS 2026)

    LOFT 方法提出在预训练模型的低维特征子空间中进行机器遗忘(Machine Unlearning),通过主投影分离保留数据与遗忘数据的信息。该方法只需优化一个可插入模型的小型投影矩阵,且仅需对预训练模型做一次特征提取,无需反复访问原始数据或更新整个模型。实验表明其计算开销显著更低、遗忘性能更优,代码已公开,论文已被 NeurIPS 2026 接收。

  9. arXiv cs.AI49

    用国际象棋解耦大语言模型的泛化与记忆

    研究者以国际象棋为受控测试床,按先验密度构建局面分类,区分模型依靠记忆还是泛化能力,并对 GPT 系列及 Claude Opus、Gemini 等模型进行纵向评估。结果显示,随相关先验减少性能持续下降,先验稀少时基座模型退化至随机对弈水平,所有模型提出非法着法的比率陡增;推理增强推理虽有提升,但每 token 的边际收益在缺先验时递减。

  10. arXiv cs.AI40

    面向低延迟量子纠错的进化式 BP+OSD 译码方法

    一项 arXiv 研究提出用差分进化(DE)算法优化的进化式 BP(EBP)译码器,并对 EBP+OSD 结构进行端到端优化,以解决传统 BP+OSD 在 BP 阶段迭代过多、OSD 阶段复杂度高的问题。方法引入多目标选择规则抑制 OSD 的频繁激活,显著降低复杂度开销。在 surface codes 和 QLDPC 码上的仿真显示,EBP+OSD 在低延迟场景下同时取得更优译码性能和更低复杂度。