多层 SSM 表达能力与限制的理论研究
一项理论研究考察深度、有限精度、状态维度和思维链(CoT)如何影响多层状态空间模型(SSM)的表达能力。针对显式表的 K 函数复合问题,证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³);而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。
一项理论研究考察深度、有限精度、状态维度和思维链(CoT)如何影响多层状态空间模型(SSM)的表达能力。针对显式表的 K 函数复合问题,证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³);而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。
一项 arXiv 研究分析了 2025 年 6 月至 11 月间 4chan 的 282,154 条评论与 Reddit 的 78,308 条帖子,刻画合成非自愿私密图像(SNCII)生态中的参与者、行为与资源。
一项发表于 ICML 2026 的研究为 MoE Transformer 建立了泛化与缩放理论,将每输入的激活参数容量与路由组合复杂度清晰分离。通过在固定路由模式上条件化并跨模式做联合界定,作者得到随激活参数预算缩放的度量熵上界及 MoE 特有的路由开销。研究证明逼近误差既可通过扩大激活容量、也可通过增加专家数来降低,并据此导出模型规模、数据量与算力最优权衡的神经缩放定律。
一项 arXiv 研究提出步进信息量假设(SIA),从理论上刻画熵降低类推理信号何时与 LLM 推理正确性对齐,指出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。实验覆盖 GSM8K、ARC、SVAMP、MATH 四个基准及 base、指令微调、RL 训练等多种开源权重模型,发现熵-正确性对齐随 post-training 增强,但在任务难度超出模型能力时会减弱。
一项 arXiv 研究提出 MCLR 微调目标,通过显式最大化类间似然比来强化类特定结构,解决扩散模型在标准采样下类间分离弱的问题。该方法在多种模型和数据集上显著提升无 guidance 条件生成质量,缩小与 classifier-free guidance(CFG)的差距。
SYNAPSE 是一个无需重训练基础模型的系统性框架,用于理解和压力测试 Transformer 模型的内部行为。它提取逐层 [CLS] 表示、训练轻量线性探针获得全局和逐类神经元排名,并在推理时施加 forward-hook 干预。实验显示任务相关信息编码在宽泛重叠的神经元子集中,这种冗余带来功能稳定性,但对权重或 logit 空间的小幅结构化操纵即可改变预测结果。
作者 Jinwei Su 撤回了提出 MICA 框架的 arXiv 论文,称需补充实验和更正,修正版将在工作完成后重新提交。
研究者提出 StructLens,通过在残差流的语义表征上构建最大生成树,以整体结构视角分析语言模型的 token 表征组织方式。分析发现相邻 token 在表征空间中也彼此接近,中间层表现出最强的局部跨度组织。预训练检查点分析显示,较小的局部单元在预训练中更早可被检测到,较大单元则更晚。
研究提出一种无数据有限体积卷积神经网络(FV-CNN),用于求解八个马赫数 2–15 下圆柱绕流的定常 Euler 流,训练不依赖 CFD 或实验场数据。
论文用信息论分析思维链(CoT)监控,证明 CoT 与输出之间非零互信息是可监控性的必要非充分条件,并区分信息缺口与激发误差两类近似误差。作者提出基于输出与 CoT 互信息的免标注训练目标,在多环境中可防止 CoT 混淆并缓解奖励设定不完美时的 reward hacking。
研究者提出 RuleSmith 框架,将多智能体 LLM 自博弈与基于代理模型的优化结合,用于自动游戏平衡。
HealthMamba 是一个不确定性感知的时空框架,用于医疗设施就诊预测,由统一时空上下文编码器、图状态空间模型 GraphMamba 和集成三种机制的不确定性量化模块组成。在加利福尼亚、纽约、得克萨斯和佛罗里达四个真实数据集上,其预测精度较 SOTA 基线提升约 6.0%,不确定性量化提升 3.5%。论文已被 IJCAI 2026 接收。
研究者提出 CORE 方法,通过在搜索引擎返回内容中附加字符串型、推理型和评论型三类优化内容,来影响 LLM 生成式搜索的输出排名。配套基准 ProductBench 覆盖 15 个商品类目、每类 200 个商品,基于 Amazon 搜索的 top-10 推荐构建。
LOFT 方法提出在预训练模型的低维特征子空间中进行机器遗忘(Machine Unlearning),通过主投影分离保留数据与遗忘数据的信息。该方法只需优化一个可插入模型的小型投影矩阵,且仅需对预训练模型做一次特征提取,无需反复访问原始数据或更新整个模型。实验表明其计算开销显著更低、遗忘性能更优,代码已公开,论文已被 NeurIPS 2026 接收。
Hansheng Ren 在 arXiv 论文(v5)中提出 Halo 架构,将有理数域上的精确推理替代大语言模型依赖的浮点"模糊"算术,并配备自定义 Exact Inference Unit(EIU)。
一项 arXiv 研究在捕食者-猎物环境中对比独立 Q-learning(IQL)与中心化 Q-learning(CQL),在 5x5 和 8x8 网格上各训练 200,000 episodes。
研究者以国际象棋为受控测试床,按先验密度构建局面分类,区分模型依靠记忆还是泛化能力,并对 GPT 系列及 Claude Opus、Gemini 等模型进行纵向评估。结果显示,随相关先验减少性能持续下降,先验稀少时基座模型退化至随机对弈水平,所有模型提出非法着法的比率陡增;推理增强推理虽有提升,但每 token 的边际收益在缺先验时递减。
研究者推出 RubRIX(Rubric-based Risk Index),一个由临床医生验证、基于护理伦理要素的 LLM 照护响应风险评估框架,涵盖忽视、偏见与污名、信息不准确、不加批判的肯定、认知傲慢五个风险维度。
一项 arXiv 研究提出用差分进化(DE)算法优化的进化式 BP(EBP)译码器,并对 EBP+OSD 结构进行端到端优化,以解决传统 BP+OSD 在 BP 阶段迭代过多、OSD 阶段复杂度高的问题。方法引入多目标选择规则抑制 OSD 的频繁激活,显著降低复杂度开销。在 surface codes 和 QLDPC 码上的仿真显示,EBP+OSD 在低延迟场景下同时取得更优译码性能和更低复杂度。
一项研究评估 GPT-4.1 能否生成与 MBT 心智化治疗维度结构一致的心智化画像:在 50 段标准化人机对话后由模型生成叙事画像,5 名受 MBT 训练的精神科医生按 4 个 MBT 轴和 2 个高阶维度独立评分。