多层 SSM 表达能力与限制的理论研究
On the Expressive Power and Limitations of Multi-Layer SSMs
AI 导读
一项理论研究考察深度、有限精度、状态维度和思维链（CoT）如何影响多层状态空间模型（SSM）的表达能力。针对显式表的 K 函数复合问题，证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³)；而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。
来源：arXiv cs.AI · arxiv.org