研究发现稀疏正则促使多任务神经网络自发形成功能模块

Bowen Shi 等人在 arXiv 发表研究，称稀疏正则化能在多任务神经网络中自发促进功能模块化，且无需预设模块边界。 研究在多层感知机和轻量级 transformer 中识别出紧凑、任务选择性的子网络 functional tokens：选择性保留这些 tokens 可维持对应任务的功能，且可在不重训的情况下经替代路径重组，重构学习到的复合计算。该特化优先在深层形成，浅层保留共享计算。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。