树集成谱视角理论与新压缩方法论文

Binh Duc Vu 与 David S. Watson 发布一篇 NeurIPS 论文（camera ready 版），从谱视角研究随机森林（RF）与梯度提升机（GBM）两类树集成模型，提出基于谱分析的蒸馏压缩方法。 理论方面，论文推导出 RF 回归的最小极大最优收敛率，并证明在温和的正则性条件下，核算子的特征值衰减决定统计速率。 方法方面，作者利用 RF 核算子的主特征函数与 GBM 平滑矩阵的主奇异向量学习非线性映射，得到的蒸馏模型比原模型小几个数量级、性能仍有竞争力，据论文称效果优于最先进的森林剪枝与规则提取算法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。