论文提出Dreamer深度递归注意力混合框架

Knupp等研究者在arXiv发布论文，提出模块化的深度递归注意力混合框架Dreamer，将序列注意力、深度注意力与稀疏专家注意力结合，用沿深度方向的注意力缓解固定隐层尺寸对多步潜在推理的瓶颈。 论文称，在FLOP、参数量和内存相同的条件下，其模型达到同等精度所需训练token减少2至8倍；相同训练token下可胜过约大2倍的最先进模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。