提出量化正交RNN训练方法QORNN

Foucault等人提出量化近似正交循环网络（QORNN），将量化感知训练（QAT）与正交投影结合，探索正交RNN权重矩阵量化的两种策略，并对激活值做训练后量化，实现循环回路的纯整数计算。 论文称，最高效的全量化模型是目前唯一能解决1000时间步Copy任务的选择；但在LSTM等门控RNN优于正交RNN的任务上，这些量化模型效果较差。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。