跳到正文
热点事件持续更新

DNeo 论文提出 MoFA 特征编码,称推理提速 1.3 倍

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Jameson Sandler 等发布论文,提出 Mixture-of-Features Attention(MoFA)特征编码方法,并据此构建推测解码并行草稿模型架构 DNeo。论文称 DNeo 相比当时最优方法 DFlash-2 生成速度快 1.3 倍,且不增加草稿模型体积、不影响生成质量。该方法针对标准特征编码的三个局限:特征混合有损、缺乏记忆、对目标层均匀采样,分别引入拒绝记忆、2-tap 因果卷积、prefix-only 交叉注意力和非均匀层选择。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    DNeo:并行草稿模型需要更好的目标特征编码

    DNeo 提出 Mixture-of-Features Attention(MoFA)特征编码方法,针对标准特征编码有损(residual mixing)、无记忆、均匀采样目标层三个局限,引入拒绝记忆、2-tap 因果卷积、prefix-only 交叉注意力和非均匀层选择。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。