研究测得Transformer记忆容量随维度指数增长
热点事件持续更新
研究测得Transformer记忆容量随维度指数增长
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Amirhossein Basareh 等研究者在 arXiv 发布论文，通过系统性实验（含贝叶斯优化超参数搜索）测量 Transformer 的事实记忆容量，发现记忆容量随模型维度呈指数增长，即存储 N 条事实所需的最小维度 d_min 随 N 对数增长。 实验在 N=45 到 49,920 的 11 个合成三元组数据集上进行，拟合并用 F 检验否定了幂律等替代缩放假设。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
Transformer 能装下多少信息？研究测量事实记忆容量的缩放规律报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AITransformer 能装下多少信息？研究测量事实记忆容量的缩放规律
一项 arXiv 研究通过系统性实验（含贝叶斯优化超参数搜索）测量 Transformer 的事实记忆容量：在 N=45 到 49,920 的 11 个合成三元组数据集上，记忆容量随 Transformer 维度呈指数增长，即存储 N 条事实所需的最小维度 d_min 随 N 对数增长，拟合 F 检验否定了幂律等替代假设。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。