开源循环Transformer模型Loopie发布
热点事件持续更新
开源循环Transformer模型Loopie发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Loopie团队发布开源循环Transformer模型Loopie系列，包含两个MoE模型：20B参数（2B激活）和6B参数（0.6B激活）。团队称其为迄今最强的开源循环Transformer架构。 循环Transformer长期面临一个难题：在N倍预训练算力下，增大参数量通常优于循环N次。Loopie团队称其解决了这一问题。
AI 根据报道生成 · 53 分钟前更新
最新进展10月27日 12:00
Loopie：迄今最强的开源循环 Transformer 架构报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AILoopie：迄今最强的开源循环 Transformer 架构
Loopie 系列是迄今最强的开源循环 Transformer，包含两个 MoE 模型：20B 参数（2B 激活）和 6B 参数（0.6B 激活）。循环 Transformer 长期面临 N 倍预训练算力下增大参数量通常优于循环 N 次的难题，Loopie 解决了这一问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。