研究：NCA合成数据预预训练可提升LLM下游性能
热点事件持续更新
研究：NCA合成数据预预训练可提升LLM下游性能
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Dan Lee、Seungwook Han、Akarsh Kumar、Pulkit Agrawal 等在 arXiv 论文中提出用神经细胞自动机（NCA）生成非语言合成数据，先对 LLM 做合成数据预预训练、再用自然语言训练。论文称，仅 164M NCA token 就能使 400M-3B 模型在 Chinchilla 最优数据预算下下游语言建模提升最高 6%，收敛加速最高 1.6x，且效果胜过用 1.6B 高质量自然语言数据加更多算力的预预训练。 上述数字为论文作者的实验报告，条件限于 Chinchilla 最优数据预算下的 400M-3B 规模模型。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 13:00
用神经细胞自动机为 LLM 预预训练：164M 合成 token 可提升下游性能 6%报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AI用神经细胞自动机为 LLM 预预训练：164M 合成 token 可提升下游性能 6%
研究提出用神经细胞自动机（NCA）生成非语言合成数据，对 LLM 做合成再加自然语言的预预训练。仅 164M NCA token 就能让 400M-3B 模型在 Chinchilla 最优数据预算下下游语言建模提升最高 6%、收敛加速最高 1.6x，且胜过用 1.6B 高质量自然语言数据加更多算力的预预训练。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。