论文提出用数据条件流匹配生成预训练LLM权重
热点事件持续更新
论文提出用数据条件流匹配生成预训练LLM权重
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Scott Biggs 等作者发布论文（arXiv:2611.07103），提出用数据混合配比作为条件，通过 Flow Matching 模型在 Gram-PCA 压缩的权重空间中直接生成完整的预训练 LLM 权重。作者称已开源全部源代码和相关产物，以支持权重空间学习与生成在 LLM 领域的继续扩展。 该方法的基础是一个 GPT-2 模型动物园：作者在 51M、124M 和 355M 三档参数规模上各训练 N=100 个模型，系统改变网页文本、书籍、数学、代码和法语五类数据在训练混合中的配比，再将配比嵌入作为条件训练生成器。这是单一论文发布的初期成果，相关效果的独立验证尚无报道。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
LLM Zoo之夜：用数据条件 Flow Matching 生成预训练 LLM 权重报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AILLM Zoo之夜：用数据条件 Flow Matching 生成预训练 LLM 权重
研究者构建了一个 GPT-2 模型动物园，在 51M、124M 和 355M 三档参数、每档 N=100 个模型的群体中系统改变网页文本、书籍、数学、代码和法语的数据配比，并用配比嵌入作为条件训练 Flow Matching 模型，在 Gram-PCA 压缩权重空间直接生成完整预训练 LLM 权重。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。