CHIMERA:用于泛化 LLM 推理的紧凑合成数据集
研究者推出 CHIMERA,一个包含 9K 样本的合成推理数据集,由先进推理模型生成长 CoT 轨迹,覆盖 8 大科学学科和超过 1K 细粒度主题,并用全自动评估流水线交叉验证题目与答案,免除人工标注。
研究者推出 CHIMERA,一个包含 9K 样本的合成推理数据集,由先进推理模型生成长 CoT 轨迹,覆盖 8 大科学学科和超过 1K 细粒度主题,并用全自动评估流水线交叉验证题目与答案,免除人工标注。
一项 arXiv 研究发现,DeepSeek-R1-Distill-LLaMA-8B 等大推理模型的拒绝行为除残差流激活外还依赖思维链(CoT)。在固定 CoT 时激活引导仅能逆转 39% 的拒绝,移除 CoT 后升至 70%;两阶段干预下模型重新生成 CoT 时逆转率达 94%,且撤除引导后 CoT 单独保留 48% 的效果。
arXiv 论文提出 MLIPS,一种无需训练的多层索引器池共享方法:由生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层自行从中选 top-K,保留各自的打分与选择。
一项 arXiv 研究分析了大语言模型推理中复用中间结果的可靠性条件,并给出本地重试下正确完成的条件与平均尝试次数上界。实验覆盖八个推理模型的复合数学与算术任务:四个 DeepSeek 模型在第二子问题上,无第一子问题上下文时平均成功率 36.2%,给出答案时 57.2%,给出推理与答案时 58.3%。算术实验显示相近的首试准确率在多次尝试后覆盖率差异很大。
Xingyu Zhu 分享了相位敏感性评测实验仓库及基于 Qwen3 构建的分块 KV 压缩模型。实验显示 DeepSeek-V4 在相同代码和问题下,随前缀装饰性 docstring 每两个 token 变化而翻转答案,NIAH 准确率随 needle 位置在固定 4-token 周期上波动最高达 40 分,团队解释了这与分块 KV-cache 压缩的关系。