Yao Fu 转发分析:DeepSeek-V4 答案随装饰性 docstring 翻转,或与 chunked KV-cache 压缩有关
Yao Fu 转发 Xingyu Zhu 的观察:相同代码和问题下,DeepSeek-V4 的答案会随每前置 2 个 token 的装饰性 docstring 而翻转,NIAH 准确率还随 needle 位置在固定 4-token 周期内波动最多 40 个百分点。该推文串解释了 chunked KV-cache 压缩与此现象的关系。
Yao Fu 转发 Xingyu Zhu 的观察:相同代码和问题下,DeepSeek-V4 的答案会随每前置 2 个 token 的装饰性 docstring 而翻转,NIAH 准确率还随 needle 位置在固定 4-token 周期内波动最多 40 个百分点。该推文串解释了 chunked KV-cache 压缩与此现象的关系。
作者发布 MiniMind 项目,从零训练一个仅 0.02B 参数的小型 LLM,不使用第三方封装库,全部用 PyTorch 重构实现,成本约 3 元、耗时约 2 小时。项目既是 LLM 的开源复现,也是入门实操教程,代码位于 https://github.com/jingyaogong/minimind。
@marclou 用48小时开发了单页应用 TrustMRR,用户提交 Stripe Key 后网站基于 Stripe 真实数据对营收排名,5天内赚了 $18,380。