跳到正文

媒体号

Francis YAO (@Francis_YAO_)

共收录 6 条近 30 天 5 条

更新

Francis YAO (@Francis_YAO_)被本站收录的内容

10月22日周四第 1–6 条
10月20日周二
  1. Francis YAO (@Francis_YAO_)35

    分享基于 Qwen3 的分块 KV 压缩模型构建与相位敏感性评测实验仓库

    Xingyu Zhu 分享了相位敏感性评测实验仓库及基于 Qwen3 构建的分块 KV 压缩模型。实验显示 DeepSeek-V4 在相同代码和问题下,随前缀装饰性 docstring 每两个 token 变化而翻转答案,NIAH 准确率随 needle 位置在固定 4-token 周期上波动最高达 40 分,团队解释了这与分块 KV-cache 压缩的关系。

10月17日周六
  1. Francis YAO (@Francis_YAO_)23

    Alex Wang 转发:理解神经网络记忆机制有助于机制可解释性研究

    Alex Wang 转发讨论指出,更好理解神经网络中记忆的工作机制将有助于机制可解释性(mechanistic interpretability)研究,而当前对模型的理解比以往任何时候都更重要。转发者补充认为,可解释性可能是当下世界最重要的科学问题——不了解自己在构建什么就无法解决对齐问题,并提及自己曾在 OpenAI 合著过机制可解释性早期工作。

10月11日周日
9月30日周三
  1. Francis YAO (@Francis_YAO_)52

    Yao Fu 转发分析:DeepSeek-V4 答案随装饰性 docstring 翻转,或与 chunked KV-cache 压缩有关

    Yao Fu 转发 Xingyu Zhu 的观察:相同代码和问题下,DeepSeek-V4 的答案会随每前置 2 个 token 的装饰性 docstring 而翻转,NIAH 准确率还随 needle 位置在固定 4-token 周期内波动最多 40 个百分点。该推文串解释了 chunked KV-cache 压缩与此现象的关系。

9月22日周二