跳到正文
热点事件持续更新

arXiv 论文提出注意力可由振荡器同步涌现

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Lluís Arola-Fernández 等人在 arXiv 发布论文(arXiv:2611.13146),提出注意力机制可从接收器与上下文 token 的同步中涌现:每个过去 token 是一个振荡器,其频率随年龄漂移,当前 token 按内容和位置选择它们,求解 Kuramoto 模型可得到闭式解的注意力层,含两个相位。 论文称,当耦合强度高于由上下文设定的临界值时,接收器锁定且权重归一化;低于该值时接收器保持静默,权重之和小于一。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. arXiv cs.AI
    一切都在它的位置上:注意力机制是一种"无线电头"

    一篇 arXiv 论文提出,注意力机制可以从接收器与上下文 token 的同步中涌现:每个过去 token 是一个振荡器,其频率随年龄漂移,当前 token 按内容和位置选择它们。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。