arXiv cs.AI· Marco Bronzini, Carlo Nicolini, Bruno Lepri, Jacopo Staiano, Andrea Passerini·· 2 小时前AI 评分37
超维探针：用向量符号架构解码 LLM 内部表示
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
AI 导读
研究者提出 Hyperdimensional Probe，一种结合向量符号架构（VSA）与超向量代数的混合监督探针，用于解析 LLM 内部表示。该方法统一了监督探针、Sparse Autoencoders（SAE）与 logit 分析三种视角，可同时支持输入特征提取与输出分析。实验表明其能在不同 LLM、嵌入维度与配置下稳定提取语义信息，覆盖输入补全与问答文本生成两类场景。
来源：arXiv cs.AI · arxiv.org