Dooly:面向 LLM 推理仿真的配置无关、冗余感知 profiling 方法
arXiv 论文提出 Dooly,一种配置无关、冗余感知的 LLM 推理 profiling 工具,通过污点传播标注输入维度来源,仅对延迟数据库中缺失的算子进行 profiling,并复用 serving engine 初始化代码隔离 attention 等有状态算子。
arXiv 论文提出 Dooly,一种配置无关、冗余感知的 LLM 推理 profiling 工具,通过污点传播标注输入维度来源,仅对延迟数据库中缺失的算子进行 profiling,并复用 serving engine 初始化代码隔离 attention 等有状态算子。
ProMORNA 是一个零样本端到端全长 mRNA 设计生成框架,采用 BART 架构在超过 600 万自然蛋白-mRNA 对上预训练,再经冷启动监督微调与多目标强化学习两阶段后训练。
论文提出面向智能体系统的 Secret-Use Delegation Protocol(SUDP),将不可信请求者触发用户授权密钥操作、却不获得可复用权限的需求形式化为 Agent Secret Use(ASU)问题,并列出七项安全属性。
arXiv 论文提出用于乳腺癌诊断的混合量子-经典架构,采用双分支特征提取,并引入静态融合 SHF、动态融合 DHF 和温度缩放融合 TSHF 三种融合策略。
研究者首次对大语言模型在理论物理可验证解题任务上比较强化学习(RL)与监督微调(SFT),以量子场论(QFT)为主域,生成超 2,500 道合成题并整理来自 arXiv 的人工改编题。两种方法均优于基座模型,但 SFT 增益集中在同分布合成任务,RL 泛化更好,在人工改编数据集和 TPBench 上超过 SFT。团队已开源数据管线、可验证 QFT 训练数据及约 200M token 的推理轨迹。
一项理论研究考察深度、有限精度、状态维度和思维链(CoT)如何影响多层状态空间模型(SSM)的表达能力。针对显式表的 K 函数复合问题,证明任何求解 (L+3) 函数复合的 L 层 SSM 需满足 d²p=Ω(N/L³);而 (K+1) 层广义 SSM 在 d=1、p=Θ(log N) 下可精确求解。
一项 arXiv 研究分析了 2025 年 6 月至 11 月间 4chan 的 282,154 条评论与 Reddit 的 78,308 条帖子,刻画合成非自愿私密图像(SNCII)生态中的参与者、行为与资源。
一项发表于 ICML 2026 的研究为 MoE Transformer 建立了泛化与缩放理论,将每输入的激活参数容量与路由组合复杂度清晰分离。通过在固定路由模式上条件化并跨模式做联合界定,作者得到随激活参数预算缩放的度量熵上界及 MoE 特有的路由开销。研究证明逼近误差既可通过扩大激活容量、也可通过增加专家数来降低,并据此导出模型规模、数据量与算力最优权衡的神经缩放定律。
一项 arXiv 研究提出步进信息量假设(SIA),从理论上刻画熵降低类推理信号何时与 LLM 推理正确性对齐,指出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。实验覆盖 GSM8K、ARC、SVAMP、MATH 四个基准及 base、指令微调、RL 训练等多种开源权重模型,发现熵-正确性对齐随 post-training 增强,但在任务难度超出模型能力时会减弱。
一项 arXiv 研究提出 MCLR 微调目标,通过显式最大化类间似然比来强化类特定结构,解决扩散模型在标准采样下类间分离弱的问题。该方法在多种模型和数据集上显著提升无 guidance 条件生成质量,缩小与 classifier-free guidance(CFG)的差距。
SYNAPSE 是一个无需重训练基础模型的系统性框架,用于理解和压力测试 Transformer 模型的内部行为。它提取逐层 [CLS] 表示、训练轻量线性探针获得全局和逐类神经元排名,并在推理时施加 forward-hook 干预。实验显示任务相关信息编码在宽泛重叠的神经元子集中,这种冗余带来功能稳定性,但对权重或 logit 空间的小幅结构化操纵即可改变预测结果。
作者 Jinwei Su 撤回了提出 MICA 框架的 arXiv 论文,称需补充实验和更正,修正版将在工作完成后重新提交。
研究者提出 StructLens,通过在残差流的语义表征上构建最大生成树,以整体结构视角分析语言模型的 token 表征组织方式。分析发现相邻 token 在表征空间中也彼此接近,中间层表现出最强的局部跨度组织。预训练检查点分析显示,较小的局部单元在预训练中更早可被检测到,较大单元则更晚。
研究提出一种无数据有限体积卷积神经网络(FV-CNN),用于求解八个马赫数 2–15 下圆柱绕流的定常 Euler 流,训练不依赖 CFD 或实验场数据。
论文用信息论分析思维链(CoT)监控,证明 CoT 与输出之间非零互信息是可监控性的必要非充分条件,并区分信息缺口与激发误差两类近似误差。作者提出基于输出与 CoT 互信息的免标注训练目标,在多环境中可防止 CoT 混淆并缓解奖励设定不完美时的 reward hacking。
研究者提出 RuleSmith 框架,将多智能体 LLM 自博弈与基于代理模型的优化结合,用于自动游戏平衡。
HealthMamba 是一个不确定性感知的时空框架,用于医疗设施就诊预测,由统一时空上下文编码器、图状态空间模型 GraphMamba 和集成三种机制的不确定性量化模块组成。在加利福尼亚、纽约、得克萨斯和佛罗里达四个真实数据集上,其预测精度较 SOTA 基线提升约 6.0%,不确定性量化提升 3.5%。论文已被 IJCAI 2026 接收。
研究者提出 CORE 方法,通过在搜索引擎返回内容中附加字符串型、推理型和评论型三类优化内容,来影响 LLM 生成式搜索的输出排名。配套基准 ProductBench 覆盖 15 个商品类目、每类 200 个商品,基于 Amazon 搜索的 top-10 推荐构建。
LOFT 方法提出在预训练模型的低维特征子空间中进行机器遗忘(Machine Unlearning),通过主投影分离保留数据与遗忘数据的信息。该方法只需优化一个可插入模型的小型投影矩阵,且仅需对预训练模型做一次特征提取,无需反复访问原始数据或更新整个模型。实验表明其计算开销显著更低、遗忘性能更优,代码已公开,论文已被 NeurIPS 2026 接收。
Hansheng Ren 在 arXiv 论文(v5)中提出 Halo 架构,将有理数域上的精确推理替代大语言模型依赖的浮点"模糊"算术,并配备自定义 Exact Inference Unit(EIU)。
一项 arXiv 研究在捕食者-猎物环境中对比独立 Q-learning(IQL)与中心化 Q-learning(CQL),在 5x5 和 8x8 网格上各训练 200,000 episodes。
研究者以国际象棋为受控测试床,按先验密度构建局面分类,区分模型依靠记忆还是泛化能力,并对 GPT 系列及 Claude Opus、Gemini 等模型进行纵向评估。结果显示,随相关先验减少性能持续下降,先验稀少时基座模型退化至随机对弈水平,所有模型提出非法着法的比率陡增;推理增强推理虽有提升,但每 token 的边际收益在缺先验时递减。
研究者推出 RubRIX(Rubric-based Risk Index),一个由临床医生验证、基于护理伦理要素的 LLM 照护响应风险评估框架,涵盖忽视、偏见与污名、信息不准确、不加批判的肯定、认知傲慢五个风险维度。
一项 arXiv 研究提出用差分进化(DE)算法优化的进化式 BP(EBP)译码器,并对 EBP+OSD 结构进行端到端优化,以解决传统 BP+OSD 在 BP 阶段迭代过多、OSD 阶段复杂度高的问题。方法引入多目标选择规则抑制 OSD 的频繁激活,显著降低复杂度开销。在 surface codes 和 QLDPC 码上的仿真显示,EBP+OSD 在低延迟场景下同时取得更优译码性能和更低复杂度。
一项研究评估 GPT-4.1 能否生成与 MBT 心智化治疗维度结构一致的心智化画像:在 50 段标准化人机对话后由模型生成叙事画像,5 名受 MBT 训练的精神科医生按 4 个 MBT 轴和 2 个高阶维度独立评分。
arXiv 论文提出正交监督解耦方法,并实现为双分支检测器 AlignGemini:VLM 只接受语义监督、视觉专家只接受伪影监督。仅用两个生成器的图像训练、无复杂训练策略,即在五个真实场景基准上提升 9.5%。论文同时发布诊断基准 AIGI-Now,覆盖八个当代生成器(含五个闭源商用模型),代码已公开。
论文提出 Operon,一个围绕命名维度形式化构建的静态可验证工作流引擎,用于处理各维度长度只在运行时才确定的锯齿数据。它把锯齿数据建模为坐标空间上的扁平函数,以 DSL 标注维度名并由静态检查器验证任务无误迭代。运行时将未完成数组表示为向下封闭坐标域上的偏函数,从而精确计算任务入度并支持无需人工干预的故障恢复。
论文提出 OracleAD,一个简单可解释的无监督多元时间序列异常检测框架,被 NeurIPS 2025 接收。该方法将每个变量的历史序列编码为因果嵌入,联合预测当前时点并重构输入窗口,再通过自注意力投影到共享潜在空间,并对齐到表征正常状态关系的稳定潜在结构(SLS)。
一项 arXiv 研究提出,用非参数最大均值差异(MMD)直接刻画聚合后验、实现可编程先验,并指出 VAE 与对抗训练方法在聚合后验层面始终无法实现目标因子化表示。
Pierre Lison 等人提出一种对抗搜索式链接攻击的方法,在保留文本语义完整性的前提下防止去标识化文本被映射回原始数据。该方法先构建语料中 N-gram 的倒排索引,找出出现在少于 k 篇文档中的 N-gram,再迭代调用基于 LLM 的改写器重写这些片段,直到链接不再可行。在法院判例和维基百科人物传记两个数据集上的实验显示改写能有效阻止搜索式链接,但更先进的语义导向方法仍可实现链接。
AFFORD2ACT 研究仅用稀疏 2D 关键点能否支撑有效的视觉操作策略学习:由语言条件 affordance 模型定位任务相关区域,选取至多 15 个物体关键点加 4 个末端执行器关键点,策略输入仅 19 个关键点(38 个坐标),并用轻量 gating 决定执行时关注哪些点。
研究者提出 Hyperdimensional Probe,一种结合向量符号架构(VSA)与超向量代数的混合监督探针,用于解析 LLM 内部表示。该方法统一了监督探针、Sparse Autoencoders(SAE)与 logit 分析三种视角,可同时支持输入特征提取与输出分析。实验表明其能在不同 LLM、嵌入维度与配置下稳定提取语义信息,覆盖输入补全与问答文本生成两类场景。
一项复现研究提出用对抗随机森林(ARF)高效合成表格流行病学数据,检验其能否在保护隐私的前提下复现真实研究结论。
arXiv 论文提出 UniPrompt-CL,一种免回放的域增量学习框架,用于医学图像分类,仅用单个 backbone 和单次推理,在 Transformer 各层间共享统一 prompt 池并为新域少量扩展。
研究者提出农业机器人视觉语言导航方法 AgriVLN,并构建了 A2A 基准,包含 6 类农业场景共 1,560 个 episode。实验发现现有 VLN 方法在长指令上表现不佳,其提出的 STL 模块将复杂指令分解为简单子任务。将 STL 集成到 NavGPT 骨干后,AgriVLN 将 SR 从 0.33 提升至 0.47,NE 从 2.76 m 略增至 2.91 m。
强化学习在持续学习等场景中样本效率低,预训练教师策略的引导在新任务偏离其训练分布时可能误导探索。研究者提出一种基于能量的迁移学习方法,利用分布外检测让教师仅在训练分布内的状态发出引导。该方法在单任务与多任务设置下均提升了样本效率与性能,已被 CoLLAs 2026 接收。
研究者提出时空神经算子 TRON(Temporal Radiation Operator Network),学习代理变量到物理场的映射,从稀疏间接传感器历史重建无法直接观测的物理场。
arXiv 论文提出 Quality-Diversity Red-Teaming(QDRT)框架,通过行为条件训练和行为回放缓冲实现目标驱动的攻击多样性,并训练多个专门攻击模型以覆盖不同攻击风格和风险类别。实验显示 QDRT 生成的攻击对 GPT-2、Llama-3、Gemma-2、Qwen2.5 等开源模型以及 GPT-4.1、GPT-5-Chat 等商业模型更具多样性和有效性。代码已开源。
一项被 AACL-IJCNLP 2026 接收的研究考察心智理论(ToM)推理如何让 LLM 智能体在最后通牒博弈谈判任务中的行为与人类规范对齐。
研究者提出一种针对联邦学习服务器的远程 Rowhammer 攻击:基于强化学习的攻击者无需后门权限,通过操纵客户端传感器观测诱导服务器产生重复聚集内存更新。在稀疏更新的 ASR 与 CIFAR10 分类任务上,攻击智能体达到约 70% 的重复更新率(RUR),可有效诱发服务器 DRAM 位翻转,可能导致学习中断或权限提升。