跳到正文
arXiv cs.AI· Chenda Li, Tianhua Li, Yiming Chen, Wei Wang, Jiahe Wang, Xin Zhou, Yanmin Qian·· 1 天前AI 评分36

SLM-SS:基于语音语言模型的 token 化语音分离方法

SLM-SS: Token-Based Speech Separation with Speech Language Models

AI 导读

研究者提出 SLM-SS,一种用语音语言模型做基于 token 的生成式语音分离框架:先用神经编解码器将语音离散化为多码本 token 序列,并通过 Serialized Output Training(SOT)序列化多说话人目标,再由编码器-解码器自回归模型预测零阶序列、非自回归模块细化高阶码本。

来源:arXiv cs.AI · arxiv.org