Uni-Stream 统一流式语音模型论文发布

Xuan Shi 等研究者发布 Uni-Stream，一个基于紧凑预训练语音模型构建的统一流式语音语言模型，在单一模型中同时支持语音识别与语音合成，面向实时人机交互。据论文，模型以流式方式处理文本与语音交错输入，经两阶段训练达到与任务专用模型相当的性能，并将公开发布流式训练用的转写文本和词级时间戳。 论文分析发现，语音与文本在该统一架构中仍处于不同的潜在特征空间，各模态的内部表示在深层更依赖任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。