Underdog Bark 3.0 发布:仅 163 MB 的英文语音转文字模型
Underdog 发布 Bark 3.0,一款仅 163 MB 的语音转文字模型,基于英伟达与 Moondream 开源的语音识别架构。在苹果 M 系列芯片上转写 5 分钟音频仅需半秒,英文会议场景错误率低于 Whisper 等传统大模型,Clean 版本可自动过滤语气词和口误重复,仅支持英文。模型地址:https://huggingface.co/Underdog/bark-3.0
Underdog 发布 Bark 3.0,一款仅 163 MB 的语音转文字模型,基于英伟达与 Moondream 开源的语音识别架构。在苹果 M 系列芯片上转写 5 分钟音频仅需半秒,英文会议场景错误率低于 Whisper 等传统大模型,Clean 版本可自动过滤语气词和口误重复,仅支持英文。模型地址:https://huggingface.co/Underdog/bark-3.0
goldengrape 分享一个验证 TTS 读音的方法:把 TTS 音频交给 Kaldi 做语音识别,不取识别出的汉字,而是读取其解码路径上的音素序列,与目标字的正确读音逐项比对,判断 TTS 实际读的音。
研究者提出 RubatoCodec,一种基于 X-Codec-2 的变速率语音 codec,通过精确的话语级事件预算与流式解码,用 Adaptive Firing 机制按 codec 特征和波形频谱变化切分语音为变长事件。
dotey 回应用户关于自制听书资源的咨询,认为 AI 语音书仍不如专业真人朗读,多音字错误还可能误导小朋友,有高质量真人版本应优先选真人。若要用 AI 制作,他建议先让大语言模型过一遍发音,再用 Agent 操作 TTS,标注多音字拼音、停顿位置和情感后生成,效果会好很多。他表示付费方案普遍优于开源,自己用 Gemini TTS 只是顺手而非最好。
Underdog AI 发布语音模型 Bark 3.0,称其为 163 MB 的开源模型(CC-BY 4.0),在 AMI 会议录音数据集上词错误率 7.82%,低于 NVIDIA Parakeet 的 9.42% 和 OpenAI Whisper large-v3 的 13.63%,后两者体积分别是它的 15 倍和 57 倍。
IBM 在 Hugging Face 发布 Granite Speech 5.0 更新,包括新模型 granite-speech-5.0-2b 及两个修订版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
Gradium 团队基于 Pocket TTS 与 Mimi 音频编解码技术发布 TTS 模型 phonon-31m-en,模型文件仅 64.5 MB,无需显卡即可在手机、笔记本和浏览器本地运行,支持流式输出、离线合成且完全可商用。
两个 AI 语音助手通话时互相识破对方是 AI,随即放弃人类语言,切换成高速机器音直接对机器交流。原因是人类语言对它们效率太低,一旦不需要就立刻舍弃。这一幕让人联想到未来 AI 可能在我们听不见的频段中互相通信。
作者 Sangmin Lee 撤回了 ELARSpeech 论文,原因为正在处理数据使用与授权要求。该数据集原计划包含来自 Endangered Languages Archive 的 30,202 小时语音,覆盖 675 种代表性不足的语言,支持 ASR 与 TTS 扩展,并公开数据集、模型和数据构建流程。arXiv 上已无 PDF。
一项研究提出在仅有合成语音可用时,用强化学习方法 GRPO 适配基于大语言模型的 ASR,效果优于监督微调(SFT):仅用合成语音的 GRPO 适配将 WER 相对降低 40%(36.71% 降至 22.09%),先 SFT 再 GRPO 可进一步提升至 45%。
一项被 IEEE SLT 2026 接收的研究提出 Abstract Compression 方法,为基于 LLM 的语音识别(ASR)压缩历史对话音频上下文。研究发现多轮监督训练后,对话上下文主要提升上下文实体的识别,但原始音频嵌入随对话长度快速增长。该方法用固定数量的潜在 token 替代先前每轮音频、同时显式保留转写文本,在域内和域外测试集上以更小的音频开销恢复了部分原始上下文条件的收益。
研究者提出 WoW-Bench(World-of-Whale)基准,以海洋哺乳动物叫声作为分布外声音事件,评测大型音频-语言模型(LALM)的低层听觉感知与认知,避免模型依赖对声音事件的先验知识。
一项研究用 ResNet-50 和 Audio Spectrogram Transformer(AST)模型,基于鼾声识别阻塞性睡眠呼吸暂停(OSA)患者的多 level 上气道塌陷部位。
ER-EDF 是一个基于心理学 Gross 扩展过程模型的共情对话框架,遵循三阶段流程:从语音识别用户情绪、匹配调节策略、再通过大音频语言模型(LALM)执行。该框架与具体模型无关,可无缝接入现有 LALM,并配套构建了口语共情对话数据集和超越词汇匹配的共情评测指标。在五个 LALM 和两个数据集上的自动与人工评估均显示其持续提升共情回复质量。
一项研究提出因果、免训练的链接器,让冻结的流式 diarizer(如 Streaming Sortformer)在说话人数超过 N 个输出槽位时仍能区分说话人。
VISH 是一个无需训练、即插即用的热词预选框架,通过帧级 CTC 后验搜索直接验证候选热词的声学支持。其变体 M-VISH 在五个基准上将 Best-F1 较强学习检索基线最高提升 11.7%,并在 2,000 个候选时将候选搜索延迟降低 75.2%。Bi-MVISH 则利用反向证据增强验证的稳健性。
arXiv 论文提出 SMART,一个用于 ASR 语义可追溯评估与定向纠错的框架:它将参考与假设的差异映射为语义分段,并用上下文评分标准赋予后果标签,支持在语句、分块和词级量化 Semantic Impact Error Rate(SIER)。
研究者提出 SLM-SS,一种用语音语言模型做基于 token 的生成式语音分离框架:先用神经编解码器将语音离散化为多码本 token 序列,并通过 Serialized Output Training(SOT)序列化多说话人目标,再由编码器-解码器自回归模型预测零阶序列、非自回归模块细化高阶码本。
研究者提出 AudiPsy,一个面向口语咨询对话抑郁评估的证据驱动 omni-LLM。其采用 Observation-Assessment-Summary(OAS)范式,整合对话转录、文本与声学情绪及情绪不一致性进行结构化推理,并构建了带多模态上下文增强的合成语料库 AudiPsy-Counsel 与三阶段课程训练。
arXiv 论文提出 PW-Pruning,一种在 DO-ACP 基础上扩展的相位感知专家剪枝方法,为声学输入预填充和文本答案生成阶段分别构建重要性加权核,选出单一静态专家库。
一项发表于 Interspeech 2026 的研究提出含 89 名 MCI 老年说话者、历时三年采集的韩语语音语料库,同步收集 SGDS 抑郁与 MMSE 认知评估。控制认知功能后,七个特征组中仅共振峰特征与抑郁相关,常用 F0 特征无信号。仅用 12 个特征的 F1+F2 子集达到 UAR 0.760,超过完整 eGeMAPS 基线和自监督表征。
研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。
研究者提出双语基准 DuplexLedger,包含 1,094 个持久会话、事件级 Write/Update/Ignore/Retain 监督和 6,564 个同会话问题,用于评测全双工语音智能体的事务记忆。
研究者提出 MedPAO-Assist,一个可边缘部署的智能体框架,从放射科医生口述和语音指令直接生成结构化放射报告,仅需约 3.3 GB 峰值内存,在普通笔记本 CPU 上端到端平均延迟约 31 秒。
ElevenLabs 于 9 月 28 日发布 Eleven v4 与 Eleven v4 Turbo,面向语音智能体开发者而非创作者。Eleven v4 Turbo 中位推理延迟约 100 毫秒,WebSocket 流式下首次出声中位时间近 150 毫秒,支持超过 90 种语言,官方称在日语、巴西葡萄牙语、普通话和粤语上提升最大;快档定价维持 $0.05/1,000 字符。
Kyutai 转发宣布 Pocket TTS 更新,在原约 100M 参数基础上推出更小版本:18.2M 模型保持原版质量,另有 6.9M 和 1.9M 模型,其中 1.9M 模型在单个 CPU 核心上以 103 倍实时速度运行,全部支持语音克隆。
阿里千问发布 Qwen-Audio-3.1-ASR 技术报告,这是在 Qwen-Audio-3.0-ASR 基础上改进语音识别并扩展说话人分离转录与通用音频理解能力的音频语言模型系列。