跳到正文
今天10月22日周四5 条
  1. Gorden Sun (@Gorden_Sun)54

    Underdog Bark 3.0 发布:仅 163 MB 的英文语音转文字模型

    Underdog 发布 Bark 3.0,一款仅 163 MB 的语音转文字模型,基于英伟达与 Moondream 开源的语音识别架构。在苹果 M 系列芯片上转写 5 分钟音频仅需半秒,英文会议场景错误率低于 Whisper 等传统大模型,Clean 版本可自动过滤语气词和口误重复,仅支持英文。模型地址:https://huggingface.co/Underdog/bark-3.0

  2. dotey (@dotey)27

    dotey 谈 AI 语音书制作:建议用大语言模型标注多音字再交 Agent 操作 TTS

    dotey 回应用户关于自制听书资源的咨询,认为 AI 语音书仍不如专业真人朗读,多音字错误还可能误导小朋友,有高质量真人版本应优先选真人。若要用 AI 制作,他建议先让大语言模型过一遍发音,再用 Agent 操作 TTS,标注多音字拼音、停顿位置和情感后生成,效果会好很多。他表示付费方案普遍优于开源,自己用 Gemini TTS 只是顺手而非最好。

10月21日周三
  1. arXiv cs.AI38

    Abstract Compression:面向 LLM 语音识别的对话音频上下文压缩方法

    一项被 IEEE SLT 2026 接收的研究提出 Abstract Compression 方法,为基于 LLM 的语音识别(ASR)压缩历史对话音频上下文。研究发现多轮监督训练后,对话上下文主要提升上下文实体的识别,但原始音频嵌入随对话长度快速增长。该方法用固定数量的潜在 token 替代先前每轮音频、同时显式保留转写文本,在域内和域外测试集上以更小的音频开销恢复了部分原始上下文条件的收益。

  2. arXiv cs.AI34

    ER-EDF:基于心理学的情绪调节框架,用于大音频语言模型的语音共情对话生成

    ER-EDF 是一个基于心理学 Gross 扩展过程模型的共情对话框架,遵循三阶段流程:从语音识别用户情绪、匹配调节策略、再通过大音频语言模型(LALM)执行。该框架与具体模型无关,可无缝接入现有 LALM,并配套构建了口语共情对话数据集和超越词汇匹配的共情评测指标。在五个 LALM 和两个数据集上的自动与人工评估均显示其持续提升共情回复质量。

  3. arXiv cs.AI36

    SLM-SS:基于语音语言模型的 token 化语音分离方法

    研究者提出 SLM-SS,一种用语音语言模型做基于 token 的生成式语音分离框架:先用神经编解码器将语音离散化为多码本 token 序列,并通过 Serialized Output Training(SOT)序列化多说话人目标,再由编码器-解码器自回归模型预测零阶序列、非自回归模块细化高阶码本。

  4. arXiv cs.AI39

    韩国老年语音研究:用同步临床评估从认知衰退中分离抑郁语音特征

    一项发表于 Interspeech 2026 的研究提出含 89 名 MCI 老年说话者、历时三年采集的韩语语音语料库,同步收集 SGDS 抑郁与 MMSE 认知评估。控制认知功能后,七个特征组中仅共振峰特征与抑郁相关,常用 F0 特征无信号。仅用 12 个特征的 F1+F2 子集达到 UAR 0.760,超过完整 eGeMAPS 基线和自监督表征。

  5. arXiv cs.AI44

    DIVE 基准:评估连续流中带视觉参与的全双工交互

    研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。

  6. Startup Fortune56

    ElevenLabs 发布 Eleven v4 Turbo,瞄准语音智能体市场

    ElevenLabs 于 9 月 28 日发布 Eleven v4 与 Eleven v4 Turbo,面向语音智能体开发者而非创作者。Eleven v4 Turbo 中位推理延迟约 100 毫秒,WebSocket 流式下首次出声中位时间近 150 毫秒,支持超过 90 种语言,官方称在日语、巴西葡萄牙语、普通话和粤语上提升最大;快档定价维持 $0.05/1,000 字符。

10月20日周二