重磅开源！Resemble AI 发布 Chatterbox TTS：超低延迟、支持23种语言的语音合成新霸主

📁 开源项目

Chatterbox TTS

👋 前言

大家好，我是太阳鸟。

今天给大家介绍一个刚刚在 GitHub 上开源的重磅 AI 项目 —— Chatterbox TTS。

在这个大模型遍地开花的时代，专注于语音合成（TTS）的优质开源项目依然稀缺。Resemble AI 这次带来的 Chatterbox 系列，特别是其 Turbo 版本，以极致的效率和生动的表现力，让人眼前一亮。

如果你正在寻找一个**低延迟、高质量、还能”笑”能”咳嗽”**的语音模型，那么 Chatterbox 绝对不容错过！

🔗 开源地址：https://github.com/resemble-ai/chatterbox

🚀 核心亮点一览

Chatterbox 不仅仅是一个模型，它是一套完整的解决方案，包含三个版本：Turbo（极速版）、Multilingual（多语言版）和 Original（标准版）。

其中最引人注目的是 Chatterbox-Turbo：

1. ⚡ 极致轻量与速度

  • 350M 参数：轻量级架构，对硬件非常友好。
  • 一步解码：将传统的 10 步解码优化为仅需 1 步。
  • < 200ms 延迟：专为实时语音代理（Voice Agents）设计，对话零等待。

2. 🎭 原生支持”情绪小动作”

这是我觉得最酷的功能！它原生支持副语言标签（Paralinguistic Tags）。
普通的 TTS 只会念稿子，Chatterbox Turbo 可以在说话时加入：

  • [laugh]（大笑）
  • [chuckle]（轻笑）
  • [cough]（咳嗽）
  • 甚至更多…

想象一下，你的 AI 客服在说话时突然轻笑一声，是不是瞬间就没有了机器的冰冷感？

3. 🌍 23 种语言全覆盖

除了英语，它还支持 中文、日语、韩语、法语、德语等 23 种主流语言。
想做出海应用？想做多语言内容？它都能搞定。

4. 🗣️ 顶级声音克隆

只需要 10秒 的参考音频，就能克隆出说话人的音色和风格。

💻 极简上手体验

安装非常简单，一行命令搞定：

1
pip install chatterbox-tts

Turbo 模型代码示例

让 AI 笑着跟你打招呼：

1
2
3
4
5
6
7
8
9
10
11
12
import torchaudio as ta
from chatterbox.tts_turbo import ChatterboxTurboTTS

# 加载 Turbo 模型（推荐使用 GPU）
model = ChatterboxTurboTTS.from_pretrained(device="cuda")

# 文本中插入 [chuckle] 标签
text = "Hi there! I'm calling you back [chuckle], do you have a minute?"

# 生成音频（仅需提供一个参考音频路径）
wav = model.generate(text, audio_prompt_path="ref.wav")
ta.save("test-turbo.wav", wav, model.sr)

就是这么简单！

🛡️ 负责任的 AI

值得一提的是，Resemble AI 非常重视 AI 安全。Chatterbox 内置了 PerTh 水印技术。

也就是生成的每一段音频，都含有人耳听不见、但机器可识别的隐形水印。即使音频经过 MP3 压缩或剪辑，水印依然存在。这有效防止了语音被用于深度伪造诈骗。

💡 应用场景想象

有了 Chatterbox，我们可以做很多有趣的事情：

  1. 超拟真数字人：配合副语言标签，让数字人拥有”呼吸感”。
  2. 实时翻译通话：利用低延迟特性，实现同声传译。
  3. 个性化有声书：克隆父母的声音给孩子讲故事。
  4. 游戏 NPC：让游戏角色的对话不再是棒读，而是充满情绪。

📝 总结

Chatterbox 的开源，再次降低了高质量 TTS 的门槛。特别是 Turbo 模型的出现，解决了实时对话中”延迟”和”僵硬”两大痛点。

如果你是开发者，强烈建议去 GitHub Star 一下并亲自尝试！

相关链接：

Solar Bird
关注【太阳鸟】，探索 AI 编程的无限可能

🏷️ GitHub 开源项目