Chatterbox TTS：Resemble AI 开源的最先进文本转语音模型

📁 开源项目

引言

在 AI 语音合成领域，开源社区迎来了一个重量级项目 —— Chatterbox TTS。这是由 Resemble AI 开源的一系列最先进（SoTA）的文本转语音模型，不仅在技术上达到了业界领先水平，更重要的是完全开源，为开发者提供了强大的语音合成能力。

项目地址：https://github.com/resemble-ai/chatterbox

项目概览

Chatterbox 是一个包含三个模型的 TTS 系列：

  1. Chatterbox-Turbo - 最新、最高效的模型
  2. Chatterbox-Multilingual - 多语言支持版本
  3. Chatterbox - 原始英文版本

这些模型由 Resemble AI 团队精心打造，旨在为语音代理、应用程序和交互式媒体提供高质量、低延迟的语音合成解决方案。

核心亮点

🚀 Chatterbox-Turbo：效率与质量的完美平衡

Chatterbox-Turbo 是该系列的最新成员，具有以下突破性特点：

1. 轻量级架构

  • 仅 350M 参数，相比前代模型显著减少
  • 更低的计算需求和 VRAM 占用
  • 适合资源受限的生产环境

2. 极速生成

  • 将语音令牌到梅尔频谱的解码步骤从 10 步优化到 1 步
  • 保持高保真音频输出的同时大幅提升生成速度
  • 亚 200ms 的超低延迟，非常适合实时语音代理

3. 原生副语言标签支持

这是 Turbo 版本最具创新性的功能之一。模型原生支持以下副语言标签：

  • [cough] - 咳嗽
  • [laugh] - 大笑
  • [chuckle] - 轻笑
  • 以及更多…

这些标签可以为生成的语音添加真实感和情感表达，使其更加自然生动。

示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
import torchaudio as ta
from chatterbox.tts_turbo import ChatterboxTurboTTS

# 加载 Turbo 模型
model = ChatterboxTurboTTS.from_pretrained(device="cuda")

# 使用副语言标签生成语音
text = "Hi there, Sarah here from MochaFone calling you back [chuckle], have you got one minute to chat about the billing issue?"

# 生成音频（需要参考音频片段进行声音克隆）
wav = model.generate(text, audio_prompt_path="your_10s_ref_clip.wav")
ta.save("test-turbo.wav", wav, model.sr)

🌍 多语言支持

Chatterbox-Multilingual 模型支持 23 种语言，覆盖全球主要语言：

  • 欧洲语言：英语、法语、德语、西班牙语、意大利语、俄语、波兰语、荷兰语等
  • 亚洲语言：中文、日语、韩语、印地语、阿拉伯语、希伯来语等
  • 其他语言：土耳其语、斯瓦希里语、马来语等

多语言示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
from chatterbox.mtl_tts import ChatterboxMultilingualTTS

multilingual_model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")

# 法语示例
french_text = "Bonjour, comment ça va? Ceci est le modèle de synthèse vocale multilingue Chatterbox."
wav_french = multilingual_model.generate(french_text, language_id="fr")
ta.save("test-french.wav", wav_french, multilingual_model.sr)

# 中文示例
chinese_text = "你好，今天天气真不错，希望你有一个愉快的周末。"
wav_chinese = multilingual_model.generate(chinese_text, language_id="zh")
ta.save("test-chinese.wav", wav_chinese, multilingual_model.sr)

🎭 声音克隆能力

所有 Chatterbox 模型都支持声音克隆功能。只需提供一个参考音频片段（建议 10 秒左右），模型就能生成具有相同音色和特征的语音。

1
2
3
4
# 使用自定义声音
AUDIO_PROMPT_PATH = "YOUR_FILE.wav"
wav = model.generate(text, audio_prompt_path=AUDIO_PROMPT_PATH)
ta.save("test-custom-voice.wav", wav, model.sr)

技术架构分析

模型对比

特性 Chatterbox-Turbo Chatterbox-Multilingual Chatterbox
参数量 350M 较大 较大
语言支持 23 种 23 种 英语
副语言标签 ✅ 原生支持 ❌ ❌
解码步骤 1 步 10 步 10 步
延迟 < 200ms 较高 较高
适用场景 实时语音代理、低延迟应用 多语言内容创作 英语内容创作

参数调优技巧

根据官方文档，不同场景下的参数调优建议：

通用场景（TTS 和语音代理）

  • 确保参考音频片段与指定的语言标签匹配
  • 默认设置 exaggeration=0.5, cfg_weight=0.5 适用于大多数场景
  • 如果参考说话者语速较快，降低 cfg_weight 到约 0.3 可改善节奏

表现力强或戏剧性语音

  • 尝试较低的 cfg_weight 值（如 ~0.3）
  • 增加 exaggeration 到 0.7 或更高
  • 注意：更高的夸张度会加快语速，降低 cfg_weight 可补偿节奏

责任 AI：内置水印技术

Chatterbox 的一个重要特性是内置了 PerTh（Perceptual Threshold）水印技术。这是 Resemble AI 开发的神经水印技术，具有以下特点：

  • 不可感知：人耳无法察觉
  • 鲁棒性强：能够抵抗 MP3 压缩、音频编辑和常见操作
  • 检测准确率高：接近 100%

这项技术对于防止 AI 生成语音的滥用至关重要，体现了 Resemble AI 对责任 AI 的承诺。

水印提取示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import perth
import librosa

AUDIO_PATH = "YOUR_FILE.wav"

# 加载带水印的音频
watermarked_audio, sr = librosa.load(AUDIO_PATH, sr=None)

# 初始化水印器
watermarker = perth.PerthImplicitWatermarker()

# 提取水印
watermark = watermarker.get_watermark(watermarked_audio, sample_rate=sr)
print(f"Extracted watermark: {watermark}")  # 输出: 0.0 (无水印) 或 1.0 (有水印)

快速开始

安装

1
pip install chatterbox-tts

或从源码安装：

1
2
3
4
5
6
7
8
9
10
# 创建虚拟环境（推荐）
conda create -yn chatterbox python=3.11
conda activate chatterbox

# 克隆仓库
git clone https://github.com/resemble-ai/chatterbox.git
cd chatterbox

# 安装依赖
pip install -e .

基础使用

1
2
3
4
5
6
7
8
9
10
import torchaudio as ta
from chatterbox.tts import ChatterboxTTS

# 加载英文模型
model = ChatterboxTTS.from_pretrained(device="cuda")

# 生成语音
text = "Ezreal and Jinx teamed up with Ahri, Yasuo, and Teemo to take down the enemy's Nexus in an epic late-game pentakill."
wav = model.generate(text)
ta.save("test-english.wav", wav, model.sr)

应用场景

Chatterbox TTS 适用于多种场景：

1. 实时语音代理

  • 客服机器人
  • 虚拟助手
  • 电话自动应答系统

2. 内容创作

  • 有声书制作
  • 播客生成
  • 视频配音

3. 多语言应用

  • 跨语言内容本地化
  • 语言学习工具
  • 国际化产品

4. 游戏和娱乐

  • NPC 对话生成
  • 互动式叙事
  • 虚拟角色配音

5. 无障碍服务

  • 屏幕阅读器
  • 文本转语音辅助工具
  • 视障人士辅助应用

技术优势总结

✅ 优势

  1. 完全开源：MIT 许可证，可自由使用和修改
  2. SoTA 性能：业界领先的语音质量
  3. 多语言支持：覆盖 23 种语言
  4. 低延迟：Turbo 版本延迟 < 200ms
  5. 声音克隆：支持自定义声音
  6. 副语言标签：增强表现力和真实感
  7. 责任 AI：内置水印技术
  8. 易于使用：简洁的 API 设计
  9. 活跃社区：官方 Discord 支持

⚠️ 注意事项

  1. 硬件要求：建议使用 GPU（CUDA）以获得最佳性能
  2. 参考音频质量：声音克隆效果依赖于参考音频的质量
  3. 语言匹配：参考音频应与目标语言匹配，否则可能产生口音
  4. 伦理使用：请勿用于恶意目的

与商业服务的关系

虽然 Chatterbox 是开源的，但 Resemble AI 也提供商业 TTS 服务。如果你需要：

  • 更高的准确性
  • 大规模部署
  • 定制化调优
  • 企业级支持

可以考虑使用他们的付费服务，价格具有竞争力，延迟更低（< 200ms），适合生产环境。

技术致谢

Chatterbox 项目基于以下优秀的开源项目：

结语

Chatterbox TTS 代表了开源语音合成技术的最新进展。无论你是开发者、研究人员还是内容创作者，这个项目都为你提供了强大而灵活的工具。特别是 Chatterbox-Turbo 的推出，将高质量语音合成带入了实时应用的领域。

如果你对语音合成技术感兴趣，不妨试试 Chatterbox。加入他们的 Discord 社区，与全球开发者一起探索语音 AI 的无限可能！

相关链接：

引用格式：

1
2
3
4
5
6
7
@misc{chatterboxtts2025,
  author = {{Resemble AI}},
  title = {{Chatterbox-TTS}},
  year = {2025},
  howpublished = {\url{https://github.com/resemble-ai/chatterbox}},
  note = {GitHub repository}
}
🏷️ GitHub 开源项目