中文开源自然语音模型天花板–ChatTTS, 对话式高可控的语音合成模型

ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。

它支持英文和中文两种语言。

最大的模型使用了10万小时以上的中英文数据进行训练。

在HuggingFace中开源的版本为4万小时训练且未SFT的版本.

已经几乎和真人没区别了,连贯流畅且自然。

亮点

  1. 对话式 TTS: ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。
  2. 细粒度控制: 该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。
  3. 更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型,支持进一步的研究。

对于模型的具体介绍, 可以参考B站的 宣传视频

开源地址:https://github.com/2noise/ChatTTS/blob/main/README_CN.md

在线演示:https://chattts.com/

资源及链接:
– pip 及 docker 部署:https://github.com/ultrasev/ChatTTS
– yihong0618 的 fork:https://github.com/yihong0618/ChatTTS

这是Win开箱即用的, 没有显卡用Cpu比较慢:https://www.123pan.com/s/9CCwjv-N5fMv.html

效果展示:https://www.bilibili.com/video/BV1cn4y197Ug

© 版权声明
THE END
如果您喜欢这篇文章,欢迎您点赞/分享/收藏吧
点赞6 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!已启用审核机制,请不要发表无意义及恶意灌水评论,否则可能被删除、扣除积分,或直接封号。
提交
头像

昵称

取消
昵称表情

    暂无评论内容