哔哩哔哩再放大招！开源最强文本转语音模型Index-TTS，超真实语音克隆，可纠正发音、控制停顿。

哔哩哔哩最新开源的 Index-TTS 是一个 GPT 风格的文本转语音 (TTS) 模型。

哔哩哔哩最新开源的 Index-TTS  是一个 GPT 风格的文本转语音 (TTS) 模型。它能够使用拼音纠正汉字发音，并通过标点符号控制任意位置的停顿。经过数万小时的数据训练，该方法达到了最佳性能，超越了目前流行的 TTS 系统，例如 XTTS、CosyVoice2、Fish-Speech 和 F5-TTS。

示例展示

每天坚持适量的运动不仅能帮助我们保持健康的体重，还能增强心肺功能，释放压力，保持愉悦的心情，是保持身体和心理平衡的重要途径。

成功并非一蹴而就，而是通过坚持不懈的努力与自我反思，不断调整方向，逐步实现目标，唯有经历过失败与挑战，才能在最终迎来属于自己的胜利。

家人们，逛海鲜市场真的太有成就感了！自己挑、自己做，吃着特别香，关键是比饭店便宜一大截！嘿嘿，接下来我一定要挑战更硬核的海鲜，比如帝王蟹、象拔蚌、龙趸鱼！谁有更好的海鲜市场推荐，快在评论区告诉我，我拿着这张嘴随时待命！

电脑屏幕前，他安静地敲打着键盘，完成了今天的工作任务。

相关链接

• 主页：https://index-tts.github.io/
• 代码：https://github.com/index-tts/index-tts
• HuggingFace: https://huggingface.co/spaces/IndexTeam/IndexTTS
• ModelScope:https://modelscope.cn/studios/IndexTeam/IndexTTS-Demo

论文介绍

近年来，基于大型语言模型（LLM）的文本转语音（TTS）系统凭借其高自然度和强大的零样本语音克隆能力逐渐成为业界主流。本文介绍了IndexTTS系统，该系统主要基于XTTS模型，并进行了一些创新性的改进。具体而言，针对中文场景，论文采用了汉字与拼音相结合的混合建模方法，使得多音字和长尾字的发音可控。同时还对矢量量化（VQ）和有限标量量化（FSQ）在声学语音token码本利用率方面进行了对比分析。

为了进一步提升语音克隆的效果和稳定性，论文引入了基于一致性算法的语音条件编码器，并用BigVGAN2替换了语音解码器。与XTTS相比，IndexTTS在自然度、内容一致性和零样本语音克隆方面均取得了显著的提升。相对于开源中流行的TTS系统，例如Fish-Speech、CosyVoice2、FireRedTTS、F5-TTS等，IndexTTS的训练过程相对简单，使用方式可控，推理速度更快，性能表现也优于这些系统。

方法概述

IndexTTS 概述，它是一个基于提示语音和文本标记的文本转语音语言模型，可生成声学标记，而 BigVGAN2 解码器将 LLM 输出潜在信号转换为波形。

实验结果

汉字与拼音结合的训练样本预处理示例

多音字发音错误与校正统计

IndexTTS 和基线模型的词错误率 (WER) 和说话人相似度 (SS) 结果

零样本克隆语音的 MOS 评分

实验评估中的GPU利用率和测试时长

结论

IndexTTS 系统是一个 GPT 风格的文本转语音 (TTS) 模型。它能够使用拼音纠正汉字发音，并通过标点符号控制任意位置的停顿。作者增强了系统的多个模块，包括改进说话人条件特征表示，并集成了 BigVGAN2 来优化音频质量。经过数万小时的数据训练，该方法达到了最佳性能，超越了目前流行的 TTS 系统，例如 XTTS、CosyVoice2、Fish-Speech 和 F5-TTS。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～