加入VIP

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具

文章目录

  • 需要下载以下内容(已打包,底部下载):
  • 项目介绍
  • 这个项目的名字叫GPT-SoVITS,主页的一句话介绍是:
  • 具体使用步骤:
  • 百度网盘下载链接

需要下载以下内容(已打包,底部下载):

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图1 声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图2

新版整合包:so-vits-svc整合包,不用自己配置环境,大大节省了时间

UVR5:用来对音频做人声和背景拆分的软件

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图3

 

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图4

项目介绍

这个项目的名字叫GPT-SoVITS,主页的一句话介绍是:

1分钟的语音数据也可以用来训练一个优秀的TTS(文本到语音)模型!(少量样本声音克隆)

据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!

目前已获得 1.4k Star,看到很多人对其评价为目前最强中文语音克隆工具。

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图5
细说呢,具有以下特征:

  1. 零样本文本到语音(TTS)

输入5秒的声音样本,即刻体验文本到语音转换。

  1. 少样本TTS

仅需1分钟的训练数据即可微调模型,提升声音相似度和真实感。

  1. 跨语言支持

支持与训练数据集不同语言的推理,目前支持英语、日语和中文。

  1. WebUI工具

集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注,协助初学者创建训练数据集和GPT-SoVITS模型。

开源项目能做到这四点已经非常强了!

环境准备

Linux用户可以看GitHub主页。

这里主要介绍Windows系统的使用。

所以,你必须要有一个Win10+的操作系统。

另外配一张显存8G+ 的英伟达显卡。

软件安装

可以自己创建conda来安装,也可以使用“预打包文件” 。

为了尽量降低难度,这里使用预打包文件。我会在文末提供!

获取压缩包GPT-SoVITS-beta.7z后,使用解压软件解压即可。

 

预训练模型

目前,预打包文件里还没有包含所有模型,所以除了这个主体软件外,还需要下载一些模型。

这些模型包括ASR模型,UVR5模型, GPT-SoVITS 预训练模型,我会一并放在网盘里。

具体使用步骤:

​上面的准备工作完成之后,把预训练模型放在pretrained_models文件夹里面。

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图6

1、打开项目根目录,将预置克隆音频放置根目录,然后双击go-webui.bat 运行项目。(可以发现它实际上执行了Python脚本webui.py)

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图7

2、语音切割演示,将音频文件路径填入“音频自动切分输入路径”下,点击“开启语音切割”

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图8

最终的切分结果会存放在项目Output下的slicer_opt目录下(切分成了20份)

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图9

3、开始转写,将切分路径填入“中文批量离线ASR工具”输入路径下,转写结果文件会在Output下的asr_opt目录下生成

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图10

4、切换到GPT-SoVITS-TTS标签,填写模型名称(角色名),再分别填入之前生成的切分目录和转写目录路径,开启文本获取-开启SSL提取-语义Token提取(这3个步骤,一步一步来,一个完成之后再点击下一个),最后开启一键三连

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图11

然后转到“微调训练”,设置适合自己显卡的显存,“开启SoVits训练”,然后SoVits训练结束后,再“开启GPT训练”

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图12

5、选择“推理”标签栏,设置GPT和SoVits的模型,勾选“是否开启TTS推理WebUI”,等一会回自动跳转到一个新的“推理界面”

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图13

6、填写参考音频信息(音频文件、音频文本、语种)、合成音频信息(音频文本,语音),点击合成语音,最后就完成了语音转换。

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图14

总结

大概在19年左右,就看过声音克隆的项目,但是那个时候简直是…. 制作难度非常高,效果没法听,噪声和机械声啊,假得很。

随着时间的推移,AI的火爆。后来出现了很多语音类项目。

但是依然面临各种各样问题。

要么就是素材要求高,训练难度大,稳定性差,泛化差。

要么就是速度虽然很快,但是效果很拉胯。

整体来说,普通人想做出高质量的声音克隆还是不太容易。

根据GPT-SoVITS的作者介绍,他做这个项目初衷是,做一个开源的,普通人也可以玩转的声音克隆工具。

以我角度来看,他基本做到了。

这工具确实做得不错,应该是我接触到的工具里面,使用相对简单,效果最好的声音克隆工具。

这个项目可以跟一跟,已经有比较大的实用价值了。

附带一个工具,也是目前我感觉最好的提取软件了,当然也附带了模型包~


 

 

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图15

音乐去人声真是一个高频需求,之前总是在不经意间碰到索要如何制作伴奏乐的问题。以前可以用 Audition 之类的勉强解决,现如今时代变了,人工智能&大数据让这种需求变成了傻瓜式解决方案。
UltimateVocalRemoverGUI是一款开源的人声分离软件,采用了最先进的音源分离模型,以去除音频文件中的人声。该安装程序大小有3.5G左右,适用于 Windows 10 或更高版本,也可以在Mac和Linux上安装并运行,但是可能会有部分功能无法使用。声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图16
UltimateVocalRemoverGUI对于电脑的配置有一定的要求,建议使用至少有 8GB 显存的 nVidia GPU,只兼容 64 位平台,转换的时间取决于硬件的性能,程序所采用的模型是计算密集型的,请谨慎行事,并在程序运行时时刻关注你的电脑,确保它不会过热。

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图17

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具插图18

百度网盘下载链接

相关文件下载地址
此资源需支付 ¥60 后下载
本站所有资源均来源于网络,仅供学习使用,请支持正版!默认解压密码:muhou
微海报

评论留言

声音克隆GPT-SoVITS-WebUI+ UVR5:目前最好的中文声音克隆工具