资讯详情

资讯详情

Retrieval-based-Voice-Conversion-WebUI 快速上手:10 分钟语音数据做出自己的语音转换模型

Retrieval-based-Voice-Conversion-WebUI 快速上手10 分钟语音数据做出自己的语音转换模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI下文简称 RVC是一个开源的语音音色转换框架你只需准备 10 分钟左右的干净人声就能训练出一个属于自己或某个角色的语音转换模型用来做离线音频转换也可以接麦克风做实时变声。本文按 Windows 和 Ubuntu 的环境带你走完装环境、启动界面、第一次训练、推理调参到常见报错处理的完整流程。 装环境三步跑通装 Python 3.12 并建虚拟环境先确认装好了 Python 3.12 x64Ubuntu 推荐 24.04 x86_64然后进入仓库根目录创建虚拟环境py -3.12 -m venv .venv .venv\Scripts\activateLinux 下对应命令是python3.12 -m venv .venv激活用source .venv/bin/activate。按硬件选依赖文件依赖按硬件分成三个文件各装一次硬件安装方式CPU / AMD / Intel 显卡pip install -r requirments_cpu_py312.txtNVIDIARTX 50 系以前先装 CUDA 11.8 版 torch再装requirments_cu118_py312.txtNVIDIA RTX 50 系先装 CUDA 12.8 版 torch再装requirments_cu128_py312.txt注意NVIDIA 用户一定要先单独装好对应 CUDA 版本的 torch再执行 requirments 文件否则 pip 会装上 CPU 版 torch训练时才发现报错就来不及了。把底模下到 assets 目录WebUI 会自动创建assets/和logs/目录底模需要提前下载到位文件路径用途hubert_base/含 3 个文件assets/hubert_base/语音特征提取推理也必需rmvpe.ptassets/rmvpe/音高提取必需pretrained/ 与 pretrained_v2/assets/底模仅训练需要uvr5_weights/assets/uvr5_weights/人声伴奏分离用到 UVR5 才需要装好huggingface_hub后从模型仓库lj1995/VoiceConversionWebUI拉取必需的两部分hf download lj1995/VoiceConversionWebUI --revision main --include hubert_base/* --local-dir assets hf download lj1995/VoiceConversionWebUI rmvpe.pt --revision main --local-dir assets/rmvpe训练时再用同样方式补下pretrained/*和pretrained_v2/*。▶️ 启动界面一条命令的事启动命令与默认端口在仓库根目录执行python webui.py浏览器会自动打开没弹出来就手动访问http://127.0.0.1:7865默认端口 7865。Windows 用户也可以直接双击根目录的go-webui.bat它会顺带让你选择要执行的操作。无桌面的服务器上加--noautoopen启动即可。提示页面报 Connection Error 多数时候是你把黑色的启动控制台关掉了重新打开并保持控制台开着就好。各选项卡里有什么主界面分四个选项卡数据集处理负责降噪、切片和特征提取模型训练负责一键训练与索引训练音色转换推理负责把音频换成目标音色ckpt 处理负责模型融合和从小模型提取。实时变声是另一个独立程序双击go-realtime_gui.bat启动端到端延迟 170ms配合 ASIO 声卡可压到 90ms。️ 第一次训练只动 4 个参数准备 10 分钟人声素材把训练用的音频放进同一个文件夹满足这几点时长推荐 10~50 分钟音质高、音色统一时 5~10 分钟也够用内容只有目标说话人一个声源底噪低、无背景音乐文件名与路径不含空格、括号和中文避免 ffmpeg 报错训练必改的 4 个参数打开「模型训练」选项卡其余全部默认只填下面这几项参数建议值说明实验名有意义的英文名训练产物都存在logs/实验名/下是否考虑音高唱歌场景选「是」不考虑音高模型更轻但没法用于演唱batch_size按显存定4~16报 out of memory 就减半4G 显存建议 1~4total_epoch底噪大 20~30音质高可到 200低音质数据调太高没有收益然后点「一键训练」。它会自动完成音频切片、RMVPE 音高提取、HuBERT 特征提取、模型训练整条流水线。别漏掉训练完索引一键训练正常结束时会顺带生成added_xxx.index索引文件如果日志显示缺了索引就再单独点一次「训练索引」。这个索引就是 RVC「检索式」的核心——推理时用 faiss 检索出训练集里最相似的特征替换输入源特征从机制上杜绝音色泄漏。更多训练细节可以看 docs/en/training_tips_en.md。推理调参pitch 和 index_rate 怎么设常用推理参数速查参数范围说明pitch-24 ~ 24半音为单位12 是一个八度男声转女声往高调反之往低调index_rate0 ~ 1越大越压制音色泄漏但音质会向训练集靠拢训练集音质一般就 0.5 左右f0 方法rmvpe速度快、资源占用小且解决了哑音问题判断有没有音色泄漏音色泄漏的表现是转换后的声音还残留你自己说话的音色。先听出来再说——把 index_rate 从 0 提到 0.5~1.0 再推一遍如果明显干净了就是泄漏问题。反过来如果你的训练集音质高、时长足模型本身学得很牢index_rate 开 0 也不会泄漏此时不必纠结这个参数。常见报错速查表训练阶段报错原因处理ffmpeg error / utf8 error路径含空格、括号或中文目录和文件名全部改纯英文Cuda out of memory显存不足减小 batch_size4G 以下显存基本放弃训练文件页面 / 内存 error开的进程太多、内存溢出调低「提取音高和处理数据使用的 CPU 进程数」训练完没有索引大训练集卡住了索引步骤再点一次「训练索引」启动与推理阶段报错原因处理Expecting value: line 1 column 1开了系统全局代理关闭代理服务端代理也要关Connection Error关了启动控制台重新打开并保持控制台运行llvmlite.dll 加载失败Windows缺 VC 运行库安装 Microsoft VC 2015-2022 运行库后重启更完整的问答整理在 docs/cn/faq.md照着 QA 逐条对号入座很快。训练完的模型存放与分享模型文件放哪里日常使用的模型.pth放进assets/weights/对应的.index放进assets/indices/再到推理页点「刷新音色」就能选到。模型怎么分享分享时用weights/下 60MB 的 pth 和对应 index 文件打包成 zip 发出即可。注意logs/实验名/下的 pth 有几百 MB它存的是实验状态用于断点续训而不是分享。如果你手里只有 logs 里的大 pth先用「ckpt 处理」选项卡做 ckpt 小模型提取再分享提取出的文件。接下来做什么按「装环境」三步装好依赖和底模执行python webui.py确认界面能打开准备 10 分钟单说话人低底噪音频用默认参数跑一次「一键训练」生成模型和索引在推理页加载自己的模型先按 index_rate 0 和 1 各推一遍同一句音频对比后选定常用参数。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →