YpAiStudio全能创作台-整合语音克隆-配音-直播换脸-数字人等30+功能

9.20日：V3.0版本：直播换脸增加RVC实时变声功能。
1、网页端增加RVC翻唱/变声，翻唱效果更好！
2、增加模型训练功能，可以训练自己的声音模型

9.19 升级V2.0版本-增加YuE2音乐生成功能。全新优化，给 -全能创作台-增加的音乐功能集合：写歌 / 翻唱 / 自动写词 / 曲谱编辑。全部本机运行，不用打开 ComfyUI、不用联网、不需要额外下载模型。
1、根据描述，歌词（能自动AI写歌词）生成歌曲
2、 翻唱（上传一首歌，能人声伴奏自动分离，识别歌词，识别曲谱，换风格换词重新唱）
3、换音色重唱（可选：用参考声音复刻演唱）等，效果非常OK！

YP AI 全能创作台（YP AI Studio）—— 把语音克隆、字幕配音、有声书、视频编辑剪切配音、视频翻译配音、人声伴奏分离、AI 图生视频、一键抠图、数字人、高清换脸、直播换脸（完整移植本站DeepLiveCamPro-直播换脸定制版）、翻唱变声整合进同一个中文界面。一张照片 + 一段音频就能生成口型同步的数字人视频（对口型视频）；一段文字 + 一张图就能生成带运镜的短视频；3 秒参考音频即可复刻音色；字幕文件一键转配音、一键烧录、一键翻译成外语重新配音。所有 AI 推理都在你本机完成，照片、视频、声音不上传服务器。免配置环境，解压即用，支持中文路径，兼容 NVIDIA 10/20/30/40/50 系列，也可纯 CPU 启动。

整合包简介：

一、集成IndexTTS 2.5

对 B 站 IndexTeam 开源的情感语音克隆 TTS 模型进行了算化优化，提速20%以上。

二、集成本站DeepLiveCamPro-直播换脸定制版

可以在网页打开，也可以作为单一模块调用，进行直播换脸，系统占用和效果与DeepLiveCamPro单独版本，没有区别。具备单独版本所有功能。

三、集成InfiniteTalk

主打**音频驱动长序列数字人视频生成**，解决传统对口型工具长视频人脸漂移、崩坏问题，对口型精准，能全身驱动，动作自然流畅。

四、集成Comfyui（可完美单独运行）

节点式可视化 AI 推理引擎，一套**模块化 AI 流水线工作台**，**完全本地离线运行**，可任一安装节点，安放模型。运行自己的工作流。

YP AI 全能创作台 V1.0（英文名 YP AI Studio）是独立整合包：内置语音合成（IndexTTS 2.5 官方模型）、 字幕配音、数字人、高清换脸与直播换脸等全部功能与运行环境，解压即用， 支持10/20/30/40/50系列NVIDIA 显卡 也兼容CPU启动，但有的功能受限。推荐：NVIDIA 3050 6G 及以上显卡使用！

功能总览（按用途分类）

🎙 语音合成与克隆

• 语音克隆：上传或选择参考音频，输入文本即可克隆音色；支持中文、英文、日文、西班牙文、阿拉伯文。
• 情感控制：跟随参考音频 / 情感向量（喜悦·愤怒·悲伤·恐惧·厌恶·忧郁·惊喜·平静八维滑块）/ 文本描述情感 （例如“悲伤哽咽地说话”）。
• 批量 TXT：一行一段，批量合成后自动合并；也可直接上传多个 TXT。
• 批量合成 ZIP：大批量合成完成后打包成 ZIP 下载，支持断点续传（中断后再次运行会接着做）。
• SRT 转语音 / 批量 SRT：按字幕时间轴逐条合成；支持“停顿对齐（不变调，推荐）”“严格卡时长”“不使用（按语速）”。 可勾选“过滤字幕里的无效内容”剔除识别幻觉，默认关闭（那类句子是语音识别在静音/音乐处自动“编”出来的，不是软件加的）。
• 有声书模式：一个 TXT 一章，逐章合成并合并，可设置章节间停顿。
• 多人对话：多个角色各自指定音色，按“角色:台词”格式合成。
• 音色管理：保存、改名、删除音色（保存在 saved_voices）。
• 多音字标注：自动识别多音字并支持手动指定读音，避免读错。

🔍 识别与字幕

• 语音转文字：本地 Whisper large-v3，快速 / 高精度 / 极致三档，可直接导出 SRT。
• 字幕精修：识别结果会做幻觉过滤、静音对齐，减少“多词、漏词、时间轴偏移”。

🎚 音频后期

• 音频后处理：淡入淡出、响度归一化（LUFS），输出 WAV / MP3。
• 人声伴奏分离：标准 htdemucs / 精细 htdemucs_ft，输出人声与伴奏两轨。
• BGM 混音：内置 BGM 可试听，可调人声/伴奏音量与淡入淡出，BGM 不足自动循环。

🎬 视频处理与配音

• 字幕烧录：把 SRT 直接烧进画面（字体 / 字号 / 距底边 / 时间偏移可调）。
• 视频配音（不烧字幕 / 烧字幕）：去掉原声，按 SRT 时间轴用选定音色重新配音，可选择是否同时烧录字幕。
• 音轨替换：不做配音，直接用你已有的音频换掉原声，支持偏移、调音量、按视频时长对齐。
• 视频自动翻译配音：本地 NLLB 翻译 + 自动识别 + 配音，输出配音视频与翻译字幕。

🖼 图像与视频生成

• AI 图生视频：一张图片 + 一句画面描述 → 一段短视频（1~5 秒，16 帧/秒）。 输出尺寸按你上传图片的比例自动计算（480p 档，横图竖图方图都支持），不会把人拉变形。 用的是整合包内置的 Wan2.1 图生视频模型 + 4 步加速 LoRA，全本机生成、不需要联网、不用另外下模型。 建议 12G 以上显存；第一次跑约 2 分钟，之后会快一些。显存不够可以把「显存不够就调大这个」往上调。
• 一键抠图：去掉背景，输出带透明通道的 PNG；也可以直接换成白底 / 蓝底 / 红底（证件照常用底色）， 支持边缘羽化。人像、商品、宠物都能抠，单张约 1 秒。
• 图片反推提示词：给一张图，自动写成一段描述（可同时翻译成中文）， 拿去做画图或图生视频的提示词正好；也能提取图片里的文字（OCR）。
• 分镜分割：AI 一次出的九宫格 / 四宫格拼图，传上来按行列一键切开， 自动去掉四周空白边和每格描边，打包成 ZIP 下载。常用：九宫格填 3×3、四宫格填 2×2。
• 视频合并：多段视频接成一整段，按文件名顺序（01、02、03…）拼接； 默认不重新编码、速度很快，格式不一致时可以勾「强制重新编码」。

🧑 数字人与换脸

• 数字人 → IMTalker 音频驱动：图片 + 音频 → 会说话的视频（快，只能头部）。
• 数字人 → IMTalker 视频驱动：图片 + 驱动视频 → 把视频里的表情动作搬到图片上。
• 数字人 → InfiniteTalk 高清引擎：图片 + 音频 → 口型、头部动作、表情、身体姿态一起跟随，时长不限（较慢）。
• 数字人 → 视频驱动（换脸版）：保留驱动视频的动作、身体和背景，只把画面里的脸换成图片里的人。
• 高清换脸：图片换脸 / 视频换脸，保留原视频的一切、只换人脸；可多张来源图、脸对脸映射、遮挡保护。
• 直播换脸：摄像头或虚拟摄像头实时换脸，高清直播，高帧率效果出色。刷瓜式操作。参数——模式（高清=人脸增强 / 无）、遮挡保护、透明度、锐化、边缘柔化、 画面左右翻转（自拍视角）、画面显示帧率开关；窗口内快捷键 E 增强、O 遮挡、W 左右对比、S 截图、空格 暂停、ESC/点 X 退出。
  

  换脸采用 DeepLiveCam Pro 优化加强，效果帧率都超越PRO版本，已内置在整合包内，不依赖外部程序。

🎤 翻唱变声

• Seed-VC 零样本歌声转换：保留原旋律与节奏，换成目标音色；可混入伴奏合成完整歌曲。

🛠 工具与系统

• 文件夹监控：盯住一个目录，新放入的 TXT/音频自动合成。
• 历史记录：记录各功能生成结果，可回听/回看；“全部删除”只清理 outputs 里的生成文件。
• API 服务：界面内一键启动/停止，可仅本机或允许局域网调用。
• 计算时间 / 系统信息 / 模型：预估耗时、查看显卡与运行模式、确认模型是否完整。

一、快速上手（3 步）

1. 双击 启动YP AI 全能创作台.bat → 等待控制台出现 http://127.0.0.1:端口 → 浏览器会自动打开（没打开就手动访问那个地址）。
2. 先在「语音克隆」上传一段 5~25 秒干净人声当参考音频，输入一句话试听，确认显卡与驱动正常。
3. 想要数字人/换脸：先在「音色管理」或页面上传素材；直播换脸在「直播换脸」页选好摄像头和来源图，点“打开直播换脸窗口【要更换人物来源图片或更改设置请先关闭预览，再次点击即可】”。

二、性能与加速

• 支持 NVIDIA 显卡加速；显存 ≥10GB 且为 Ampere 及以上（RTX 30/40/50）时自动启用“极速引擎”（FlashAttention + Triton）；低端显卡自动使用普通模式。
• 首次生成需要加载模型（约 20~40 秒）；之后生成明显更快。
• “严格卡时长”会生成两遍，耗时约翻倍；“精细人声分离”用的是 4 个模型的组合，长音频约为标准模式 3 倍耗时， 短音频因为加载模型占了大头，差别不明显。

三、注意事项

1. 请勿在程序运行时删除模型目录或 python311 运行环境。
2. 首次使用建议先测试一小段文本，确认显卡、显存与驱动正常。
3. 参考音频建议 5~25 秒、干净无噪音、单人说话；音频越长克隆越慢。
4. 卡时长受模型 0.5~2.0 倍时长范围限制，字幕过短或过长时只能尽量接近目标。
5. 字幕字体已内置在 fonts 目录，别的电脑也能正常烧录；微软雅黑等系统字体注意其授权范围，思源黑体为开源字体。
6. 历史记录“全部删除”只清理本程序 outputs 目录下的生成文件，不会删除你手动放入的素材。
7. 生成文件默认保存在 outputs 目录。
8. API 服务开启局域网访问后，同网络设备可调用，请在可信网络中开启。
9. 本程序仅用于合法用途；克隆他人声音须获得本人授权，生成内容的法律责任由使用者承担。
10. 模型版权归原作者/开源许可所有，请遵守对应许可协议。
11. 直播换脸：摄像头同一时间只能被一个程序占用；如果下拉里没有摄像头，先点「① 检测摄像头」， 再点「② 链路自检」确认画面在动。窗口请用 ESC 或右上角 X 关闭（会自己释放摄像头）； 网页上改的参数对已经打开的窗口不生效，需要关掉窗口重开。启动信息写在 outputs\clean_ui\live_swap.log。
12. 换脸素材：来源图用正脸、清晰、脸别太小的照片效果最好；来源图和目标图光线越接近，融合越自然。 处理速度与显存、视频分辨率、增强模式有关，长视频建议先处理前几秒确认效果。

四、常见问题

• 端口被占用：界面会自动换用空闲端口，按控制台提示地址打开即可。
• 显存不足：可先点“释放模型显存”，或减少同时运行的任务。
• 字幕不同步：优先使用“极致”识别模式；配音建议选“停顿对齐（不变调）”。
• 配置保存位置：音色在 saved_voices，BGM 在 saved_bgm，历史与输出在 outputs。
• 直播换脸没有画面/黑屏：多半是选到了虚拟摄像头（名字里带"虚拟/Virtual"的是别的软件的输出口）。 点「① 检测摄像头」看哪个编号写着“画面在动”，下拉改选它。
• 直播换脸点不动、关不掉：现在点窗口右上角 X 或按 ESC 都能正常退出并释放摄像头； 如果之前有残留进程卡住摄像头，用任务管理器结束 python.exe 再重开。
• 换脸的脸有点跳/被拉扯：先把「边缘柔化」保持在 1.0，动作大时可把「模式」切成“无”对比； 另可在「高清换脸」页用多张来源图提高稳定性。
• 为什么网页改了设置，直播窗口没变：参数是点按钮那一刻传进窗口的，改完要关掉窗口重开才生效； 窗口内可按 E（增强）、O（遮挡）临时切换。

原文链接：https://yp89.cn/289.html，转载请注明出处。