链载Ai

标题: 一键包：新开源TTS，零样本克隆声音，还能自主创建声音，只需要6G显存，文末一键包 [打印本页]
作者: 链载Ai    时间: 2 小时前
标题: 一键包：新开源TTS，零样本克隆声音，还能自主创建声音，只需要6G显存，文末一键包
这两天在搞文生视频的东西，需要语音的辅助，正巧最近开源了一个tts，语音克隆和语音自主创建的项目，测试了一下，效果真的很不错，后期需要配音的可以直接用这个了，哈哈，废话不多说，直接上干货。
项目介绍

概述

Spark-TTS是一种先进的文本对语音系统，它使用大语言模型（LLM）的力量来高度准确且自然的语音综合。它旨在为研究和生产使用而有效，灵活和强大。


关键功能

Spark-TTS完全基于QWEN2.5，完全基于QWEN2.5，消除了对流程匹配等其他生成模型的需求。它没有依靠单独的模型来生成声学特征，而是直接从LLM预测的代码中重建音频。这种方法简化了该过程，提高了效率并降低了复杂性。

高质量的语音克隆：支持零拍的语音克隆，这意味着即使没有该声音的特定训练数据，也可以复制扬声器的声音。这是跨语言和代码转换场景的理想选择，可以在不需要每个语言的语言之间进行无缝过渡，而无需为每个语言进行单独的培训。

双语支持：支持汉语和英语，并且能够以零拍的语音克隆来克隆跨语义和代码转换场景，从而使模型能够以高自然性和准确性的多种语言合成多种语言。

可控的语音生成：通过调整诸如性别，音调和口语率之类的参数来支持创建虚拟扬声器。

安装方式
不想安装的直接使用文本一键包即可

克隆并安装

gitclonehttps://github.com/SparkAudio/Spark-TTS.gitcdSpark-TTS
condacreate-nsparktts-ypython=3.12condaactivatesparkttspipinstall-rrequirements.txt#IfyouareinmainlandChina,youcansetthemirrorasfollows:pipinstall-rrequirements.txt-ihttps://mirrors.aliyun.com/pypi/simple/--trusted-host=mirrors.aliyun.com
模型下载

通过Python下载：


fromhuggingface_hubimportsnapshot_downloadsnapshot_download("SparkAudio/Spark-TTS-0.5B",local_dir="pretrained_models/Spark-TTS-0.5B")

通过git克隆下载：

mkdir-ppretrained_models#Makesureyouhavegit-lfsinstalled(https://git-lfs.com)gitlfsinstallgitclonehttps://huggingface.co/SparkAudio/Spark-TTS-0.5Bpretrained_models/Spark-TTS-0.5B
WebUI用法
您可以通过运行启动UI接口python webui.py --device 0，这使您可以执行语音克隆和语音创建。语音克隆支持上传参考音频或直接录制音频。
克隆页面
声音创作
效果测试
1、步老师的声音
克隆的声音
2、声音创造-模拟男声
最近看到那种奥特曼送小朋友生日快乐的视频，决定搞一个
哈哈，这个声音是我构造的，参数如下
效果真是不错吧，赶快试试吧

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;letter-spacing: 0.578px;background-color: rgb(255, 255, 255);flex-shrink: 0;display: flex;z-index: 5;visibility: visible;">欢迎大家关注公众号、进群交流技术，一件包私信回复【sptts】

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;letter-spacing: 0.578px;background-color: rgb(255, 255, 255);flex-shrink: 0;display: flex;z-index: 5;visibility: visible;">想进群交流的公众号私信回复【进群】不是留言，不是留言，不是留言

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;letter-spacing: 0.578px;background-color: rgb(255, 255, 255);flex-shrink: 0;display: flex;z-index: 5;visibility: visible;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);">历史回顾：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;">
技术前沿 | 智谱开源年首发力作：CogView4开启汉字生成新纪元

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">开源文生视频第一梯队，阿里深夜开源万相2.1，文生视频领域的deepseek

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">基于deepseek的视频生成，本地ollama部署，视频制作更加轻松：文末提供一键包

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;">保姆教程：deepseek辅助小白开发微信小程序，有了deepseek你也可以是全栈工程师
别只关注deepseek了，阿里发布qwen2.5-max，比deepseek更好更稳定，排名超越deepseek

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;">多模态AI【奥特曼】开源，可以定制你的贾维斯，联网控制你的电脑和家电

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);line-height: normal;">用不了cursor，qwen2.5-coder完全可以平替了，写代码刚刚滴

端到端语音大模型，大模型、语音转文本、tts三合一

2s样本、4s生成，仅需5G显存，克隆你想要的声音，本地-在线同步支持

AI搜索，一个开源可本地部署的Ai搜索引擎，不需要gpu，免费用qwen2.5接口，也可以基于ollama

大模型微调经验和认知

Multi Agent 多agent协同，不仅好玩还很实用，给你一个完整的demo

只需一句代码将chatgpt、rag知识库嵌入你的网站，拥有一个网站智能助手

大模型微调的一些技术理解（一）

AI搜索，一个开源可本地部署的Ai搜索引擎，不需要gpu，免费用qwen2.5接口，也可以基于ollama

llama3.1结合agent，实现大模型对工具的调用，【奥特曼】智能助手的核心调用组件就是他

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5