ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">文本转语音(TTS)领域又迎来一位重磅新星!ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);"> ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">由ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 13.5px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">Nari Labs开发的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(66, 166, 100);">Dia-1.6B以其超逼真的对话生成能力引发热议,仅开源两天便在 GitHub 收获ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 13.5px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">6.5K+Star!ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">据说其能力超越了 ElevenLabs 和 Sesame,仅凭借 1.6B 参数就可实现情感控制、非语言声音(如笑声、咳嗽)和零样本声纹克隆,运行效率惊人。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">支持从文本脚本生成多角色对话,通过 [S1]、[S2] 标签区分角色,生成自然语音,并支持非语言表达和声纹克隆,目前仅限英语。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">它在 Hugging Face 也提供了模型权重和 Gradio Demo 体验。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(66, 166, 100);">主要功能- •多角色对话生成:使用 [S1]、[S2] 等标签区分角色,单次生成多角色对话,保持自然节奏和情感过渡。
- •拟人化表达:支持笑声(laugh)、叹气(sigh)、咳嗽(cough)等非语言情绪
- •零样本声纹克隆:可微调或指定语音风格,克隆用户或角色声音
- •高质量语音合成:音质媲美 ElevenLabs、Sesame,细节自然,情绪变化真实
- •实时推理速度:A4000 显卡上约 40 tokens/s,体验流畅无等待
- •Gradio 界面支持:自带可用的 Web UI 界面,输入文本立即试听
快速上手Dia-1.6B 官方实验室提供了详细安装指南和 Gradio 演示。 在线体验: 无需配置环境,打开 Hugging Face Demo 即可输入脚本或音频试听效果: Demo:https://huggingface.co/spaces/nari-labs/Dia-1.6B 安装部署与使用步骤: 1、克隆项目 gitclonehttps://github.com/nari-labs/dia.git cddia
2、创建虚拟环境 python -m venv .venv source.venv/bin/activate
3、安装依赖 pipinstall-e. 4、启动 Gradio UI pythonapp.py 访问http://localhost:7860,输入脚本或上传音频,生成对话。 示例脚本: [S1]Diaisamazing![S2]Yeah,itgenerateslaughstoo!(laughs) 还可以通过 Python 包安装 Dia 的API # Install directly from GitHub pip install git+https://github.com/nari-labs/dia.git
Python 调用示例: import soundfile as sf
from dia.model import Dia
model = Dia.from_pretrained("nari-labs/Dia-1.6B")
text ="[S1] Dia is an open weights text to dialogue model. [S2] You get full control over scripts and voices. [S1] Wow. Amazing. (laughs) [S2] Try it now on Git hub or Hugging Face."
output = model.generate(text)
sf.write("simple.mp3", output, 44100)
后续也将推出 pypi包和CLI工具。 使用场景推荐- •有声读物 / 小说播报:让不同角色“开口说话”,配合情绪词还原真实语境
- •AI 角色扮演:配合 Agent,多角色模拟对话系统
- •TTS 研究与微调:声音克隆、情绪控制、非语言表达
|