返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

开源TTS领域迎来重磅新星!Dia-1.6B:超逼真对话生成,开源2天斩获6.5K Star!

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 13:12 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">文本转语音(TTS)领域又迎来一位重磅新星!

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">由ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 13.5px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">Nari Labs开发的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(66, 166, 100);">Dia-1.6B以其超逼真的对话生成能力引发热议,仅开源两天便在 GitHub 收获ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 13.5px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">6.5K+Star!

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">据说其能力超越了 ElevenLabs 和 Sesame,仅凭借 1.6B 参数就可实现情感控制、非语言声音(如笑声、咳嗽)和零样本声纹克隆,运行效率惊人。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">支持从文本脚本生成多角色对话,通过 [S1]、[S2] 标签区分角色,生成自然语音,并支持非语言表达和声纹克隆,目前仅限英语。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">它在 Hugging Face 也提供了模型权重和 Gradio Demo 体验。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(66, 166, 100);">主要功能

  • 多角色对话生成:使用 [S1]、[S2] 等标签区分角色,单次生成多角色对话,保持自然节奏和情感过渡。
  • 拟人化表达:支持笑声(laugh)、叹气(sigh)、咳嗽(cough)等非语言情绪
  • 零样本声纹克隆:可微调或指定语音风格,克隆用户或角色声音
  • 高质量语音合成:音质媲美 ElevenLabs、Sesame,细节自然,情绪变化真实
  • 实时推理速度:A4000 显卡上约 40 tokens/s,体验流畅无等待
  • Gradio 界面支持:自带可用的 Web UI 界面,输入文本立即试听

快速上手

Dia-1.6B 官方实验室提供了详细安装指南和 Gradio 演示。

在线体验:

无需配置环境,打开 Hugging Face Demo 即可输入脚本或音频试听效果:

Demo:https://huggingface.co/spaces/nari-labs/Dia-1.6B

安装部署与使用步骤:

1、克隆项目

gitclonehttps://github.com/nari-labs/dia.git
cddia

2、创建虚拟环境

python -m venv .venv
source.venv/bin/activate

3、安装依赖

pipinstall-e.

4、启动 Gradio UI

pythonapp.py

访问http://localhost:7860,输入脚本或上传音频,生成对话。

示例脚本:

[S1]Diaisamazing![S2]Yeah,itgenerateslaughstoo!(laughs)

还可以通过 Python 包安装 Dia 的API

# Install directly from GitHub
pip install git+https://github.com/nari-labs/dia.git

Python 调用示例:

import soundfile as sf

from dia.model import Dia


model = Dia.from_pretrained("nari-labs/Dia-1.6B")

text ="[S1] Dia is an open weights text to dialogue model. [S2] You get full control over scripts and voices. [S1] Wow. Amazing. (laughs) [S2] Try it now on Git hub or Hugging Face."

output = model.generate(text)

sf.write("simple.mp3", output, 44100)

后续也将推出 pypi包和CLI工具。

使用场景推荐

  • 有声读物 / 小说播报:让不同角色“开口说话”,配合情绪词还原真实语境
  • 播客配音:快速合成带感情、有风格的访谈类语音
  • AI 角色扮演:配合 Agent,多角色模拟对话系统
  • TTS 研究与微调:声音克隆、情绪控制、非语言表达


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ