VibeVoice-7B-Preview：70亿参数模型，具有32K上下文长度，能够生成约45分钟的音频GitHub：https://github.com/microsoft/VibeVoice
亮点特性
•超长语音生成：一次可生成 90 分钟连续语音，无需分段拼接 •多人对话支持：可同时生成 4 个不同说话人，自然衔接，适合播客、剧本对话 •高质量 & 一致性：在说话人保持和语音轮转上效果自然，听感接近真人 •高效处理长序列：采用两个连续语音分词器，以 7.5Hz 超低帧率运行，在保证音质的同时提升计算效率 •安全合规：模型输出自带 AI 声明水印，避免被滥用 •语言支持：目前支持中文 / 英文 •开源协议：MIT 许可证，开放自由度高
快速入手
微软官方上线了 VibeVoice 的Demo版本，可直接在线体验。（需魔法）
Demo：https://86636c494bbddc69c7.gradio.live
有硬件条件的也可以在本地部署：
前置要求：
• 支持 CUDA 的 GPU（推荐以获得合理性能） • Python 3.8 或更高版本 • Docker（推荐用于环境管理） • 至少 16GB 内存（对于较大模型建议 32GB）
部署方案 1：使用 Docker（推荐）
推荐使用 NVIDIA 深度学习容器来管理 CUDA 环境：
# 启动 Docker 容器
sudodocker run --privileged --net=host --ipc=host --ulimitmemlock=-1:-1 --ulimitstack=-1:-1 --gpus all --rm-it nvcr.io/nvidia/pytorch:24.07-py3
# 如果不包含 flash attention，请手动安装
# pip install flash-attn --no-build-isolation部署方案 2：源码安装
# 克隆仓库
gitclonehttps://github.com/microsoft/VibeVoice.git
cdVibeVoice/
# 安装软件包
pip install -e .实际用法
用法 1：启动 Gradio 演示
apt update && apt install ffmpeg -y# for demo
# For 1.5B model
python demo/gradio_demo.py --model_path microsoft/VibeVoice-1.5B --share
# For 7B model
python demo/gradio_demo.py --model_path WestZhang/VibeVoice-Large-pt --share该方式将启动网页服务，需要下载 VibeVoice 模型并准备好语音样本。它会自动扫描 demo/voices 目录中的语音文件，并从 demo/text_examples 加载示例脚本。
用法 2：直接从文件中进行推理
# We provide some LLM generated example scripts under demo/text_examples/ for demo
# 单说话人
python demo/inference_from_file.py --model_path WestZhang/VibeVoice-Large-pt --txt_path demo/text_examples/1p_abs.txt --speaker_names Alice
# 多说话人
python demo/inference_from_file.py --model_path WestZhang/VibeVoice-Large-pt --txt_path demo/text_examples/2p_music.txt --speaker_names Alice Yunfan应用场景
•播客/有声书：长篇内容一键生成，多角色自然对话 •新闻/讲解类视频：低成本自动生成解说音频 •教育场景：课程讲解、语言学习音频生成 •剧本创作：模拟不同人物对话，快速听感验证
写在最后
VibeVoice是一个前沿框架，专为从文本生成富有表现力、长篇幅、多说话人的对话音频而设计。
由微软开发的这一创新系统解决了传统文本转语音（TTS）系统中的重大挑战，特别是在可扩展性、说话人一致性以及对话中的自然轮换方面。
尤其适合需要长时连续音频的场景。对于开发者和内容创作者来说，这无疑是一个极具潜力的开源工具