世界上最快的语音聊天机器人
一款快速低延迟的本地AI语音聊天系统：voicechat2
ChatTTS：用于对话场景的文本转语音
开源TalkWithGemini: 一键免费部署您的私人 Gemini 应用，支持图片识别和语音对话
Hume AI 带着情感感知实时语音对话
WhisperFusion: 超低延迟的实时语音对话
SpeechGPT-Gen: 实现语音跟语音的对话？
对话式 AI 实时交互服务方案架构
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;line-height: 2em;visibility: visible;">开箱即用快速搭建，只需调用标准的 OpenAPI 接口即可配置所需的语音识别（ASR）、大语言模型（LLM）、语音合成（TTS）类型和参数。而火山引擎 AIGC RTC-Server 负责边缘用户接入、云端资源调度、文本与语音转换处理以及数据订阅传输等环节。整体简化开发流程，让企业应用更专注在对大模型核心能力的训练及调试，加速 AI 实时语音场景创新。要让与 AI 的交流像和朋友一样自然，随时打断甚至直接插话，关键在于：当用户和 AI 同时说话时，如何解决互相干扰的音频“双讲”现象。火山引擎 RTC 基于成熟的音频 3A 处理技术，针对“双讲”通过传统回声消除算法和深度学习算法的结合，不仅有效去除回声，还能避免用户语音被过度处理，确保云端语音识别（ASR）能准确捕捉和识别用户的语音信息。此外，火山引擎 RTC 通过简化算法提高处理速度，避免因算法复杂性带来的额外延时。
不受限于 AI 服务部署区域，用户无论身处何地，是语音交流还是文字对话，都可以享受无延迟、流畅的 AI 交互体验。
再介绍另一个开源项目：
Speech To Speech
语音到语音：一个开源和模块化的 GPT-4-o 项目
https://github.com/eustlb/speech-to-speech
该项目实现了一个语音到语音的级联管道，包含以下部分：
语音活动检测 (VAD)：使用 Silero VAD v5
语音转文本 (STT)：使用 Whisper 模型检查点（包括简化版本）
语言模型 (LM)：使用任何 Hugging Face Hub 上可用的 instruct 模型！?
文本到语音 (TTS)：使用 Parler-TTS ?
该管道旨在提供一个完全开放和模块化的方法，利用 Transformers 库中可用的模型，通过 Hugging Face Hub 实现。每个部分的模块化程度如下：
VAD：使用 Silero 的实现。
STT：仅使用 Whisper 模型，不过可以使用任何 Whisper 检查点，支持选项包括 Distil-Whisper 和法语 Distil-Whisper。
LM：这一部分完全模块化，可以通过简单修改 Hugging Face Hub 模型 ID 来更换。用户需要选择一个 instruct 模型，因为此处涉及与其交互。
TTS：Parler-TTS 的微型架构是标准的，但可以使用不同的检查点，包括微调的多语言检查点。
gitclonehttps://github.com/eustlb/speech-to-speech.gitcdspeech-to-speechpipinstall-rrequirements.txt
该管道可以通过两种方式运行：
服务器/客户端方法：模型在服务器上运行，音频输入/输出从客户端流式传输。
本地方法：使用相同的客户端/服务器方法，但使用环回地址。
在服务器上运行管道：
python s2s_pipeline.py --recv_host 0.0.0.0 --send_host 0.0.0.0
然后在本地运行客户端以处理麦克风输入和接收生成的音频：
python listen_and_play.py --host <服务器的IP地址>
只需使用环回地址：
python s2s_pipeline.py --recv_host localhost --send_host localhost
python listen_and_play.py --host localhost
为 Whisper 和 Parler-TTS 启用 Torch Compile：
python s2s_pipeline.py \
--recv_host 0.0.0.0 \
--send_host 0.0.0.0 \
--lm_model_name microsoft/Phi-3-mini-4k-instruct \
--init_chat_role system \
--stt_compile_mode reduce-overhead \
--tts_compile_mode default
目前，捕获 CUDA Graphs 的模式不兼容 Parler-TTS 的流式传输（reduce-overhead, max-autotune）。
model_name、torch_dtype 和 device 可用于每个利用 Transformers 实现的部分：语音转文本、语言模型和文本到语音。使用相应的前缀指定目标管道部分：
stt（语音转文本）
lm（语言模型）
tts（文本到语音）
--lm_model_name google/gemma-2b-it
可以使用部分的前缀+_gen_ 来设置模型生成方法的其他生成参数，例如 --stt_gen_max_new_tokens 128。这些参数可以添加到管道部分的参数类中，如果尚未暴露的话（例如 LanguageModelHandlerArguments）。
--thresh：触发语音活动检测的阈值。
--min_speech_ms：被认为是语音活动的最小检测时长。
--min_silence_ms：用于分割语音的最短静默时间间隔，平衡句子切割和延迟减少。
--init_chat_role：默认为 None。设置聊天模板中的初始角色（如适用）。参考模型卡片设置该值（例如对于 Phi-3-mini-4k-instruct，必须设置 --init_chat_role system）。
--init_chat_prompt：默认为 "You are a helpful AI assistant." 设置 --init_chat_role 时需要此参数。
--description：设置 Parler-TTS 生成语音的描述。默认为："A female speaker with a slightly low-pitched voice delivers her words quite expressively, in a very confined sounding environment with clear audio quality. She speaks very fast."
--play_steps_s：指定 Parler-TTS 流式输出时发送的第一块的持续时间，影响准备和解码步骤。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |