|
在当今数字化时代，语音识别技术正逐渐成为我们生活中不可或缺的一部分。无论是会议记录、在线教育，还是直播字幕，实时语音识别都能极大地提高效率和用户体验。今天，我要为大家介绍一个开源的实时语音识别工具——WhisperLiveKit。
一、项目概述
WhisperLiveKit是一个开源的实时语音识别工具，能够将语音实时转录为文字，并且支持说话人识别功能。它基于先进的技术，如SimulStreaming和WhisperStreaming，提供了超低延迟的转录功能。更重要的是，WhisperLiveKit完全在本地处理语音数据，确保了隐私和安全。它支持多种语言，可以通过简单的命令快速启动，并且提供了Web界面和Python API，方便开发者和普通用户使用。
二、核心功能
（一）实时语音转文字
WhisperLiveKit支持多种语言，能够将语音实时转录为文字，适用于会议、讲座等多种场景。无论是在企业会议中记录讨论内容，还是在学术讲座中整理笔记，WhisperLiveKit都能提供快速准确的转录服务。
（二）说话人识别
在多人会议或讨论中，准确区分不同发言者的身份是非常重要的。WhisperLiveKit自动区分不同发言者的语音，确保记录的准确性和完整性。这对于会议记录、客服通话等场景非常有帮助。
（三）完全本地化处理
隐私和安全是现代技术中不可忽视的问题。WhisperLiveKit完全在本地处理语音数据，不会将数据上传到云端，从而保护了用户的隐私。这对于涉及敏感信息的讨论尤为重要。
（四）低延迟流式处理
基于先进的算法，WhisperLiveKit能够确保实时转录的低延迟，提供流畅的用户体验。无论是实时字幕生成还是会议记录，低延迟都能让用户感受到无缝的交互。
（五）多种使用方式
WhisperLiveKit提供了Web界面和Python API，方便用户和开发者使用。同时，它还支持Docker部署，使得部署和使用更加灵活。
三、技术原理
（一）SimulStreaming
SimulStreaming是一种基于AlignAtt策略的超低延迟转录算法。它能够在语音输入的同时实时生成文字。通过智能缓冲和增量处理，SimulStreaming避免了传统方法中因语音片段过小导致的上下文丢失和转录不准确的问题。
（二）WhisperStreaming
WhisperStreaming是一种基于LocalAgreement策略的低延迟转录算法，适用于需要快速响应的场景。它提供了更高的转录效率和更好的实时性，适合实时字幕生成等应用。
（三）说话人识别（Diarization）
WhisperLiveKit使用先进的说话人识别技术，如Streaming Sortformer和Diart，能够实时区分不同发言者的语音。结合语音活动检测（VAD）和说话人嵌入模型，WhisperLiveKit确保了说话人识别的准确性和实时性。
（四）语音活动检测（VAD）
WhisperLiveKit使用Silero VAD等企业级语音活动检测技术，能够准确检测语音信号中的有效语音段，减少不必要的处理开销。在无语音输入时自动暂停处理，节省计算资源。
四、应用场景
（一）会议记录
在企业会议、学术研讨会以及各类团队讨论中，WhisperLiveKit能够实时将会议内容转录为文字，精准记录下每一个发言者的观点和讨论细节。其说话人识别功能可自动区分不同发言者的身份，即使在多人同时发言的复杂场景下，也能确保记录的准确性和完整性。这使得会后整理会议纪要变得轻松快捷，大大提高了工作效率。
（二）在线教育
WhisperLiveKit在教育领域的应用前景广阔。它能够为网课实时生成字幕，帮助学生更好地理解和吸收知识，尤其是对于那些听力有障碍或英语非母语的学生来说，实时字幕能够提供额外的学习支持，增强学习效果。
（三）直播字幕
在直播领域，无论是游戏直播、电商直播还是新闻直播，WhisperLiveKit都能为直播内容实时生成字幕，支持多种语言。这不仅提升了观众的观看体验，使他们能够更清晰地了解直播内容，还能拓展直播的受众范围，吸引更多的国际观众。
（四）无障碍辅助
WhisperLiveKit在无障碍辅助领域的应用具有重要意义。它为听力障碍者提供实时字幕，帮助他们在公共场所、媒体播放以及各类活动中更好地获取语音信息。
（五）客服中心
在客服行业中，WhisperLiveKit能够实时转录客服通话内容，并区分不同发言者的身份。这不仅有助于客服人员在通话过程中快速记录关键信息，还能在通话结束后方便地进行质量监控和数据分析。
五、快速使用
（一）安装依赖
WhisperLiveKit的安装非常简单，只需要通过pip安装即可： 需要注意的是，FFmpeg是必需的，并且必须在使用WhisperLiveKit之前安装。根据你的操作系统，可以使用以下命令安装FFmpeg：
Ubuntu/Debian：`sudo apt install ffmpeg`
MacOS：`brew install ffmpeg`
Windows：从[FFmpeg官方网站](https://ffmpeg.org/download.html)下载.exe文件并添加到PATH中
（二）快速启动
1.启动转录服务器： whisperlivekit-server--modelbase--languageen 2.打开浏览器并访问`http://localhost:8000`。开始说话，你将看到文字实时显示出来！
（三）使用示例
1、命令行界面
你可以通过命令行启动转录服务器，并使用各种选项进行配置： #使用更好的模型（例如large-v3）whisperlivekit-server--modellarge-v3#高级配置，包括说话人识别和语言设置whisperlivekit-server--host0.0.0.0--port8000--modelmedium--diarization--languagefr 2、Python API 集成
你还可以通过Python API将WhisperLiveKit集成到你的项目中。以下是一个简单的示例： fromwhisperlivekitimportTranscriptionEngine, AudioProcessor, parse_argsfromfastapiimportFastAPI, WebSocket, WebSocketDisconnectfromfastapi.responsesimportHTMLResponsefromcontextlibimportasynccontextmanagerimportasyncio
transcription_engine =None
@asynccontextmanagerasyncdeflifespan(app: FastAPI): globaltranscription_engine transcription_engine = TranscriptionEngine(model="medium", diarization=True, lan="en") yield
app = FastAPI(lifespan=lifespan)
asyncdefhandle_websocket_results(websocket: WebSocket, results_generator): asyncforresponseinresults_generator: awaitwebsocket.send_json(response) awaitwebsocket.send_json({"type":"ready_to_stop"})
@app.websocket("/asr")asyncdefwebsocket_endpoint(websocket: WebSocket): globaltranscription_engine
# 为每个连接创建一个新的 AudioProcessor，传递共享的引擎 audio_processor = AudioProcessor(transcription_engine=transcription_engine) results_generator =awaitaudio_processor.create_tasks() results_task = asyncio.create_task(handle_websocket_results(websocket, results_generator)) awaitwebsocket.accept() whileTrue: message =awaitwebsocket.receive_bytes() awaitaudio_processor.process_audio(message)
（四）参数与配置
WhisperLiveKit提供了丰富的参数配置选项，你可以根据自己的需求进行调整。以下是一些重要的参数：
--model：Whisper模型大小，默认为`small`。
--language：源语言代码或`auto`，默认为`auto`。
--task：`transcribe`或`translate`，默认为`transcribe`。
--backend：处理后端，默认为`simulstreaming`。
--diarization：是否启用说话人识别，默认为`False`。
结语
WhisperLiveKit是一个功能强大且易于使用的开源实时语音识别工具。它不仅提供了实时语音转文字和说话人识别功能，还确保了数据的隐私和安全。无论你是开发者还是普通用户，WhisperLiveKit都能帮助你提高工作效率和用户体验。如果你对实时语音识别感兴趣，不妨尝试一下WhisperLiveKit！ | 
