|
我们对服务器进行了2块优化。 我们4月28日千问3发布，是目前最快的千问模型，目前快充AI集成软件已经适配，需要关闭掉思考模式，才能体现出速度优势，经测试原先需要1.6s的，现在提升到1.1s左右。 在线部署 网站后台配置如下 模型是qwen-turbo-latest 
本地部署 如果是本地部署qwen3模型，速度基本在0.3s左右，如下图
但本地部署投入成本高，维护难度大，需RTX4090显卡和公网IP，和24小时开机。对于追求极致性能的同学可以使用。可以理解成需要投入3~5w，提升1s的速度。 
第二部分优化，ASR和TTS全部采用opus传输，大幅度降低带宽压力，是原本PCM数量亮的1/10,并发提升1000%。 为什么这么说，可以如下图，一样的音质效果，ogg的文件远远小于pcm。 
这里采用的项目是pyogg，实现对opus的封装，并交给火山引擎大模型语音识别，同样也支持阿里的语音识别。 
代码方面如下 def __init__(self, **kwargs):self.success_code = 1000# success code, default is 1000self.seg_duration = int(kwargs.get("seg_duration", 100))self.ws_url = kwargs.get("ws_url", "wss://openspeech.bytedance.com/api/v3/sauc/bigmodel")self.uid = kwargs.get("uid", "test")self.format = kwargs.get("format", "ogg")self.rate = kwargs.get("rate", 16000)self.bits = kwargs.get("bits", 16)self.channel = kwargs.get("channel", 1)self.codec = kwargs.get("codec", "opus")self.auth_method = kwargs.get("auth_method", "none")self.hot_words = kwargs.get("hot_words", None)self.streaming = kwargs.get("streaming", True)self.mp3_seg_size = kwargs.get("mp3_seg_size", 1000)self.req_event = 1
def construct_request(self, reqid, data=None):req = {"user": {"uid": self.uid,},"audio": {'format': self.format,"sample_rate": self.rate,"bits": self.bits,"channel": self.channel,"codec": self.codec,},"request": {"model_name": "bigmodel","enable_punc": True,}}return req
| 
