|
接入本地大模型，vLLM部署，Ascend 910B4服务器，以OpenAI API兼容格式对外提供服务。  这其实就是一个很方便的UI客户端，LLM来源是各个线上云服务厂商或是本地部署的大模型，很方便。 默认模型服务商下载好cherry studio，默认启用的模型服务是硅基流动，比较快速且方便简单。 参考：使用硅基流动API + Cherry Studio解锁DeepSeek R1满血版体验全攻略[1] 如何接入本地模型下载cherry studio客户端，接入本地部署的模型，步骤如下： 设置->模型服务->Ollama  先选择下面的 添加 按钮，填入部署时设置的模型名称（model-name）  然后 选择 管理 将模型添加进去，最后就是配置API地址，我没有设置api-key因此不需要API密钥。 最后在默认模型->默认助手模型，选择自己部署的本地模型ollama。虽然我们在本地部署是基于vllm，但是对于ollama与vllm等中间件提供推理服务时，都是会支持openai api格式的API服务提供的。  最后在对话这里显示的就是我们选择的模型服务。当然在这之前，要在模型服务界面设置好API后，点击 "检测" 使用一下，如果一切通畅，会提示 "连接成功" 的提示；这点也是很关键的。 但是能不能提供一下vllm的服务类型呀，虽然选择ollama也能达到最终的效果，但有些突兀且需要自己摸索下。  注意点要先添加模型，且要对上模型名称，然后就是管理，最后填对API信息即可，主要是选择好ollama。OpenAI的我也试了下，没有成功，而且提示旧的API调用不行，估计有点不一样吧，但不影响。 | 
