链载Ai

标题: CherryStudio配置本地Ollama连接使用本地mistral对话模型和bge-m3嵌入式模型 [打印本页]

作者: 链载Ai 时间: 昨天 18:15
标题: CherryStudio配置本地Ollama连接使用本地mistral对话模型和bge-m3嵌入式模型

在昨天的文章中已经讲了如何从Ollama官方网站下载、安装Ollama软件，并配置Windows环境变量，放开防火墙端口等，最后再下载运行了“mistral-small3.1”模型（该模型具备LLM推理对话、vision、tools功能），以及“bge-m3”模型（该模型是嵌入式模型，可用于知识库）。现在万事俱备只欠东风，我们就来看看如何配置Cherry Studio这种直接与用户打交道的“AI助手”或者叫“AI对话框”是如何与模型底层进行匹配工作的。

首先从Cherry Studio的“设置”进入“模型服务”，选择“Ollama”，在详细配置页面的“API地址”处填上【“http://localhost:11434”】（这个地址就是模型提供服务的接口地址），然后点击“管理”。

进入Ollama模型详细配置页面就能看到已经下载安装完毕的“bge-m3:latest”和“mistral-small3.1:latest”模型，直接点击右侧的“+”号，添加模型。

前期使用API KEY方式构建的知识库是没法换嵌入式模型的，只能新建添加新知识库，在“嵌入模型”位置，直接选择Ollama的“bge-m3:latest”模型。

最后到Cherry Studio设置中去调整“默认模型”使用Ollama部署的“mistral-small3.1:latest”模型。

至此，就可以不受限制的在Cherry Studio的对话框中享受本地模型带来的使用便利了。

我的文章里面配的一步一步操作的截图比较多，内容稍微偏浅显易懂一点，主要是考虑到“工具就是拿来用的，越多普通人知道如何使用，才能提高效率”，会更多照顾到普通人的理解水平。各位技术大拿可忽略……

欢迎光临链载Ai (https://www.lianzai.com/)