返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

CherryStudio配置本地Ollama连接使用本地mistral对话模型和bge-m3嵌入式模型

[复制链接]
链载Ai 显示全部楼层 发表于 3 小时前 |阅读模式 打印 上一主题 下一主题

在昨天的文章中已经讲了如何从Ollama官方网站下载、安装Ollama软件,并配置Windows环境变量,放开防火墙端口等,最后再下载运行了“mistral-small3.1”模型(该模型具备LLM推理对话、vision、tools功能),以及“bge-m3”模型(该模型是嵌入式模型,可用于知识库)。现在万事俱备只欠东风,我们就来看看如何配置Cherry Studio这种直接与用户打交道的“AI助手”或者叫“AI对话框”是如何与模型底层进行匹配工作的。

首先从Cherry Studio的“设置”进入“模型服务”,选择“Ollama”,在详细配置页面的“API地址”处填上【“http://localhost:11434”】(这个地址就是模型提供服务的接口地址),然后点击“管理”。
进入Ollama模型详细配置页面就能看到已经下载安装完毕的“bge-m3:latest”和“mistral-small3.1:latest”模型,直接点击右侧的“+”号,添加模型。
前期使用API KEY方式构建的知识库是没法换嵌入式模型的,只能新建添加新知识库,在“嵌入模型”位置,直接选择Ollama的“bge-m3:latest”模型。

最后到Cherry Studio设置中去调整“默认模型”使用Ollama部署的“mistral-small3.1:latest”模型。

至此,就可以不受限制的在Cherry Studio的对话框中享受本地模型带来的使用便利了。

我的文章里面配的一步一步操作的截图比较多,内容稍微偏浅显易懂一点,主要是考虑到“工具就是拿来用的,越多普通人知道如何使用,才能提高效率”,会更多照顾到普通人的理解水平。各位技术大拿可忽略……

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ