链载Ai

标题: ollama——如何快速搭建一个本地大语言模型 [打印本页]

---

作者: 链载Ai    时间: 13 小时前
标题: ollama——如何快速搭建一个本地大语言模型

ollama是一个非常好用的本地运行大语言模型工具，让我们本地运行大语言模型变得非常简单。

1. 访问ollama官网：https://ollama.com/

   

2. 下载完安装ollama工具即可

   
   

   
   

   

3. 打开命令行，运行大模型

   
   

   ollama run llama2-chinese

4. 和大模型通话

   
   

   
   

   

5. 退出大模型

   /bye 或者 Ctrl+d

6. 搭建WebUI，此处使用OpenWebUI，有docker比较方便，搭建完注册第一个用户即为管理员，进入后上面选择模型，即可对话

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

   
   

   

7. 参考资源

1. 可用的大模型列表，有适用于编程的coder，中文的，科学的，识图的，大家可根据自己需求选择和搭建：https://ollama.com/library

2. github地址：https://github.com/ollama/ollama
   

---

欢迎光临 链载Ai (https://www.lianzai.com/)

Powered by Discuz! X3.5