链载Ai

标题: Ollama私有化模型部署实战 [打印本页]

作者: 链载Ai 时间: 昨天 10:36
标题: Ollama私有化模型部署实战

1.Ollama是什么

Ollama是一个支持私有化大模型的安装和部署的开源项目，部署建议最少配置：运行7B模型最少8G内存，运行13B模型最少16G内存，运行33B模型最少32G内存，支持多个开源模型包括Llama 3，Gemma 2，Code Llama等

2.Ollma部署实战

2.1.Ollama服务下载

下载命令如下：

curl-fsSLhttps://ollama.com/install.sh|sh

2.2.ollama服务启动

ollamaserve

2.3.llama3服务运行

ollamarunllama3

2.4 交互式问题测试

问题1.天为什么是蓝色的

问题2.如何保持健康

3.总结

Ollama能够帮助我们进行快速进行开源大模型的私有化部署，支持交互式的问答，让我们快速体验开源大模型的效果。大模型的部署不再受显卡大小的限制，只要有足够的内存，普通的电脑也可以部署，大大降低普通人使用开源大模型的门槛。

欢迎光临链载Ai (https://www.lianzai.com/)