返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

ollama 小白手册(linux)

[复制链接]
链载Ai 显示全部楼层 发表于 前天 17:13 |阅读模式 打印 上一主题 下一主题


01
安装

话不多说,直接开始

要安装 Ollama,请运行以下命令:

curl-fsSLhttps://ollama.com/install.sh|sh

或 通过魔搭社区镜像站安装(推荐)

# 安装modelscopepip install modelscope
# 使用命令行前,请确保已经通过pip install modelscope 安装ModelScope。modelscope download--model=modelscope/ollama-linux --local_dir ./ollama-linux--revision v0.5.8
# 运行ollama安装脚本cd ollama-linuxsudo chmod777./ollama-modelscope-install.sh./ollama-modelscope-install.sh
# 启动服务ollama serve
参考 :https://modelscope.cn/models/modelscope/ollama-linux



02
手动安装(不推荐)

笔记

如果您从以前的版本升级,您应该先删除旧的库。命令如下:

sudo rm -rf /usr/lib/ollama

下载并解压软件包:

curl-Lhttps://ollama.com/download/ollama-linux-amd64.tgz-oollama-linux-amd64.tgzsudotar-C/usr-xzfollama-linux-amd64.tgz

启动 Ollama:

ollamaserve

在另一个终端中,验证 Ollama 是否正在运行:

ollama-v

03
Ollama 开机启动(非必须)

为 Ollama 创建用户和组:

sudouseradd-r-s/bin/false-U-m-d/usr/share/ollamaollamasudousermod-a-Gollama$(whoami)

在以下位置创建服务文件/etc/systemd/system/ollama.service:

[Unit]Description=OllamaServiceAfter=network-online.target[Service]ExecStart=/usr/bin/ollamaserveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="ATH=$PATH"[Install]WantedBy=default.target

然后启动服务:

sudosystemctldaemon-reloadsudosystemctlenableollama


04
自定义安装

要自定义 Ollama 的安装,您可以通过运行以下命令编辑 systemd 服务文件或环境变量:

sudosystemctleditollama

或者,在以下位置手动创建覆盖文件


/etc/systemd/system/ollama.service.d/override.conf:

[Service]Environment="OLLAMA_DEBUG=1"



05
修改模型路径

在 Linux 系统中,Ollama 默认将模型存储在/usr/share/ollama/.ollama/models目录。以下是修改模型目录的步骤:

创建新的模型存储目录

打开终端,创建一个新的目录作为模型存储路径。
sudomkdir-p/data/ai/ollama/models
更改目录权限,确保 Ollama 有权限访问和写入:
# 非必须sudo chown-Rollamallama/data/ai/ollama/models
# 非必须sudo chmod-R775/data/ai/ollama/models

修改 Ollama 服务配置文件

编辑 Ollama 服务的配置文件。使用以下命令打开配置文件:
sudovi/etc/systemd/system/ollama.service
[Service]部分的Environment字段后,添加新的Environment字段,指定新的模型路径:
# 修改模型下载路径Environment="OLLAMA_MODELS=/data/ai/ollama/models"
# 开启外部访问Environment="OLLAMA_HOST=0.0.0.0"

完整的配置示例如下:

[Unit]Description=OllamaServiceAfter=network-online.target
[Service]ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="ATH=/data/conda3/run/envs/ollama/bin:/data/conda3/run/condabin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_MODELS=/data/ai/ollama/models"
[Install]WantedBy=default.target

重载配置并重启 Ollama 服务

重载系统服务配置:
sudosystemctldaemon-reload
重启 Ollama 服务:
sudosystemctlrestartollama
查看服务状态:
sudosystemctlstatusollama

验证更改

检查默认路径/usr/share/ollama/.ollama/models,确认模型文件是否已经消失。
检查新路径/data/ai/models,确认是否生成了blobsmanifests文件夹。



06
模型离线迁移

主要是迁移blobs和manifests文件夹中的内容

blobs 文件夹

在blobs文件夹下是一些二进制文件,这时,需要到ollama官网去,找到对应模型的唯一标识,这里以deepseek-r1:1.5b为例,ollama官网的models中搜索deepseek-r1,并进入主页,如下所示:

点击model,然后拷贝这部分aabd4debf0c8


在blobs文件夹搜索aabd4debf0c8

可以定位到一个二进制文件,找到这个文件,并将与这个文件具有相同修改时间的其它文件一起复制到目标主机的对应文件夹下

sha256-369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150sha256-6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4sha256-a85fe2a2e58e2426116d3686dfdc1a6ea58640c1e684069976aa730be6c1fa01sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbcsha256-f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588

manifests 文件夹

这个比较简单,复制manifests文件夹下特定目录到目标主机的对应文件夹下


验证

在目标主机运行ollama list命令,发现 deepseekr1:1.5b 模型已经迁移过来了

执行 ollama run deepseek-r1:1.5b 部署模型

ok 部署从成功

备注:ollama的模型在windows、linux和mac系统中都是通用的,模型不同系统之间可以进行相互拷贝。





07
更新

通过再次运行安装脚本来更新 Ollama:

curl-fsSLhttps://ollama.com/install.sh|sh

或者重新下载 Ollama:

curl-Lhttps://ollama.com/download/ollama-linux-amd64.tgz-oollama-linux-amd64.tgzsudotar-C/usr-xzfollama-linux-amd64.tgz


08
安装特定版本

使用安装脚本中的环境变量来安装特定版本的 Ollama,包括预发布版本。您可以在发布页面OLLAMA_VERSION中找到版本号。

例如:

curl-fsSLhttps://ollama.com/install.sh|OLLAMA_VERSION=0.5.7sh

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行:

journalctl-e-uollama


09
卸载

删除 ollama 服务:

sudosystemctlstopollamasudosystemctldisableollamasudorm/etc/systemd/system/ollama.service

从 bin 目录中删除 ollama 二进制文件

(either/usr/local/bin,/usr/bin, or/bin):

sudorm$(whichollama)

删除下载的模型和 Ollama 服务用户和组:

sudorm-r/usr/share/ollamasudouserdelollamasudogroupdelollama

删除已安装的库:

sudorm-rf/usr/local/lib/ollama

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ