链载Ai

标题: DeepSeek本地平替方案：Ollama隐藏技巧大公开 [打印本页]

作者: 链载Ai 时间: 昨天 17:15
标题: DeepSeek本地平替方案：Ollama隐藏技巧大公开

当DeepSeek引爆本地AI热潮，你的Ollama还在用默认设置？
最近国产AI大模型DeepSeek强势出圈，越来越多人开始尝试本地部署大型语言模型（LLM），既保护隐私又节省成本。但许多新手在用Ollama时，常被默认安装路径占满C盘、不会加载本地模型等问题劝退。本文手把手教你如何自定义安装路径、秒切本地模型文件，让AI真正成为你的私人算力助手！

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">什么是 Ollama?

Ollama 是一个开源项目，专注于帮助用户在本地运行大型语言模型。它简化了 LLM的部署和使用，使用户能够在自己的设备上运行这些模型，而无需依赖云服务或高性能服务器。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">?主要特点：

本地运行：支持在个人电脑或服务器上运行 LLMs，确保数据隐私和安全。
模型支持：兼容多种开源 LLMs，如 LLaMA、GPT-J 等。
易用性：提供简单接口，方便用户快速部署和使用模型。
跨平台：支持 macOS、Linux 和 Windows 等操作系统。
资源优化：通过量化等技术，优化模型在本地设备上的性能。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">?使用场景：

隐私保护：处理敏感数据时，本地运行避免数据外泄。
离线使用：在没有网络连接的环境中运行模型。
定制开发：开发者可基于 Ollama 构建定制化应用。
学习研究：学生和研究人员可用它进行实验和项目开发。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">如何自定义Ollama安装路径?

Ollama 的默认安装路径在C盘，而且exe安装时不能选择安装路径。接下来3步搞定Ollama自定义安装：C盘告急者的救命指南。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">1️⃣ 第一步：打开安装包所在的文件夹，输入cmd进入命令行

输入cmd后按下回车进入终端

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">2️⃣第二步：创建安装路径文件夹Ollama

例如创建文件夹在 H:\Ollama

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">3️⃣第三步：输入安装命令完成安装

OllamaSetup.exe/DIR=H:\Ollama

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">自定义大语言模型安装路径

创建系统环境变量OLLAMA_MODELS，变量值设置成模型存放位置 eg.H:\Ollama\models

重新启动Ollama即可完成重置。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">怎么迁移先前下载的模型？

模型默认存放路径在用户主目录下的.ollama文件夹，例如我的存放在C:\Users\TAOjay\.ollama\models文件夹。将该文件夹下的内容复制到OLLAMA_MODELS设置的文件夹内即可。

运行命令检查是否迁移成功：

>ollamalist#输出NAMEIDSIZEMODIFIEDdeepseek-r1:7b0a8c266910234.7GB13hoursagodeepseek-r1:1.5ba42b25d8c10a1.1GB38hoursago

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">加载本地下载好的GGUF模型

比如下载DeepSeek-模型文件 DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf：

在该路径下创建名为Modelfile的文件，文件内容为：

FROMDeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

ollama 通过模型文件创建大模型，命令格式为ollama create choose-a-model-name -f <location of the Modelfile>

ollamacreatedeepSeek-r1:7b-fH:/LLM_MODELS/Modelfile

开始使用模型

ollamarundeepSeek-r1:7b

要查看给定模型的Modelfile，使用ollama show --modelfile命令。

欢迎光临链载Ai (https://www.lianzai.com/)