返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

DeepSeek本地平替方案:Ollama隐藏技巧大公开

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 17:15 |阅读模式 打印 上一主题 下一主题


当DeepSeek引爆本地AI热潮,你的Ollama还在用默认设置?
最近国产AI大模型DeepSeek强势出圈,越来越多人开始尝试本地部署大型语言模型(LLM),既保护隐私又节省成本。但许多新手在用Ollama时,常被默认安装路径占满C盘、不会加载本地模型等问题劝退。本文手把手教你如何自定义安装路径、秒切本地模型文件,让AI真正成为你的私人算力助手!

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">什么是 Ollama?

Ollama 是一个开源项目,专注于帮助用户在本地运行大型语言模型。它简化了 LLM的部署和使用,使用户能够在自己的设备上运行这些模型,而无需依赖云服务或高性能服务器。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">?主要特点:

  • 本地运行:支持在个人电脑或服务器上运行 LLMs,确保数据隐私和安全。

  • 模型支持:兼容多种开源 LLMs,如 LLaMA、GPT-J 等。

  • 易用性:提供简单接口,方便用户快速部署和使用模型。

  • 跨平台:支持 macOS、Linux 和 Windows 等操作系统。

  • 资源优化:通过量化等技术,优化模型在本地设备上的性能。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">?使用场景:

  • 隐私保护:处理敏感数据时,本地运行避免数据外泄。

  • 离线使用:在没有网络连接的环境中运行模型。

  • 定制开发:开发者可基于 Ollama 构建定制化应用。

  • 学习研究:学生和研究人员可用它进行实验和项目开发。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">如何自定义Ollama安装路径?

Ollama 的默认安装路径在C盘,而且exe安装时不能选择安装路径。接下来3步搞定Ollama自定义安装:C盘告急者的救命指南。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">1️⃣ 第一步:打开安装包所在的文件夹,输入cmd进入命令行

输入cmd后按下回车进入终端

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">2️⃣第二步:创建安装路径文件夹Ollama

例如创建文件夹在 H:\Ollama

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);">3️⃣第三步:输入安装命令完成安装

OllamaSetup.exe/DIR=H:\Ollama

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">自定义大语言模型安装路径

创建系统环境变量OLLAMA_MODELS,变量值设置成模型存放位置 eg.H:\Ollama\models

重新启动Ollama即可完成重置。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">怎么迁移先前下载的模型?

模型默认存放路径在用户主目录下的.ollama文件夹,例如我的存放在C:\Users\TAOjay\.ollama\models文件夹。将该文件夹下的内容复制到OLLAMA_MODELS设置的文件夹内即可。

运行命令检查是否迁移成功:

>ollamalist#输出NAMEIDSIZEMODIFIEDdeepseek-r1:7b0a8c266910234.7GB13hoursagodeepseek-r1:1.5ba42b25d8c10a1.1GB38hoursago

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;color: black;height: 40px;background-color: rgb(251, 251, 251);border-bottom: 1px solid rgb(246, 246, 246);overflow: hidden;visibility: visible;">加载本地下载好的GGUF模型

比如下载DeepSeek-模型文件 DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf:

在该路径下创建名为Modelfile的文件,文件内容为:

FROMDeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
ollama 通过模型文件创建大模型,命令格式为ollama create choose-a-model-name -f <location of the Modelfile>
ollamacreatedeepSeek-r1:7b-fH:/LLM_MODELS/Modelfile
开始使用模型
ollamarundeepSeek-r1:7b

要查看给定模型的Modelfile,使用ollama show --modelfile命令。



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ