想要在本地运行大型语言模型吗？
Ollama框架提供了这样的机会。
这个框架是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程。
安装Ollama后，你只需执行一条命令，即可在本地运行开源大型语言模型。
它将模型权重、配置和数据整合成一个Modelfile，同时优化了设置和配置，包括GPU的使用。
Google和DeepMind团队开发的Gemma模型，现已与Ollama兼容。
Google重磅开源！Gemma 2B/7B小模型登场，6万亿Tokens喂饱，聊天编程两不误，LLaMA也黯然失色？
Gemma有两种参数大小：2b和7b。
那么如何本地安装Ollama？
如何用Ollama安装Gemma ？
我们一起看下具体方法。
安装Ollama
支持macOS、Windows 、Linux、Docker安装方式。
都是特别简单，直接下载安装。
Windows环境安装https://ollama.com/download/OllamaSetup.exe
Mac环境安装https://ollama.com/download/Ollama-darwin.zip
Linux环境安装
curl-fsSLhttps://ollama.com/install.sh|sh
Ollama API为本地AI服务提供了便捷途径。
无需复杂设置，它自动在后台运行，并通过http://localhost:11434为工具和应用程序提供服务。支持模型库。
注意：应该至少有8GB的可用内存来运行7B模型，16GB来运行13B模型，以及32GB来运行33B模型。
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
| Phi-2 | 2.7B | 1.7GB | ollama run phi |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Orca Mini | 3B | 1.9GB | ollama run orca-mini |
| Vicuna | 7B | 3.8GB | ollama run vicuna |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
安装Gemma
ollama 支持Gemma 2b和7b。
ollamarungemma:2b
ollamarungemma:7b(default)
启动gemma 7b模型，输入提示词使用。
提示：Iwanttolearnwriting.Pleasedevelopa30-daylearningplantohelpbeginnerslikemelearnandimprovethisskill.
还可以测试Http API 。
(Invoke-WebRequest-methodPOST-Body'{"model":"gemma:7b","prompt":"Whyistheskyblue?","stream":false}'-urihttp://localhost:11434/api/generate).Content|ConvertFrom-json
结语
无论你是研究人员、开发者还是技术爱好者，现在都可以使用Ollama框架，在本地轻松运行大型语言模型。
Gemma模型，无论参数大小，都能在你的设备上顺畅运行。