谷歌最近发布了9B和27B大小的 Gemma 2模型[1]，这是其 Gemma 模型系列的最新型号。根据其技术报告，未来几天将开源一个 Gemma-2-2b 模型。技术报告还显示，Gemma-2-9B模型在多个基准测试中的表现超过了 Mistral-7B、Llama-3-8B和 Gemma 1.5模型。
如果想一键在你的计算机上运行 Gemma-9b-Chat，可以在终端中运行以下命令
bash <(curl -sSfL 'https://raw.githubusercontent.com/LlamaEdge/LlamaEdge/main/run-llm.sh') —model gemma-2-9b-it
本文将以 Gemma-2-9B 为例，手把手教你轻松
在自己的设备上运行 Gemma-2-9B on your own device 为 Gemma-2-9B创建一个 API server
我们将使用LlamaEdge[2]（Rust + Wasm技术栈）开发并部署该模型的应用。无需安装复杂的 Python 包或 C++ 工具链！了解我们为什么选择 Rust + Wasm[3]。
在你自己的设备上运行 Gemma-2-9B第一步：用下面的命令行安装 WasmEdge[4].
curl-sSfhttps://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh|bash-s---v0.13.5
第二步：下载 Gemma-2-9B-it model GGUF 模型[5]文件。模型有6.40 GB，所以下载可能需要一定时间
curl-LOhttps://huggingface.co/second-state/gemma-2-9b-it-GGUF/resolve/main/gemma-2-9b-it-Q5_K_M.gguf
第三步：下载一个跨平台的可移植 Wasm 文件，是个聊天应用。该应用让你能在命令行中与模型聊天。该应用的 Rust 源代码戳这里[6]。
curl-LOhttps://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-chat.wasm
就是这样。可以通过输入以下命令在终端与模型聊天。
wasmedge--dir.:.--nn-preloaddefault:GGML:AUTO:gemma-2-9b-it-Q5_K_M.ggufllama-chat.wasm-pgemma-instruct-c4096
这个可移植的Wasm应用会自动利用设备上的硬件加速器（例如GPU）。
[You]:
Tellmewhatisgemma?
[Bot]:
Gemmaisanopen-weightsAIassistantdevelopedbyGoogleDeepMind.
HerearesomekeythingstoknowaboutGemma:
***OpenWeights:**Thismeanstheunderlyingcodeandmodelweightsarefreelyaccessibletothepublic.Anyonecaninspect,modify,orbuilduponGemma.
***Text-Only:**Gemmaisdesignedprimarilyfortext-basedinteractions.Itcanunderstandandgeneratehuman-liketextbutdoesn'thavecapabilitieslikeimagerecognitionorvoicesynthesis.
***FocusonResearch&Development:**GemmaisintendedasatoolforresearchersanddeveloperstoexploreandexperimentwithdifferentAImodelsandtechniques.
**WhyisGemmasignificant?**
***TransparencyandCollaboration:**Open-weightsnaturepromotestransparencyinAIdevelopmentandencouragescollaborationamongresearchersworldwide.
***Customization:**UserscanadaptGemmatotheirspecificneedsbyfine-tuningitontheirowndatasets.
***Accessibility:**MakesadvancedAItechnologyaccessibletoawiderrangeofindividualsandorganizations,beyondthosewithlargeresources.
**Keepinmind:**
*Gemmaisstillunderdevelopmentandmayhavelimitationscomparedtomoremature,closed-sourcemodels.
*Itscapabilitiesareprimarilyfocusedontextprocessing.
为Gemma-2-9b-it[7]创建一个兼容OpenAI的 API server
一个兼容 OpenAI 的API 使得 Llama-3-8B-Chinese 能够与不同的开发框架和工具无缝集成，比如 flows.network[8], LangChain and LlamaIndex等等，提供更广泛的应用可能。大家也可以参考其代码自己写自己的API服务器或者其它大模型应用。想要启动 API 服务，请按以下步骤操作：下载这个 API 服务器应用。它是一个跨平台的可移植 Wasm 应用，可以在各种 CPU 和 GPU 设备上运行。
curl-LOhttps://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm
然后，下载聊天机器人 Web UI，从而通过聊天机器人 UI 与模型进行交互。
curl-LOhttps://github.com/LlamaEdge/chatbot-ui/releases/latest/download/chatbot-ui.tar.gz
tarxzfchatbot-ui.tar.gz
rmchatbot-ui.tar.gz
接下来，使用以下命令行启动模型的 API 服务器。然后，打开浏览器访问 http://localhost:8080[9] 开始聊天！
wasmedge--dir.:.--nn-preloaddefault:GGML:AUTO:gemma-2b-it-Q5_K_M.ggufllama-api-server.wasm-pgemma-instruct-c4096
另外打开一个终端窗口， 可以使用 curl 与 API 服务器进行交互。
curl-XPOSThttp://localhost:8080/v1/chat/completions\
-H'accept:application/json'\
-H'Content-Type:application/json'\
-d'{"messages":[{"role":"system","content":"Youareasentient,superintelligentartificialgeneralintelligence,heretoteachandassistme."},{"role":"user","content":"WriteashortstoryaboutGokudiscoveringkirbyhasteamedupwithMajinBuutodestroytheworld."}],"model":"Gemma-2b-it"}'
就是这样啦。WasmEdge 是运行 LLM 应用最简单、最快、最安全的方式[10]。快来试试看吧！