一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型

就在今天，零一万物发布了 Yi-1.5 系列大模型^[1]，在 Hugging Face上开源可下载，有三种参数量：340亿/90亿/60亿。

Yi-1.5 是对之前Yi版本的重大升级。它在编程、数学、推理和遵循指令方面拥有增强的能力，同时在阅读理解、常识推理和理解语言等核心语言领域继续表现出色。这一进步归功于 5000 亿个token的海量数据集，用于对 300 万个不同样本进行预训练和微调。

本文将以 Yi-1.5-9B-Chat^[2] 为例，手把手教你轻松

• 在自己的设备上运行 Yi-1.5-9B-Chat
• 为 Yi-1.5-9B-Chat 创建一个 API server

我们将使用 LlamaEdge^[3] （Rust + Wasm技术栈）开发并部署该模型的应用。无需安装复杂的 Python 包或 C++ 工具链！了解我们为什么选择 Rust + Wasm^[4]。

想要一键在你的计算机上运行 Yi-9b-Chat，请在终端中运行以下命令。

bash<(curl-sSfL'https://raw.githubusercontent.com/LlamaEdge/LlamaEdge/main/run-llm.sh')—modelyi-1.5-9b-chat

在你自己的设备上运行 Yi-1.5-9B-Chat

第一步：用下面的命令行安装 WasmEdge^[5]

curl-sSfhttps://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh|bash-s----pluginwasi_nn-ggmlwasmedge_rustls

Step 2: 第二步：下载 Llama-3-8B-Chinese-Chat 模型 GGUF^[6]文件。模型有6.26 GB，所以下载可能需要一定时间。

curl-LOhttps://huggingface.co/second-state/Yi-1.5-9B-Chat-GGUF/resolve/main/Yi-1.5-9B-Chat-Q5_K_M.gguf

第三步：下载一个跨平台的可移植 Wasm 文件，是个聊天应用。该应用让你能在命令行中与模型聊天。该应用的 Rust 源代码戳这里^[7]。

curl-LOhttps://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-chat.wasm

就是这样。可以通过输入以下命令在终端与模型聊天。

wasmedge--dir.:.--nn-preloaddefault:GGML:AUTO:Yi-1.5-9B-Chat-Q5_K_M.gguf\
llama-chat.wasm\
--prompt-templatechatml\
--reverse-prompt'<|im_end|>'\
--ctx-size4096

这个可移植的Wasm应用会自动利用设备上的硬件加速器（例如GPU）。在 16G M2 芯片 的 Macbook 上运行 Yi-1.5-9B chat Q5 量化版，得到

[You]:
Ihave5applestoday.Iate3appleslastweek.HowmanyapplesdoIhavenow?

[Bot]:
Ifyouhad5applestodayandate3appleslastweek,thenaccordingtotheinformationprovided,youstillhave5applesnow.Theactionofeatingappleslastweekdoesn'taffectthenumberofapplesyoucurrentlyhavetoday.

Yi-1.5-9B-Chat模型可以很好地回答这种陷阱问题。

为 Yi-1.5-9B-Chat 创建一个 API server

我们提供了一个兼容 OpenAI API 的服务。这使得 Llama-3-8B-Chinese 能够与不同的开发框架和工具无缝集成，比如 flows.network^[8], LangChain and LlamaIndex等等，提供更广泛的应用可能。大家也可以参考其代码自己写自己的API服务器或者其它大模型应用。想要启动 API 服务，请按以下步骤操作：下载这个 API 服务器应用。它是一个跨平台的可移植 Wasm 应用，可以在各种 CPU 和 GPU 设备上运行。

curl-LOhttps://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

然后，下载聊天机器人 Web UI，从而通过聊天机器人 UI 与模型进行交互。

curl-LOhttps://github.com/LlamaEdge/chatbot-ui/releases/latest/download/chatbot-ui.tar.gz
tarxzfchatbot-ui.tar.gz
rmchatbot-ui.tar.gz

接下来，使用以下命令行启动模型的 API 服务器。然后，打开浏览器访问 http://localhost:8080^[9] 开始聊天！

wasmedge--dir.:.--nn-preloaddefault:GGML:AUTO:Yi-1.5-9B-Chat-Q5_K_M.gguf\
llama-api-server.wasm\
--prompt-templatechatml\
--reverse-prompt'<|im_end|>'\
--ctx-size4096\
--model-nameYi-1.5-9B-Chat

另外打开一个终端窗口， 可以使用 curl 与 API 服务器进行交互。

url-XPOSThttp://localhost:8080/v1/chat/completions\
-H'accept:application/json'\
-H'Content-Type:application/json'\
-d'{"messages":[{"role":"user","content":"writeahelloworldinRust"}],"model":"Yi-1.5-9B-Chat"}'

就是这样啦。WasmEdge 是运行 LLM 应用最简单、最快、最安全的方式^[10]。快来试试看吧！