链载Ai

标题: 短短几天，开源社区HuggingFace上已经涌现了一批基于Llama3微调的中文版本 [打印本页]

作者: 链载Ai 时间: 昨天 09:33
标题: 短短几天，开源社区HuggingFace上已经涌现了一批基于Llama3微调的中文版本

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin-right: auto;margin-bottom: 2em;margin-left: auto;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">开源仓库

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">短短几天，开源社区HuggingFace上已经涌现了一批基于Llama3微调的中文版本。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">GitHub上llama3-Chinese-chat仓库也整理了目前各家微调的版本，包括：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;padding: 1em;margin: 10px 8px;">联通微调版：https://www.modelscope.cn/models/UnicomAI/Unichat-llama3-Chinese/summary
Openbuddy微调版：https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-8b-v21.1-8k/summary
zhichen微调版：https://github.com/seanzhang-zhichen/llama3-chinese
Rookie微调版：https://github.com/Rookie1019/Llama-3-8B-Instruct-Chinese
shareAI-V1：https://opencsg.com/models/shareAI/llama3-Chinese-chat-8b
shareAI-V2：https://modelscope.cn/models/baicai003/Llama3-Chinese_v2/summary

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">Ollama部署Llama3-Chinese模型

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">ollama仓库也已经出现了llama3-Chinese的模型（基于https://huggingface.co/zhichen/Llama3-Chinese的quantize q4_0版本）。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">但经本人测试效果比较差，不仅回答的不准确，而且提问第二个问题就没有任何响应了。所以，不推荐使用。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这里，我们使用HuggingFace社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF模型，推荐下载使用q4_k_m版本：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">地址：zhouzr/Llama3-8B-Chinese-Chat-GGUF at main (huggingface.co)

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">将下载的GGUF模型上传到指定位置，编写Modelfile：

FROM./Llama3-8B-Chinese-Chat.q4_k_m.GGUF
TEMPLATE"""{{if.System}}<|start_header_id|>system<|end_header_id|>

{{.System}}<|eot_id|>{{end}}{{if.Prompt}}<|start_header_id|>user<|end_header_id|>

{{.Prompt}}<|eot_id|>{{end}}<|start_header_id|>assistant<|end_header_id|>

{{.Response}}<|eot_id|>"""
PARAMETERstop"<|start_header_id|>"
PARAMETERstop"<|end_header_id|>"
PARAMETERstop"<|eot_id|>"
PARAMETERstop"<|reserved_special_token"

执行ollama create llama3-Chinese:8B -f Modelfile创建模型：

(base)[root@localhostmy_model]#ollamacreatellama3-Chinese:8B-fModelfile
transferringmodeldata
creatingmodellayer
creatingtemplatelayer
creatingparameterslayer
creatingconfiglayer
usingalreadycreatedlayersha256:74db82a06a038230371e62740a9b430140e4df3a02c5ddcbe97c9bee76d6455e
writinglayersha256:8ab4849b038cf0abc5b1c9b8ee1443dca6b93a045c2272180d985126eb40bf6f
writinglayersha256:c0aac7c7f00d8a81a8ef397cd78664957fbe0e09f87b08bc7afa8d627a8da87f
writinglayersha256:109fb4827ddd6f21dd04a405dec5e1c9e39cf139e89b98536875a782938c02f5
writingmanifest
success

执行ollama list查看：

(base)[root@localhostmy_model]#ollamalist
NAMEIDSIZEMODIFIED
llama3-Chinese:8Be45ad8ada59e4.9GB33secondsago
qwen:14b-chat-v1.5-q5_K_Mba0e61d66b2710GB6weeksago

llama3-Chinese:8B已经成功导入到Ollama中。

测试示例

•弱智吧

•安全性

•撰写能力

•数学能力

•代码能力

欢迎光临链载Ai (https://www.lianzai.com/)