中国人自己的Llama：Qwen1.5开源110B参数模型 - 链载Ai

写在前面

大家好，我是刘聪NLP。

开源界最近属实是太疯狂了，前有Llama3-70B模型开源，后有Qwen1.5开源千亿（110B）级别参数模型。

Qwen你真的让我开始捉摸不透了，1.5系列已经从0.5B、1.8B、7B、14B、32B、72B到现在的110B、还有Code系列模型、MOE系列模型，太全了，感觉已经快把中文开源模型市场给垄断了。

并且，值得注意的是，110B的模型是Dense的模型，不是虚胖的MOE模型（个人总觉得MOE模型的参数有点不真实，不喜勿喷）。

上周的时候，Qwen1.5-110B-Chat的Demo已经放出，其实早有内部消息说本周开源参数，果然，你是说话算数的。

Blog:https://qwenlm.github.io/blog/qwen1.5-110b
HF:https://huggingface.co/Qwen/Qwen1.5-110B-Chat
Demo:https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo

Qwen1.5-110B介绍

模型结构与之前模型相似，采用Transformer-Decoder架构，并使用分组查询注意力（Grouped Query Attention，GQA），加速模型推理计算。模型的最大长度为32K，支持英、中、法、西、德、俄、日、韩、越等多种语言。

在基础能力上的效果全面领先72B模型，与Llama3-70B模型也是平分秋色。

在Chat能力上，在MT-Bench和AlpacaEval 2.0上进行了评估，也是优于Llama-3-70B-Instruct。

由于在训练110B模型过程中，没有对预训练的方法进行大幅改变，因此与72B相比的性能提升主要来自于增加模型规模。

此外，在lmsys的对战榜单上，原来Llama3-70B是开源最强，排在第6，Qwen1.5-72B排在13。按照这个架势，Qwen1.5-110B完全有机会成为开源最强模型，期待后续大家投票的结果。

Qwen1.5-110B本身就有很多中文数据，相较于Llama3模型来说，对中文的适配也会更好。（反正我基本全面拥抱了，主要是各个尺寸都有，用着就很舒服）

模型使用

直接transformers走起，模型下载有困难的同学，详见我之前写的一篇文章《大模型下载使我痛苦》。

fromtransformersimportAutoModelForCausalLM,AutoTokenizer
device="cuda"#thedevicetoloadthemodelonto

model=AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen1.5-110B-Chat",
torch_dtype="auto",
device_map="auto"
)
tokenizer=AutoTokenizer.from_pretrained("Qwen/Qwen1.5-110B-Chat")

prompt="你叫什么名字"
messages=[
{"role":"system","content":"Youareahelpfulassistant."},
{"role":"user","content":prompt}
]
text=tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs=tokenizer([text],return_tensors="pt").to(device)

generated_ids=model.generate(model_inputs.input_ids,max_new_tokens=512)

generated_ids=[output_ids[len(input_ids):]forinput_ids,output_idsinzip(model_inputs.input_ids,generated_ids)]
response=tokenizer.batch_decode(generated_ids,skip_special_tokens=True)[0]

print(response)

PS：自己没有显卡的也没关系，反正HF上是由Demo的，嫖就完事儿了。

测试几个弱智吧问题

石油也是油，为啥没人用它来炒菜？

如果把脏话都说出来了，那么嘴是不是就干净了

为什么孙悟空是中国猴子却叫美猴王，不应该叫中猴王吗

下雨天关节疼那我骗它是晴天不就不会疼了

PS：大部分回答还是不错的，自己体验下来整体效果也是很强。

写在最后

Qwen2系列模型说是下个月会开源，十分期待。

大模型开源社区也是越来月繁荣昌盛，个人认为与闭源直接的差距是在缩小的，请各位头部开源组织继续加油，我会紧紧跟随。