写在前面
大家好，我是刘聪NLP。
开源界最近属实是太疯狂了，前有Llama3-70B模型开源，后有Qwen1.5开源千亿（110B）级别参数模型。
Qwen你真的让我开始捉摸不透了，1.5系列已经从0.5B、1.8B、7B、14B、32B、72B到现在的110B、还有Code系列模型、MOE系列模型，太全了，感觉已经快把中文开源模型市场给垄断了。
并且，值得注意的是，110B的模型是Dense的模型，不是虚胖的MOE模型（个人总觉得MOE模型的参数有点不真实，不喜勿喷）。
上周的时候，Qwen1.5-110B-Chat的Demo已经放出，其实早有内部消息说本周开源参数，果然，你是说话算数的。
Blog:https://qwenlm.github.io/blog/qwen1.5-110b
HF:https://huggingface.co/Qwen/Qwen1.5-110B-Chat
Demo:https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo
Qwen1.5-110B介绍
模型结构与之前模型相似，采用Transformer-Decoder架构，并使用分组查询注意力（Grouped Query Attention，GQA），加速模型推理计算。模型的最大长度为32K，支持英、中、法、西、德、俄、日、韩、越等多种语言。
在基础能力上的效果全面领先72B模型，与Llama3-70B模型也是平分秋色。
在Chat能力上，在MT-Bench和AlpacaEval 2.0上进行了评估，也是优于Llama-3-70B-Instruct。
由于在训练110B模型过程中，没有对预训练的方法进行大幅改变，因此与72B相比的性能提升主要来自于增加模型规模。
此外，在lmsys的对战榜单上，原来Llama3-70B是开源最强，排在第6，Qwen1.5-72B排在13。按照这个架势，Qwen1.5-110B完全有机会成为开源最强模型，期待后续大家投票的结果。
Qwen1.5-110B本身就有很多中文数据，相较于Llama3模型来说，对中文的适配也会更好。（反正我基本全面拥抱了，主要是各个尺寸都有，用着就很舒服）
模型使用
直接transformers走起，模型下载有困难的同学，详见我之前写的一篇文章《大模型下载使我痛苦》。
fromtransformersimportAutoModelForCausalLM,AutoTokenizer
device="cuda"#thedevicetoloadthemodelonto
model=AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen1.5-110B-Chat",
torch_dtype="auto",
device_map="auto"
)
tokenizer=AutoTokenizer.from_pretrained("Qwen/Qwen1.5-110B-Chat")
prompt="你叫什么名字"
messages=[
{"role":"system","content":"Youareahelpfulassistant."},
{"role":"user","content":prompt}
]
text=tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs=tokenizer([text],return_tensors="pt").to(device)
generated_ids=model.generate(model_inputs.input_ids,max_new_tokens=512)
generated_ids=[output_ids[len(input_ids):]forinput_ids,output_idsinzip(model_inputs.input_ids,generated_ids)]
response=tokenizer.batch_decode(generated_ids,skip_special_tokens=True)[0]
print(response)
PS：自己没有显卡的也没关系，反正HF上是由Demo的，嫖就完事儿了。
测试几个弱智吧问题
石油也是油，为啥没人用它来炒菜？
如果把脏话都说出来了，那么嘴是不是就干净了
为什么孙悟空是中国猴子却叫美猴王，不应该叫中猴王吗
下雨天关节疼 那我骗它是晴天不就不会疼了
PS：大部分回答还是不错的，自己体验下来整体效果也是很强。
写在最后
Qwen2系列模型说是下个月会开源，十分期待。
大模型开源社区也是越来月繁荣昌盛，个人认为与闭源直接的差距是在缩小的，请各位头部开源组织继续加油，我会紧紧跟随。
