通义千问：Qwen2 已开源 - 链载Ai

长话短说

中国时间 6 月 7 日 0 点，Qwen2 开源

包括0.5B, 1.5B, 7B, 57B-A14B 和72B

基础信息

训练集除中英文外，额外包括 27种语言

最多支持 128K（72B 完美支持）

较擅长代码&数学（也是说的 72B）

开源协议

0.5B, 1.5B, 7B, 57B-A14B 使用 Apache 2.0

Qwen2-72B 使用 Qianwen License

Git 地址

https://github.com/QwenLM/Qwen2

Hugging Face

https://huggingface.co/Qwen

在线体验（72B）

https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct

技术参数

来自官方数据

基础信息

需要额外说的是，在Qwen1.5系列中，只有32B和110B的模型使用了GQA。这一次，所有尺寸的模型都使用了GQA

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;height: auto;"/>

除了中英文外，还使用了其他 27 种语言的训练数据

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;height: auto;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;margin-block: 1em;text-align: left;">在大海捞针里：

72B 和 7B 可处理128k 上下文
57B-A14B 可处理64k 上下文
0.5B 和 1.5B 可处理 32k 上下文

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;text-align: center;background-color: rgb(245, 247, 250);width: 100%;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>

测试（72B）

看上去还不错，数据来自官方

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;height: auto;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;margin-block: 1em;text-align: center;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;text-align: center;">