返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

通义千问:Qwen2 已开源

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 10:06 |阅读模式 打印 上一主题 下一主题


长话短说

中国时间 6 月 7 日 0 点,Qwen2 开源

包括0.5B, 1.5B, 7B, 57B-A14B 和72B


基础信息

训练集除中英文外,额外包括 27种语言

最多支持 128K(72B 完美支持)

较擅长代码&数学(也是说的 72B)


开源协议

0.5B, 1.5B, 7B, 57B-A14B 使用 Apache 2.0

Qwen2-72B 使用 Qianwen License


Git 地址

https://github.com/QwenLM/Qwen2


Hugging Face

https://huggingface.co/Qwen


在线体验(72B)

https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct



技术参数

来自官方数据



基础信息

需要额外说的是,在Qwen1.5系列中,只有32B和110B的模型使用了GQA。这一次,所有尺寸的模型都使用了GQA

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;height: auto;"/>


除了中英文外,还使用了其他 27 种语言的训练数据

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;height: auto;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;margin-block: 1em;text-align: left;">在大海捞针里:

    ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;list-style-type: circle;">
  • 72B 和 7B 可处理128k 上下文

  • 57B-A14B 可处理64k 上下文

  • 0.5B 和 1.5B 可处理 32k 上下文

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;text-align: center;background-color: rgb(245, 247, 250);width: 100%;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>




测试(72B)

看上去还不错,数据来自官方




ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-align: center;text-wrap: wrap;background-color: rgb(245, 247, 250);width: 100%;height: auto;border-width: 1px;border-style: solid;border-color: rgba(29, 28, 35, 0.12);border-radius: 12px;"/>


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;margin-block: 1em;text-align: center;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;margin-block: 1em;text-align: center;">测试(7B)

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;text-align: center;">个人认为,这个对比是故意的

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.578px;text-wrap: wrap;text-align: center;">


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ