返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

QwQ总结能力测评,32b小模型真能超过deepseek吗

[复制链接]
链载Ai 显示全部楼层 发表于 半小时前 |阅读模式 打印 上一主题 下一主题

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">最近阿里通义QwQ-32B在一系列基准测试中进行了评估,各项能力甚至接近deepseek-r1,一个32b模型竟然和671b模型能力差不多。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">阿里是用了什么魔法嘛,我们先来看看他们介绍是怎么做到的吧。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">QWQ基于冷启动开展大规模强化学习。初始阶段,特别针对数学和编程任务进行RL训练。与依赖传统奖励模型不同,通过校验生成答案的正确性来为数学问题提供反馈,并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码反馈。


方法上其实看不出太大的区别,那么是不是真的有这么厉害呢,talk is cheap,让我们来直接来看看对比的结果吧。
我这里主要以内容总结能力做了测试,因为原文较长就不全部贴出来了,但是主要就包含了几个重要信息,有来渝就业创业40万(含市外6万),离校前就业率不低于75%,未就业年底帮扶率超90%。全市提供机关事业单位岗位1.6万个左右,市属国企和区县属国企等提供岗位1万个以上,落实"三支一扶""西部计划"等基层服务项目,拓展基层就业服务岗位,提供就业岗位1万个以上。完善创业支持,发放创业贷款13亿等。
对比下来,deepseek-r1总结的最全面,还自动把提供岗位数量1.6万+1万+1万合并成3.6万,意思上仍然正确。
qwq总结的也不错,但是漏掉了提供岗位的总数量,相较于deepseek-r1差了一点。
至于deepseek蒸馏版本70b以及32b的模型,丢失信息就更多了,基本上关键数字都没有保留。
输出结果可以看下图:
对比的部分代码:
def_stream_query(self,model_name,question):"""流式查询模型"""reasoning_content=""answer_content=""is_answering=Falsecompletion=self.client.chat.completions.create(model=model_name,messages=[{"role":"user","content":question}],stream=True)self.console.print(Panel.fit("[boldblue]思考过程[/boldblue]",border_style="blue",padding=(1,2)))forchunkincompletion:ifnotchunk.choices:continuedelta=chunk.choices[0].deltaifhasattr(delta,'reasoning_content')anddelta.reasoning_contentisnotNone:self.console.print(delta.reasoning_content,end='',highlight=False)reasoning_content+=delta.reasoning_contentelse:ifdelta.content!=""andis_answeringisFalse:self.console.print(Panel.fit("[boldgreen]完整回复[/boldgreen]",border_style="green",padding=(1,2)))is_answering=Trueself.console.print(delta.content,end='',highlight=False)answer_content+=delta.content
ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;white-space: normal;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;">最后说一下结论,qwq跟deepseek-r1还是有一定的差距,这个也是自然,毕竟模型参数差这么多。
ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;white-space: normal;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;">但是对于服务器资源有限的情况,如果你想部署deepseek所谓70b的蒸馏版本,那就完全不如选择qwq了,不但所需资源更少,效果还更好。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ