链载Ai

标题: QwQ总结能力测评，32b小模型真能超过deepseek吗 [打印本页]

作者: 链载Ai 时间: 1 小时前
标题: QwQ总结能力测评，32b小模型真能超过deepseek吗

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">最近阿里通义QwQ-32B在一系列基准测试中进行了评估，各项能力甚至接近deepseek-r1,一个32b模型竟然和671b模型能力差不多。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">阿里是用了什么魔法嘛，我们先来看看他们介绍是怎么做到的吧。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.578px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">QWQ基于冷启动开展大规模强化学习。初始阶段，特别针对数学和编程任务进行RL训练。与依赖传统奖励模型不同，通过校验生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码反馈。

方法上其实看不出太大的区别，那么是不是真的有这么厉害呢，talk is cheap，让我们来直接来看看对比的结果吧。

我这里主要以内容总结能力做了测试，因为原文较长就不全部贴出来了，但是主要就包含了几个重要信息，有来渝就业创业40万（含市外6万），离校前就业率不低于75%，未就业年底帮扶率超90%。全市提供机关事业单位岗位1.6万个左右,市属国企和区县属国企等提供岗位1万个以上，落实"三支一扶""西部计划"等基层服务项目,拓展基层就业服务岗位,提供就业岗位1万个以上。完善创业支持，发放创业贷款13亿等。

对比下来，deepseek-r1总结的最全面，还自动把提供岗位数量1.6万+1万+1万合并成3.6万，意思上仍然正确。

qwq总结的也不错，但是漏掉了提供岗位的总数量，相较于deepseek-r1差了一点。

至于deepseek蒸馏版本70b以及32b的模型，丢失信息就更多了，基本上关键数字都没有保留。

输出结果可以看下图：

对比的部分代码：

def_stream_query(self,model_name,question):"""流式查询模型"""reasoning_content=""answer_content=""is_answering=Falsecompletion=self.client.chat.completions.create(model=model_name,messages=[{"role":"user","content":question}],stream=True)self.console.print(Panel.fit("[boldblue]思考过程[/boldblue]",border_style="blue",padding=(1,2)))forchunkincompletion:ifnotchunk.choices:continuedelta=chunk.choices[0].deltaifhasattr(delta,'reasoning_content')anddelta.reasoning_contentisnotNone:self.console.print(delta.reasoning_content,end='',highlight=False)reasoning_content+=delta.reasoning_contentelse:ifdelta.content!=""andis_answeringisFalse:self.console.print(Panel.fit("[boldgreen]完整回复[/boldgreen]",border_style="green",padding=(1,2)))is_answering=Trueself.console.print(delta.content,end='',highlight=False)answer_content+=delta.content

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;white-space: normal;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;">最后说一下结论，qwq跟deepseek-r1还是有一定的差距，这个也是自然，毕竟模型参数差这么多。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;white-space: normal;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;">但是对于服务器资源有限的情况，如果你想部署deepseek所谓70b的蒸馏版本，那就完全不如选择qwq了，不但所需资源更少，效果还更好。

欢迎光临链载Ai (https://www.lianzai.com/)