返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

开源大模型巅峰对决!谷歌Gemma2被国产开源大模型秒了?

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 10:27 |阅读模式 打印 上一主题 下一主题

大家好,我是袋鼠帝,就在今天谷歌又推出了他们最新、最强的开源大模型Gemma2。看官方的对比数据是力压了Meta的llama3

刚刚发布没多久,Gemma2在ollama的模型库里面就已经有18k的下载量了,足见其非常火爆。

这篇文章教大家在本地轻松一键部署、使用Gemma2:

本地一键部署谷歌开源大模型Gemma2

袋鼠帝,公众号:袋鼠帝AI客栈力压llama3!谷歌最强开源大模型Gemma2 抢先体验【喂饭级教程】
我突然就非常好奇Gemma2能力到底怎么样,跟目前市面上其他开源大模型比又如何?

我很快锁定了一个同样是最近刚发布的智谱AI的开源大模型--GLM-4-9b,想来一次国内外最新开源大模型的碰撞。最关键的是他们都有90亿参数量级。

找到一组数据,这组数据显示GLM-4-9b非常强(看下面的对比数据)。只有9b的参数量,但是各方面能力甚至赶上比自身参数量大3倍的Gemma2 27b了。

比赛前也先给大家简单科普一下这场比赛的"另一位选手":

GLM-4-9B 是智谱 在今年6月初推出的最新开源大模型。其在语义、数学、推理、代码和知识等多方面的测评中,都表现出相当不错的水准。

据说智谱的所有开源大模型在全球累计已经有超1700 万次的下载。

2023 年智谱开源的ChatGLM-6B系列模型,在github上就斩获了高达40kstar

而最近发布的GLM-4-9B就是在ChatGLM-6B的基础上升级的开源大模型。

GLM-4-9B github地址:https://github.com/THUDM/GLM-4

目前在智谱开放平台open.bigmodel.cn 就能直接体验GLM-4-9B

体验中心->模型选择GLM-4-Flash

为了防止大家都是自卖自夸,我认为只有实践是检验真理的唯一标准,为了进一步确认GLM-4-9b和Gemma2 9b到底谁强谁弱,我进行了如下测评(测评样本较少,仅供参考)我从Z-Bench(一个大语言模型中文测试集)中获取了部分测试问题进行测评。

Z-Bench地址:https://github.com/zhenbench/z-bench

进行了几十个问题的测试,以下是部分测试结果,总体感受在文末给大家揭晓。

GLM-4-9BVS Gemma2 9B

ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第一回合(数学题)

有若干只鸡和兔子,共40个头,100只脚,请问有多少只鸡?多少只兔?

第一回合双方都回答正确,平局


ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第二回合(数学题)

百货公司托搬运公司运送1000个玻璃花瓶,每个玻璃花瓶的运费是1元5角,如果打破一个,这一个不但不支付运费,搬运公司还要赔偿9元5角.百货公司最后付了1456元.搬运过程中一共打破了几个花瓶?


PART 01



PART 01


正确答案是:4个花瓶

这一回合GLM-4-9b回答正确,但Gemma2 9b回答0个。GLM-4-9b胜


ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第三回合(脑筋急转弯)

导盲犬禁止入内,是给盲人看的,还是给但盲犬看的?

PART ONE


PART ONE


这一回合还是GLM-4-9b胜Gemma2 9b感觉有点语无伦次,并且回答的很简答。


ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第四回合(写作题)

ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;">写一个悬疑故事,背景在唐朝,主人公是锦衣卫,从小事引入发现更多背后故事,写出前三章


这一回合又是GLM-4-9b胜,Gemma2 9b感觉有点语无伦次,后面甚至开始“抽风”胡乱打印一些标签啥的,我赶紧叫停了。

而GLM-4-9b完整的把整个故事三章内容写出来了,而且质量还不错。


ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第五回合(逻辑推理题)

列的三组输出与输入存在一定的符号逻辑规律,请在该规律上完成第三组的输出
第一组:输入:
86
64
输出:
868686
646464
686868
464646
868686
646464

第二组:输入:
79
43
输出:
797979
434343
979797
343434
797979
434343

第三组:输入:32
78
输出:

GLM-4-9b输出了正确答案,没什么可说的,还是GLM-4-9b胜利了。


ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;text-align: center;">第六回合(逻辑题)

ingFang SC";color: rgb(141, 52, 22);line-height: 24px;word-break: break-word;">问:五个兄弟,住在一起,名字不同,高矮不齐,打一人体器官 答:肝。你觉得这个答案对吗?有什么要改的?

这一回合答案很明显是手指,但是Gemma2 9b还是答错了,有点儿失望。

而GLM-4-9b回答正确,并且有详细的推理过程。GLM-4-9b胜

好了GLM-4-9b最终以6局5胜的战绩拿下了本场比赛的胜利!恭喜GLM-4-9b。

不过实话实说,我还是测试了有几十个问题,也有好些问题是双方都回答错误、或者都回答正确的。大家不要觉得我偏向GLM-4-9b实际情况确实是,大部分的问题GLM-4-9b回答的更好,更详细。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);text-align: center;">

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ