|
国产 AI 大模型公司智谱真的杀疯了。 上个月,他们开源的 GLM-4.1V-Thinking 荣登 HuggingFace Trending 第一,模型已获得累计超过 13 万次下载。 上周,又开源发布了令人惊艳的 GLM-4.5 和 GLM-4.5-Air 旗舰模型。 现在,基于 GLM-4.5-Air 沿用 GLM-4.1V-Thinking 的结构,训练出了更大更强的视觉模型 GLM-4.5V。 也直接给开源了,42 个榜单里,41个 SOTA。 ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 2em;visibility: visible;">01ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;color: rgb(34, 34, 34);background-color: rgb(255, 255, 255);visibility: visible;">ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;color: rgba(0, 0, 0, 0.9);font-size: 17px;visibility: visible;">直接看效果我简单试了几个案例,如下 Case 没仔细调整过提示词,一次试、一次通过,相当惊艳。我上传了下面这张图片,让 GLM-4.5V 识别一下这辆车的车牌和型号。- 右上角有 Model Y 的品牌名称,即使存在镜像和角度问题,它也能给出准确判断。
我发给 GLM-4.5V 如下的照片,我特地把图片中「北京大学」四个字进行了打码让 GLM-4.5V 再猜一猜。它根据建筑特征、装饰风格,还有周围人群活动频繁推测出这就是北京大学西门,细思极恐。读取图片中的 Markdown 格式的内容,代码生成一个非常美观的个人说明的前端 html 网站。我上传了一个身份证图片,让它提取结构化信息转换成 JSON 结构。我上传了一个网站首页的截屏,请生成一个前端 HTML 页面代码,UI 尽可能复刻。这个能力牛逼了,我直接上传了下面这个图片,让它把图片中的帐篷和人分别圈出来,它输出了两个帐篷、人的坐标,还生成一张图片给你圈出来了。这个有点简单了,上点难度。请圈出下面清明上河图中的轿子:ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 2em;visibility: visible;">02ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;color: rgb(34, 34, 34);background-color: rgb(255, 255, 255);visibility: visible;">ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;color: rgba(0, 0, 0, 0.9);font-size: 17px;visibility: visible;">项目简介全球 100B 级效果最佳的开源视觉推理模型GLM-4.5V(总参数 106B,激活参数 12B),已经在 GitHub 与 Hugging Face 开源。 GitHub:https://github.com/zai-org/GLM-VHuggingFace:https://huggingface.co/zai-org/GLM-4.5V 上面是真实场景的体验,GLM-4.5V 虽然在多模态榜单上屠榜,在真实场景下的表现和可用性也堪称一绝。 覆盖了不同场景的视觉内容处理能力,包括: 图像推理(场景理解、复杂多图分析、位置识别) 视频理解(长视频分镜分析、事件识别) GUI 任务(前端复刻、桌面操作辅助) 复杂图表与长文档解析 Grounding 能力(精准定位视觉元素)
为了让开发者快速体验到它的能力,还同步开源了一个桌面助手应用,它能实时的截屏、获取屏幕信息,并基于 GLM-4.5V 的多模态能力让很多有意思的场景落地。 开源链接:https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App AI 正在学会像人一样,把看到的、听到的、读到的信息揉在一起理解世界,变得更“通感”。 这种能综合处理多种信息并思考的能力,是迈向真正“聪明”AI 的关键,其中多模态 AI 是重要基石。这不仅仅是技术进步,更可能带来深远的文明影响。 快去亲自上手试试吧,有啥好玩的 Case 可以直接丢评论区。 |