前段时间,GPT-4o的图像生成非常的火。网上博主有发布各种脑洞打开的图片。
但对普通人来说,唯一不好的地方就是不方便使用,毕竟网络不通,所以很多人都只能在自媒体账号上欣赏下玩法,没法亲自体验
但这一切,不会太久了。最近,字节开源了一个模型:BAGEL
BAGEL是字节跳动专为挑战闭源多模态模型(如GPT-4o、Gemini 2.0)设计的开源方案
不光性能对标了GPT-4o,而且把带图推理,图像编辑,3D模型,视频生成,导航等功能全集成进去了。主打的就是你想要什么,我就给什么。
单卡参数规模只有140亿(活跃70亿)。刚刚发布就在huggingface上登上了趋势榜
不光给出图像,而且在之前还会进行推理,让用户看到推理过程和细节。
不光具备编辑功能,甚至还具备推理的功能。给模型一个叠在一起的布料,让它想象一下布料展开后是什么样子
这展开效果还原度很高,看不出什么错误。看看模型是如何推理的
3D玩偶风
chibi风格,并且还可以转换在卡片上,并在手中持有。这个玩法直接对标了之前在x上火的名片卡风格。
这个功能我觉得是最牛逼的一个功能
通过从视频中学习,BAGEL有效地从现实世界中提炼出导航知识,这样就能够在包括科幻世界、艺术画作以及具有不同旋转或视角的环境中导航。
直接看效果
转动摄像头拍摄
马路往左拐
向前和向右
最后上干货了,github以及huggface上都已经上传了模型。
github:
https://github.com/bytedance-seed/BAGEL
huggingface:
https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
github上有完整的项目启动步骤
根据网上很多博主实测的结果来看,要本地运行,至少具备下面的硬件条件。有条件的可以去本地运行玩玩
没有硬件条件的小伙伴也不用着急,官方提供了demo地址:
https://demo.bagel-ai.org/
我测试了下,图片导航功能不支持,而且比较慢。
作为普通人来说,应该更关心的是什么时候才能把这个模型上线豆包
我估计这个得基于A100集群部署才行,得等2-3个月的样子吧,2025年第三季度应该可以看到,等不了多久了
不过现在豆包的生图能力已经非常强了,还没用过的可以去玩玩豆包。最近还上线了视频通话功能。
#AI#AI工具#开源#字节#github#多模态#人工智能#大模型