返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

OpenAI开源gpt-oss大模型,本地测试可用性比较高

[复制链接]
链载Ai 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题

#OpenAI迫于竞争压力,终于推出了gpt-oss-120b 和 gpt-oss-20b两款开源大语言模型,意在与#DeepSeek和#Qwen争夺开发者生态。这次开源包含开放参数、支持本地部署、兼容链式推理,其中 gpt-oss-120b 的性能接近 o4-mini,并采用 Apache 2.0 许可证支持商用。
可以关注公众号#极客开源👆获取最新一手#AI大模型#开源项目信息,如果这篇文章对你有用,可以点个“推荐”,听说会影响公众号的#推荐算法。
模型版本
本次#开源两个#MoE架构的推理模型:
  • gpt-oss-120b:激活参数量 5.1B,性能更强,可在单张 Nvidia 显卡上运行
  • gpt-oss-20b:激活参数量 3.6B,更轻量化,甚至可在 16GB 内存的普通笔记本上运行
性能表现
根据 EQBench 评测结果,两个模型分别达到 GPT-4.1-mini 和 GPT-4.1-nano 的水平。在长篇创意写作方面,gpt-oss-120b 接近 Qwen3-30B-A3B 的表现。
在本地环境测试中,gpt-oss-120b 在 Apple M3 Ultra 512G 上大概能以43-45 token/s 运行,这个速度还可以。
技术限制
模型原生上下文长度仅为 4K token,虽然通过 YaRN 位置编码缩放和滑动窗口注意力扩展到了 131,072 token,但超过 4K 后召回性能可能会显著下降。

OpenAI 发布了其开源模型 OSS 系列的#微调教程,由于当前 Expert MXFP4 量化格式的限制,推荐使用 Hugging Face TRL 库进行微调。其他库(如 Unsloth)的兼容性尚待进一步开发。

该教程以 oss-20b 模型为例,展示了如何在模型的系统提示中添加新的“推理语言”选项,并使用多语言推理数据集进行#监督微调。

官方示例在一张 H100 80G 显卡上,使用 1000 条数据进行微调,耗时约 18 分钟。考虑到成本效益,建议用户租用 GPU 资源而非自行购买或使用性能较低的显卡,目前 H100 80G 的租赁成本约为每小时 2 美元。

该教程提供了示例代码,内容精简且易于理解,有助于学习微调技术的实际应用。用户可以快速掌握微调流程。

战略意义
对于#AI工具开发者而言,这次开源是重大利好,无需担心云端限速、商业闭源或法律风险。OpenAI 的开源策略也将吸引顶级 AI 研究员使用并改进模型,就像 DeepSeek 和 Qwen 通过社区贡献不断迭代优化一样,形成良性的生态循环。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ