链载Ai

标题: OpenAI开源gpt-oss大模型,本地测试可用性比较高 [打印本页]

作者: 链载Ai    时间: 1 小时前
标题: OpenAI开源gpt-oss大模型,本地测试可用性比较高

#OpenAI迫于竞争压力,终于推出了gpt-oss-120b 和 gpt-oss-20b两款开源大语言模型,意在与#DeepSeek和#Qwen争夺开发者生态。这次开源包含开放参数、支持本地部署、兼容链式推理,其中 gpt-oss-120b 的性能接近 o4-mini,并采用 Apache 2.0 许可证支持商用。
可以关注公众号#极客开源👆获取最新一手#AI大模型#开源项目信息,如果这篇文章对你有用,可以点个“推荐”,听说会影响公众号的#推荐算法。
模型版本
本次#开源两个#MoE架构的推理模型:
性能表现
根据 EQBench 评测结果,两个模型分别达到 GPT-4.1-mini 和 GPT-4.1-nano 的水平。在长篇创意写作方面,gpt-oss-120b 接近 Qwen3-30B-A3B 的表现。
在本地环境测试中,gpt-oss-120b 在 Apple M3 Ultra 512G 上大概能以43-45 token/s 运行,这个速度还可以。
技术限制
模型原生上下文长度仅为 4K token,虽然通过 YaRN 位置编码缩放和滑动窗口注意力扩展到了 131,072 token,但超过 4K 后召回性能可能会显著下降。

OpenAI 发布了其开源模型 OSS 系列的#微调教程,由于当前 Expert MXFP4 量化格式的限制,推荐使用 Hugging Face TRL 库进行微调。其他库(如 Unsloth)的兼容性尚待进一步开发。

该教程以 oss-20b 模型为例,展示了如何在模型的系统提示中添加新的“推理语言”选项,并使用多语言推理数据集进行#监督微调。

官方示例在一张 H100 80G 显卡上,使用 1000 条数据进行微调,耗时约 18 分钟。考虑到成本效益,建议用户租用 GPU 资源而非自行购买或使用性能较低的显卡,目前 H100 80G 的租赁成本约为每小时 2 美元。

该教程提供了示例代码,内容精简且易于理解,有助于学习微调技术的实际应用。用户可以快速掌握微调流程。

战略意义
对于#AI工具开发者而言,这次开源是重大利好,无需担心云端限速、商业闭源或法律风险。OpenAI 的开源策略也将吸引顶级 AI 研究员使用并改进模型,就像 DeepSeek 和 Qwen 通过社区贡献不断迭代优化一样,形成良性的生态循环。






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5