一文搞懂大模型：OpenAI开源GPT-OSS

2025年8月6日，OpenAI发布了GPT-OSS系列模型，这是自2019年GPT-2以来OpenAI首次开源大语言模型。这标志着AI巨头从"CloseAI"重新回归"OpenAI"的重要转折点。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">一、模型架构

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.7;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;margin-bottom: 16px;">1. Mixture-of-Experts (MoE) 架构

GPT-OSS采用了基于Transformer的MoE（专家混合）架构，这是其高效性能的核心所在。MoE架构优势如下：

• 稀疏激活：每次推理仅激活部分专家网络
• 计算效率：在保持大模型能力的同时，大幅降低推理成本
• 内存优化：通过选择性激活减少内存占用

GPT-OSS模型提供20B和120B两种规格。

• GPT-OSS-120B：总参数117B，每次推理仅激活5.1B参数
• GPT-OSS-20B：总参数21B，每次推理仅激活3.6B参数

ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);-webkit-tap-highlight-color: transparent;outline: 0px;visibility: visible;margin-bottom: 16px;margin-top: 16px;">Gpt-oss-120b 模型在核心推理基准测试中与 OpenAI o4-mini 模型几乎持平，同时能在单个 80GB GPU 上高效运行。Gpt-oss-20b 模型在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果，且可在仅配备 16GB 内存的边缘设备上运行，使其成为设备端应用、本地推理或无需昂贵基础设施的快速迭代的理想选择。

ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);-webkit-tap-highlight-color: transparent;outline: 0px;visibility: visible;margin-bottom: 16px;margin-top: 16px;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.7;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;margin-bottom: 16px;">2. 注意力机制创新

ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);-webkit-tap-highlight-color: transparent;outline: 0px;visibility: visible;margin-bottom: 16px;margin-top: 16px;">GPT-OSS在注意力机制上采用了多项优化技术。

• 交替注意力模式：全局注意力与局部窗口注意力交替使用，平衡计算效率与信息捕获能力
• 分组多查询注意力（GQA）：减少KV缓存大小，优化内存使用
• 学习型注意力汇聚（Attention Sink）：提高长序列处理的稳定性

注意力层配置：├──交替注意力模式│├──全上下文注意力层│└──滑动窗口注意力层（128tokens）├──分组多查询注意力（GQA）│└──组大小：8├──学习型注意力汇聚（AttentionSink）│└──每头独立的可学习汇聚值

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.7;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;margin-bottom: 16px;">3. 位置编码与上下文扩展

采用RoPE（Rotary Positional Embedding）实现位置编码。

• 原生支持128K tokens上下文长度
• 通过YaRN技术进一步扩展到131,072 tokens
• 支持长文档处理和多轮对话

└──旋转位置编码（RoPE）└──原生支持128K上下文长度

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.7;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;margin-bottom: 16px;">

二、模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">量化

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.7;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;margin-bottom: 16px;">1.量化技术详解

GPT-OSS的核心创新之一是MXFP4（Mixed 4-bit Floating Point）量化技术。

• MoE层权重：MXFP4（4.25 bits/参数）
• 其他权重：BF16精度
• 激活精度：推荐BF16

MXFP4张量结构：├──tensor.blocks：实际FP4值│└──每个uint8打包两个FP4值└──tensor.scales：块级缩放因子└──在最后一个维度进行块缩放

GPT-OSS使用MXFP4对MoE层进行4.25 bits量化，MoE权重占90%+的总参数，使120B模型可在单张 80GB H100上运行，20B模型16GB内存即可运行。

2. 硬件兼容性

MXFP4格式兼容Hopper和Blackwell系列GPU，包括数据中心卡和最新的50xx系列消费级GPU。

• NVIDIA Hopper架构（H100, H200）
• NVIDIA Blackwell架构（GB200）
• 最新GeForce RTX 50系列消费级GPU
• AMD Instinct系列通过MegaBlocks优化支持

三、模型训练

GPT-OSS模型采用OpenAI最先进的预训练和后训练技术进行训练，特别注重推理能力、效率以及在各种部署环境中的实际应用性。

1. 预训练数据集

GPT-OSS使用了一个高质量、主要为英文的纯文本数据集对模型进行了训练，重点关注STEM、编程和通用知识领域。同时使用了 OpenAI o4-mini 和 GPT‑4o 所用令牌化器的超集进行数据令牌化，即 ‘o200k_harmony'，该令牌化器今日也一并开源。

• 数万亿tokens的文本数据
• 重点领域：STEM、编程、通用知识
• 主要语言：英语（文本专用）
• 分词器：o200k_harmony（GPT-4o系列同款）

2. 后训练流程

模型采用了与 O4-mini 类似的训练流程进行后训练，包括监督式微调阶段和高计算量强化学习阶段。目标是使模型符合《OpenAI 模型规范》⁠（在新窗口中打开），并使其在生成答案前能够应用 CoT 推理⁠和工具使用能力。通过采用与OpenAI最先进的专有推理模型相同的技术，这些模型在训练后展现出卓越的性能。

训练Pipeline：预训练阶段├──无监督学习├──模式识别优化└──基础能力建立↓后训练阶段├──监督微调（SFT）├──人类反馈强化学习（RLHF）├──融合o3等前沿模型技术└──原生MXFP4量化训练

GPT-OSS与 OpenAI o 系列推理模型在 API 中的实现类似，这两个开放模型支持三种推理强度——低、中、高——它们在延迟与性能之间进行权衡。开发人员可以通过在系统消息中输入一句话，轻松设置推理难度。

四、模型部署

1. 官方支持平台

GPT-OSS模型可通过Hugging Face Transformers、vLLM、Ollama、llama.cpp、LM Studio等主流平台快速部署。

其中120B版本需单张H100运行，支持MXFP4量化技术实现高效推理。

#单GPU部署（MXFP4）GPU:H10080GB内存:系统内存32GB+精度:MXFP4+BF16激活

20B版本仅需16GB内存即可在消费级硬件上部署，也支持MXFP4量化技术实现高效推理。

#消费级硬件部署GPU:16GBVRAM内存:系统内存16GB精度:MXFP4+BF16激活

2. Ollama本地部署

整个部署过程非常简化，Ollama作为本地AI模型管理工具，让用户无需复杂配置就能快速运行大型语言模型，支持图形界面和命令行两种使用方式。

（1）普通用户方式：

• 下载并安装Ollama应用程序
• 打开Ollama应用
• 在界面中选择gpt-oss:20b模型即可使用

（2）开发者命令行方式：

• 下载并安装Ollama
• 打开命令提示符/终端
• 执行命令ollama run gpt-oss:20b启动这个20B参数的开源模型