ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">一、模型架构
稀疏激活：每次推理仅激活部分专家网络 计算效率：在保持大模型能力的同时，大幅降低推理成本 内存优化：通过选择性激活减少内存占用
GPT-OSS模型提供20B和120B两种规格。
- GPT-OSS-120B：总参数117B，每次推理仅激活5.1B参数
- GPT-OSS-20B：总参数21B，每次推理仅激活3.6B参数
- 交替注意力模式：全局注意力与局部窗口注意力交替使用，平衡计算效率与信息捕获能力
- 分组多查询注意力（GQA）：减少KV缓存大小，优化内存使用
- 学习型注意力汇聚（Attention Sink）：提高长序列处理的稳定性
注意力层配置：├──交替注意力模式│├──全上下文注意力层│└──滑动窗口注意力层（128tokens）├──分组多查询注意力（GQA）│└──组大小：8├──学习型注意力汇聚（AttentionSink）│└──每头独立的可学习汇聚值
采用RoPE（Rotary Positional Embedding）实现位置编码。
原生支持128K tokens上下文长度 通过YaRN技术进一步扩展到131,072 tokens 支持长文档处理和多轮对话
└──旋转位置编码（RoPE）└──原生支持128K上下文长度
二、模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">量化
GPT-OSS的核心创新之一是MXFP4（Mixed 4-bit Floating Point）量化技术。
MoE层权重：MXFP4（4.25 bits/参数） 其他权重：BF16精度 激活精度：推荐BF16
MXFP4张量结构：├──tensor.blocks：实际FP4值│└──每个uint8打包两个FP4值└──tensor.scales：块级缩放因子└──在最后一个维度进行块缩放
NVIDIA Hopper架构（H100, H200） NVIDIA Blackwell架构（GB200） 最新GeForce RTX 50系列消费级GPU AMD Instinct系列通过MegaBlocks优化支持
三、模型训练
数万亿tokens的文本数据 重点领域：STEM、编程、通用知识 主要语言：英语（文本专用） 分词器：o200k_harmony（GPT-4o系列同款）
模型采用了与 O4-mini 类似的训练流程进行后训练，包括监督式微调阶段和高计算量强化学习阶段。目标是使模型符合《OpenAI 模型规范》（在新窗口中打开），并使其在生成答案前能够应用 CoT 推理和工具使用能力。通过采用与OpenAI最先进的专有推理模型相同的技术，这些模型在训练后展现出卓越的性能。
训练Pipeline：预训练阶段├──无监督学习├──模式识别优化└──基础能力建立↓后训练阶段├──监督微调（SFT）├──人类反馈强化学习（RLHF）├──融合o3等前沿模型技术└──原生MXFP4量化训练
四、模型部署
#单GPU部署（MXFP4）GPU:H10080GB内存:系统内存32GB+精度:MXFP4+BF16激活
#消费级硬件部署GPU:16GBVRAM内存:系统内存16GB精度:MXFP4+BF16激活
2. Ollama本地部署
整个部署过程非常简化，Ollama作为本地AI模型管理工具，让用户无需复杂配置就能快速运行大型语言模型，支持图形界面和命令行两种使用方式。
（1）普通用户方式：
下载并安装Ollama应用程序 打开Ollama应用 在界面中选择gpt-oss:20b模型即可使用
（2）开发者命令行方式：
下载并安装Ollama 打开命令提示符/终端 执行命令 ollama run gpt-oss:20b启动这个20B参数的开源模型