ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(34, 34, 34);word-break: break-all;">今天 ，OpenAI 开源了俩模型：120B/20BingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(34, 34, 34);word-break: break-all;">117B 的 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size:15px;margin:0.1em auto 0.5em;border-radius:8px;box-shadow:rgba(0, 0, 0, 0.1) 0px 4px 8px;width:100%;"/>ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(34, 34, 34);word-break: break-all;">这里面是395+ & 8060s（非常 YES），128G 统一内存
（说上面这些，就是来炫耀下我的本子）
（略略略～）在测试后，发现部署 oss 并不需要 80G 显存，64G 就够了  以下是详细的部署
以及：并不需要 80G 显存，64G 就够了
部署工作OpenAI 为gpt-oss系列模型，提供了完善的私有化部署支持，使用原生MXFP4量化，极大的降低了显存的使用 在工具层面，支持多种主流部署方法，包括：Transformers、vLLM、PyTorch / Triton、Ollama、LM Studio 这里，我用的是 LM Studio，可以在官网进行下载安装  进入 LM Studio 之后，可以直接搜索gpt-oss-120b并下载
模型较大，有几十个G，下载要一点时间 
模型配置模型下完后，还无法立即运行
虽说是统一内存，但默认分给显卡的，只有4G（剩下的全部算显存了）  明显不满足条件，需要手工修改一下内存分配
这里我把 64G 内存分配给了显存
（并不需要宣称的 80G）  完成后，点击 LM Studio 中的「载入模型」  模型顺利载入，显示部署成功
推理效果OpenAI 这模型，可选多种推理强度，包括“低”、“中”、“高”  询问单词「strawberry」包含几个字母「r」： 低强度模式：约需10秒 高强度模式：耗时约1分钟 这个模型还支持更多的工具调用，比如可以自行配置 MCP
额外注意在部署中，也有两个细节问题，分享如下： Runtime 选择LM Studio 提供了多种 Runtime 选项，包括 CUDA、Vulkan、ROCm llama.cpp、CPU llama.cpp 等  我使用的是 AMD 平台，显然无法使用 NVIDIA 的 CUDA 加速  理论上，ROCm更适合 AMD，但目前尚未支持 OpenAI 最新的gpt-oss系列模型  最终，我选择了Vulkan作为 runtime。这是一个跨平台的通用加速方案，且在最新版本的 LM Studio 中已经对 OpenAI 的 oss 做了适配  而 CPU llama.cpp 显然不是首选，毕竟这是 CPU 的  显存过高导致的问题最开始的时候，我把显存分配拉高到 96GB，但这导致模型载入失败  仔细排查了下，发现模型载入过程本身还需要约 40G 的内存  所以，这里推荐将显存分配设为 64GB，能保证完美运行
总结其一、OpenAI 的量化，是贴心的
其二、AMD，Yes！ |
