免费GPU算力部署体验gpt-oss-20b - 链载Ai

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);border-radius: 6px;background: color-mix(in srgb, rgb(15, 76, 129) 8%, transparent);">前言

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">OpenAI 正式发布开源语言模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-120b与ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-20b。这是自 GPT-2 以来，OpenAI 首次开放高性能语言模型的权重，并且采用了灵活的 Apache 2.0 开源协议，允许开发者自由使用、部署甚至定制。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">其中，ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-20b性能对标GPT-3.5（o3-mini），需16GB显存运行，可部署于消费级设备、本地推理、离线使用等场景。如果你没有足够强的显卡，可使用飞桨AI Studio免费GPU算力部署体验gpt-oss-20b。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">飞桨AI Studio每日免费提供GPU算力资源，具体配置如下：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;text-indent: -1em;display: block;margin: 0.5em 8px;color: rgb(63, 63, 63);">
• V100 16GB显存：每日免费使用4小时
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;text-indent: -1em;display: block;margin: 0.5em 8px;color: rgb(63, 63, 63);">
• VT100 32GB显存：每日免费使用2.7小时

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);border-radius: 6px;background: color-mix(in srgb, rgb(15, 76, 129) 8%, transparent);">创建项目

打开https://aistudio.baidu.com/account，点击右上方“登录”按钮，用百度账号登录即可。

打开https://aistudio.baidu.com/my/project，点击右上方“创建项目”，选择“Notebook”，会弹出下方的对话框。填写“项目名称”，点击创建。

在打开的页面中，点击上面的“未运行”

在弹出的页面中，选择“基础版”运行环境。“基础版”运行环境免费不限时，用于下载Ollama和gpt-oss模型。等下载完后再切换到GPU环境。

环境启动后，点击右上角的“专业开发”，进入Codelab IDE界面

Codelab IDE界面如下

安装ollama

注意：文件需要保存到/home/aistudio/work目录才能持久化保存。

下载ollama

飞桨AI Studio无法访问github，需通过代理网站ghproxy.cn进行下载。命令如下

cd~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.11.3/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz

下载模型

通过环境变量OLLAMA_MODELS指定模型的存放目录为~/work/models，并启动ollama服务

mkdir-p ~/work/models &&exportOLLAMA_MODELS=~/work/models
~/work/bin/ollama serve

新建终端，输入命令下载gpt-oss模型

~/work/bin/ollamapullgpt-oss

如果发现下载速度低于2MB/s，可尝试重新执行pull(但不要重启ollama serve的进程)。

启动gpt-oss

切换到GPU环境

打开https://aistudio.baidu.com/my/project，停止运行中的CPU环境

点击项目，在项目详情页面中，点击上面的“未运行”

在弹出的页面中，选择“V100 16GB”运行环境。每天免费获得8点算力，可用4小时，昨天用剩的算力可以结余到今天使用。

环境启动后，点击右上角的“专业开发”，进入Codelab IDE界面

启动ollama服务

通过环境变量OLLAMA_MODELS指定模型的存放目录为~/work/models，并启动ollama服务

mkdir-p ~/work/models &&exportOLLAMA_MODELS=~/work/models
~/work/bin/ollama serve

确认gpt-oss完成下载

新建终端，输入以下命令查看

~/work/bin/ollamalist

输出结果可以看到gpt-oss的信息

NAME       ID       SIZE   MODIFIED   
gpt-oss:latest  f2b8351c629c  13 GB  6 minutes ago

启动gpt-oss

新建终端，输入以下命令启动gpt-oss

~/work/bin/ollamarungpt-oss

运行成功后就可以开始体验gpt-oss了。

测试

下图为经典问题：9.9和9.11比较，哪个更大

总结

本文介绍利用飞桨AI Studio每日免费提供GPU算力资源部署体验gpt-oss。进一步，还可以通过frp内网穿透让windows部署的智能体开发平台(例如dify和Coze Studio)连接飞桨服务器上部署的ollama。另外，我们也可以利用GPU算力学习其它知识：模型微调，模型训练，深度学习训练等。

如果您觉得本文对您有帮助，欢迎关注、点赞、转发、推荐

#ai#openai#chatgpt#免费GPU算力#飞桨