返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

免费GPU算力部署体验gpt-oss-20b

[复制链接]
链载Ai 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);border-radius: 6px;background: color-mix(in srgb, rgb(15, 76, 129) 8%, transparent);">前言

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">OpenAI 正式发布开源语言模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-120bingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-20b。这是自 GPT-2 以来,OpenAI 首次开放高性能语言模型的权重,并且采用了灵活的 Apache 2.0 开源协议,允许开发者自由使用、部署甚至定制。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">其中,ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">gpt-oss-20b性能对标GPT-3.5(o3-mini),需16GB显存运行,可部署于消费级设备、本地推理、离线使用等场景。如果你没有足够强的显卡,可使用飞桨AI Studio免费GPU算力部署体验gpt-oss-20b。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">飞桨AI Studio每日免费提供GPU算力资源,具体配置如下:

  • ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;text-indent: -1em;display: block;margin: 0.5em 8px;color: rgb(63, 63, 63);">
    • V100 16GB显存:每日免费使用4小时
  • ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;text-indent: -1em;display: block;margin: 0.5em 8px;color: rgb(63, 63, 63);">
    • VT100 32GB显存:每日免费使用2.7小时

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);border-radius: 6px;background: color-mix(in srgb, rgb(15, 76, 129) 8%, transparent);">创建项目

打开https://aistudio.baidu.com/account,点击右上方“登录”按钮,用百度账号登录即可。

打开https://aistudio.baidu.com/my/project,点击右上方“创建项目”,选择“Notebook”,会弹出下方的对话框。填写“项目名称”,点击创建。

在打开的页面中,点击上面的“未运行”
在弹出的页面中,选择“基础版”运行环境。“基础版”运行环境免费不限时,用于下载Ollama和gpt-oss模型。等下载完后再切换到GPU环境。
环境启动后,点击右上角的“专业开发”,进入Codelab IDE界面
Codelab IDE界面如下

安装ollama

注意:文件需要保存到/home/aistudio/work目录才能持久化保存。

下载ollama

飞桨AI Studio无法访问github,需通过代理网站ghproxy.cn进行下载。命令如下

cd~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.11.3/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz

下载模型

通过环境变量OLLAMA_MODELS指定模型的存放目录为~/work/models,并启动ollama服务

mkdir-p ~/work/models &&exportOLLAMA_MODELS=~/work/models
~/work/bin/ollama serve

新建终端,输入命令下载gpt-oss模型

~/work/bin/ollamapullgpt-oss

如果发现下载速度低于2MB/s,可尝试重新执行pull(但不要重启ollama serve的进程)。

启动gpt-oss

切换到GPU环境

打开https://aistudio.baidu.com/my/project,停止运行中的CPU环境
点击项目,在项目详情页面中,点击上面的“未运行”
在弹出的页面中,选择“V100 16GB”运行环境。每天免费获得8点算力,可用4小时,昨天用剩的算力可以结余到今天使用。
环境启动后,点击右上角的“专业开发”,进入Codelab IDE界面

启动ollama服务

通过环境变量OLLAMA_MODELS指定模型的存放目录为~/work/models,并启动ollama服务

mkdir-p ~/work/models &&exportOLLAMA_MODELS=~/work/models
~/work/bin/ollama serve

确认gpt-oss完成下载

新建终端,输入以下命令查看

~/work/bin/ollamalist

输出结果可以看到gpt-oss的信息

NAME       ID       SIZE   MODIFIED   
gpt-oss:latest f2b8351c629c 13 GB 6 minutes ago

启动gpt-oss

新建终端,输入以下命令启动gpt-oss

~/work/bin/ollamarungpt-oss

运行成功后就可以开始体验gpt-oss了。

测试

下图为经典问题:9.9和9.11比较,哪个更大

总结

本文介绍利用飞桨AI Studio每日免费提供GPU算力资源部署体验gpt-oss。进一步,还可以通过frp内网穿透让windows部署的智能体开发平台(例如dify和Coze Studio)连接飞桨服务器上部署的ollama。另外,我们也可以利用GPU算力学习其它知识:模型微调,模型训练,深度学习训练等。

如果您觉得本文对您有帮助,欢迎关注、点赞、转发、推荐

#ai#openai#chatgpt#免费GPU算力#飞桨


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ