返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens

[复制链接]
链载Ai 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题

DeepSeek的官网太卡,必须找些平替,一般人用如果没有联网搜索功能(比如直接调用API)因为缺少24年后的新鲜数据,输出的效果会打折(除非所问的问题相关信息与时效无关),需要联网搜索则可以用几家平替的AI搜索:势不可挡,三大国产AI搜索均升级支持R1,羊毛蓐起来

一直好奇大家热衷接入DeepSeek R1满血版,自己搭建使用成本会多高,网上看到一份测试报告:

官方R1的输出是16元/M tokens,所以这台机器每小时产出12.6M tokes,即每小时收入极限是200元左右,这可是一机8卡的小时费,看上去要亏。

不少平台适配国产310B卡,据说只能是FP16的,而DeepSeek R1是FP8,上去显存就得白白扩一倍。

上面这个AMD新机,到极限时(并发压上去),每路每秒不到2 tokens,所以怪不得好多上了R1满血版的API,调用时感觉每秒就是跳出俩字,估计还是压力太大了。这个输出速度简直跟本机用cpu跑最小1.5B蒸馏版差不多了。

这个基于Electron做的桌面AI客户端Cherry Studio,特别适合大模型海王用来评估各家平台上的DeepSeek

图片

免费试用期里的DeepSeek R1在这些平台上,大部分还是比较卡的,应该是并发的流控做得不够。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ