返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

深度探索DeepSeek-R1:本地运行竟然要106,776美元?看完你会震惊!

[复制链接]
链载Ai 显示全部楼层 发表于 3 小时前 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(15, 76, 129);">DeepSeek-R1所需硬件和软件的价格细分

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(15, 76, 129);">DeepSeek已经将这场生成竞赛提升到了一个新的水平,甚至有人准备在本地运行671B参数模型。但在本地运行如此庞大的模型可不是开玩笑;你需要在硬件上进行一些重大改进,才能尝试仅仅是推理。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这个博客大致分解了在你的PC上运行DeepSeek-R1的费用

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;color: rgb(63, 63, 63);">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 0.1em auto 0.5em;border-radius: 8px;box-shadow: rgba(0, 0, 0, 0.1) 0px 4px 8px;" title="null"/>

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);">硬件成本

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">大部分费用都在硬件上。我们将讨论GPU、CPU、RAM、SSD存储、冷却系统等。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">您需要的内容如下

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(15, 76, 129);">GPUs

  • 4x NVIDIA H100 80GB GPUs($25,000 each)
  • Total Cost: ₹85,00,000 ($100,000)
  • Why?这些GPU是为AI工作负载优化的尖端加速器,使大型模型如DeepSeek-R1的训练和推理更快。

NVIDIA H100:The NVIDIA H100 is an advanced GPU built on the Hopper architecture. It features fourth-generation Tensor Cores and a Transformer Engine, enabling up to 9x faster AI training and 30x faster inference compared to the previous A100 GP

在这里探索更多细节:

CPU

  • Intel Xeon Platinum($1,550)
  • 总成本: ₹1,31,750
  • 为什么?高端 CPU 确保在资源密集型操作中平稳的多任务处理和系统稳定性。

Intel Xeon Platinum是 DeepSeek-R1 推理所需的,因为它具有先进的 AI 加速功能,如 Intel AMX 和 AVX-512,这显著提升了深度学习任务的性能。

与前几代相比,它还提供高达 42% 的 AI 推理性能提升,非常适合高负载工作。此外,它优化的内存和互连确保了高效处理大数据集和复杂模型。

RAM

  • 512GB DDR4($6,399.98)
  • 总成本: ₹5,43,998
  • 为什么?大内存对于处理大量数据集和模型参数至关重要,可以避免性能下降。

存储

  • 4TB NVMe SSD($249.99)
  • 总成本: ₹21,249
  • 为什么?快速存储确保在训练期间快速访问数据。

SSD(固态硬盘)是一种使用闪存存储数据的存储设备,与传统的硬盘驱动器(HDD)相比,提供更快的读写速度、耐用性和能效。

4TB NVMe SSD特指使用NVMe(非易失性内存快递)协议的高容量(4TB)驱动器,该协议利用 PCIe 接口实现比旧的基于 SATA 的 SSD 更显著的更快数据传输速率。NVMe SSD 非常适合游戏、视频编辑或服务器等对速度和大存储有严格要求的任务。

电源供应单元 (PSU)

  • 2000W PSU($259.99)
  • 总费用: ₹22,099
  • 为什么?高功率是为了可靠地为多个 GPU 提供电力。

冷却系统

  • 定制液体冷却循环($500)
  • 总成本: ₹42,500
  • 为什么?GPU 产生大量热量 — 液体冷却可以防止过热。

主板

  • ASUS S14NA-U12($500)
  • 总成本: ₹42,500
  • 为什么?支持双插槽GPU和高端CPU。

Chassis

  • Cooler Master Cosmos C700M($482)
  • 总成本: ₹40,970
  • 为什么?宽敞的机箱可以容纳自定义散热和多个GPU。

总计 (硬件): ₹93,45,067 ($106776)

软件费用

运行 DeepSeek-R1 的软件是免费的,但您需要:

操作系统:Debian Linux(免费)

编程语言:Python 3.10+(免费)

DeepSeek-R 模型:70B 参数模型(免费)

CUDA 工具包 & cuDNN:NVIDIA 的深度学习库(免费)

深度学习框架:支持 CUDA 的 PyTorch(免费)

软件总费用:₹0

### This is a code block
print("Hello, World!")

关键要点

硬件主导成本:GPU、RAM 和冷却系统占总费用的 ~99%。

需要技术专长:设置此系统需要熟悉高性能计算。

替代方案:云服务(例如,AWS、Google Cloud)对于短期项目可能更便宜,但会产生持续费用。

值得吗?对于拥有深厚资金和特定需求(例如,隐私、离线工作)的研究人员、企业或爱好者,本地设置提供无与伦比的控制和速度。对于其他人,云平台或较小的模型可能更实用。

不过,是的,随着价格接近 1Cr,对于中产阶级来说,这在印度实在是负担不起。然而,您可以尝试更实惠的模型精简版本。

那么,您打算在本地运行 DeepSeek-R1 吗?再想想。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ