为什么4090比A100更有性价比？

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">消费级显卡其实能吊打数据中心GPU？

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">英伟达GeForce RTX 4090这匹"黑马"，竟然在某些场景下完爆了它的"大哥"A100！

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">没错，就是那个你可能已经用来打黑神话的4090，正在悄悄地挑战数据中心的霸主地位！

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">让我们来看看这场"David vs Goliath"的较量吧！

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">数据对比：4090 vs A100 vs H100

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">首先，来个简单粗暴的价格对比：

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 15px;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);" class="list-paddingleft-1">
• 4090：1,749美元
• A100（80GB）：20,000美元
• H100：25,000美元

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">看到这个价格是不是已经差距明显了？

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;background-color: rgb(255, 255, 255);">但等等，还有！

性能方面：

• 4090：330 FP16 TFLOPs
• A100（80GB）：312 FP16 TFLOPs
• H100：989 FP16 TFLOPs

什么情况？4090的性能竟然比A100还高？没错，你没看错！

性能测试：小型语言模型训练速度比较

但是理论性能是一回事，实际训练效果又是另一回事。让我们来看看在训练GPT-2（124M）这个小可爱时的表现：

• 4090：153K tokens/s
• A100（80GB）：195K tokens/s
• H100：481K tokens/s

好吧，A100和H100确实快一些。但是等等，让我们算算性价比：

• A100比4090贵了11.4倍，但速度只快了1.3倍
• H100比4090贵了14.3倍，速度快了3.1倍

这不是明摆着让我们买4090吗？

技术解析：为什么4090在某些情况下更胜一筹

你可能会问，为什么会出现这种情况？

关键在于三个方面：

1. GPU内存大小
2. 内存带宽
3. 跨GPU通信带宽

对于像GPT-2（124M）这样的小型模型，4090的24GB显存已经绰绰有余。而A100和H100的大内存和高带宽在这种情况下就显得有点"大材小用"了。

局限性：4090的不足之处

当然，4090也不是十全十美的。它的主要局限在于：

1. 显存容量较小：只有24GB，对于大型模型可能不够用
2. 跨GPU通信带宽低：只有64 GB/s，远低于A100的900 GB/s
3. 不允许在数据中心使用：这是英伟达的市场策略，我们待会儿再聊

市场策略：英伟达的产品线布局

说到这里，不得不佩服英伟达的市场策略。

他们故意在4090上砍掉了NVLink（一种高速GPU互联技术），并且禁止在数据中心使用4090。

为什么？

还不是为了让你乖乖掏钱买A100和H100啊！

正如推文中所说：这就是英伟达赚大钱的秘诀！

（老黄笑脸.png）