实例大小包括几个不同的因素:
vCPU核心数: 用于运行代码的CPU核心数 内存: 用于存储CPU上运行的操作需要快速访问的数据的RAM容量 GPU: 附加到实例的GPU数量和类型 显存: 用于存储GPU上运行的操作需要快速访问的数据的VRAM容量
实例大小还可能包括其他因素,如核心类型和持久存储,但通常您只需考虑上面列出的四个因素。考虑到这些因素,您只需做出两个关键决定就可以为您的模型选择合适的实例类型。
第一个关键决定:CPU还是GPU
有些模型可以在GPU上运行。像Stable Diffusion和Whisper这样的大型基础模型在GPU上运行。当调用这样的模型时,GPU用于处理调用,其硬件在并发任务处理方面远胜于CPU。其他模型,如大多数回归模型,只需要标准CPU。
如果您的模型可以在GPU上运行,并且调用速度对您的用例很重要,您会希望选择一个带有GPU的实例。否则,坚持使用较便宜的CPU实例。
除非您的模型或模型服务代码经过专门优化以利用多个CPU核心的并行化,否则vCPU数量并不重要。相反,您将根据内存需求确定实例大小。
第二个关键决定:内存大小
一旦您确定了模型将运行的计算单元类型,您需要选择与该计算单元相关的内存量。这将有效地决定您的实例大小。因此,如果您的模型使用GPU,请根据GPU内存确定实例大小;如果不使用,则根据标准/CPU内存确定。
要选择内存大小,请检查模型权重文件和模型需要加载到内存中的所有其他文件的大小,然后选择下一个更大的内存大小。
例如,如果您的模型是6GB,而可选的内存大小包括4GB、8GB和12GB:
4GB不够,会导致内存不足错误。 12GB只是不必要的多余空间;让您为相同的结果付出更多money。 8GB刚刚好。您会选择具有8GB内存的实例。
也就是说,如果您的模型大小刚好比最接近的实例大小小一点,比如7.75GB,可能值得选择更大的实例以获得足够的空间来避免任何问题。
您只需要一个比模型稍大的实例。如果实例太小,您会遇到内存不足错误,但如果实例过大,您付出的钱更多却没有任何好处。
这两个关键决定将帮助您为大多数模型部署选择适当的实例类型。实例类型可能不够灵活。例如,您可能最终选择了一个vCPU数量比需要的多的实例大小,因为它是唯一一个有足够内存来加载您的模型权重的实例。但这没关系,重要的是选择可以满意地运行您的模型的最便宜的可用实例。