如何使用vLLM部署DeepSeek V2 Lite模型

最近在进行一些私有化部署大模型，很多企业会考虑数据隐私问题。因此常常会在企业内部部署自主部署大语言模型。常见的能够提供大语言模型的部署工具有，Ollama、vLLM、Xinference、SGLang和LM Studio。Ollama和LM Studio都是只支持GGUF类型量化的大语言模型，vLLM、Xinference和SGlang是支持pytorch或者说transformer类型的大模型，这些类型的模型通常在HuggingFace上都能找到。一般我们使用Ollama和LM Studio在桌面显卡领域部署，也就是个人电脑上部署使用。而在服务器领域，我们通常使用后三者。本篇我们主要关注于vLLM如何部署和量化DeepSeek大语言模型，机器环境是4卡Nvidia 2080Ti，大约48G显存。

1. 下载LLM模型

首先我们下载所需要的大语言模型，国内我们通常使用ModelScope^[1]下载，它的速度较快也很稳定。我们使用modelscope官方提供的工具modelscope来下载，它有自动重连断点下载等功能。我们切换conda环境到base，然后安装modelscope。

condaactivatebase
pipinstallmodelscope

然后我们访问modelscope找到我们要下载的模型，比如DeepSeek V2 Lite模型^[2]。

拷贝左上角模型的限定名称，然后使用如下命令，将其下载到当前目录。

modelscopedownload--modeldeepseek-ai/DeepSeek-V2-Lite-Chat--local_dir.

速度很快，可以达到30MB/s

2. 安装vLLM推理引擎

创建vLLM的虚拟环境并激活。

condacreate-nvllmpython=3.11
condaactivatevllm

配置国内源，这样安装会快一点

condaconfig--showchannels
condaconfig--addchannelshttps://mirrors.ustc.edu.cn/anaconda/pkgs/main/
condaconfig--addchannelshttps://mirrors.ustc.edu.cn/anaconda/pkgs/free/
condaconfig--addchannelshttps://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
condaconfig--addchannelshttps://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
condaconfig--setchannel_priorityflexible

接下来开始安装vLLM，根据官方文档^[3]来操作。

pip install vllm

注意

使用pip默认安装的是基于CUDA 12.1编译的，它也兼容CUDA 12.2和12.4等环境。但如果你的CUDA版本是CUDA 11.8，你需要一些指定版本的操作。

#InstallvLLMwithCUDA11.8.
exportVLLM_VERSION=0.4.0
exportPYTHON_VERSION=310
pipinstallhttps://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl--extra-index-urlhttps://download.pytorch.org/whl/cu118

3. 开始部署

使用如下命令，开始部署DeepSeek V2 Lite Chat模型。

CUAD_VISIBLE_DEVICES=0,1,2,3python-mvllm.entrypoints.openai.api_server--modeldeepseek-ai/DeepSeek-V2-Lite-Chat--port11434--tensor-parallel-size4--gpu-memory-utilization0.9--max-model-len8192--trust-remote-code--enforce_eager--dtype=half

有几个参数需要特别说明，更多的参数可以参考vLLM官方文档^[4]

• dtype - 数据类型，由于RTX20280Ti 只支持半精度类型的，因此dtype必须强制指定为half。
• max-model-len - 指定上下文长度，它会自动预留KV Cache。虽然说DeepSeek V2支持128K上下文，但它也会导致占用大量的预留显存，因此一般我们一点一点尝试向上加，从而找到你显卡最佳上下文长度。我不确定是否有方法可以计算上下文长度所需显存。
• gpu-memory-utilization - 指定显存利用率，默认0.9 假设48G，那么设置为0.9，意味着它最大可以使用48*0.9=43.2G
• tensor-parallel-size - 张量并行推理，如果你是一机多卡，并且单张显卡显存无法承载大模型，那么你可以考虑启用该选项，大小根据你的显卡数量设置。

但我使用这里48G显存居然不够一个BF16的16B模型和KV Cache使用，报了如下错误。

ValueError: The model's max seq len (8192) is larger than the maximum number of tokens that can be stored in KV cache (7104). Try increasing gpu_memory_utilization or decreasing max_model_len when initializing the engine.

所以8K上下文导致了显存不够用，然而没有地方能够设置KV Cache大小，只能通过gpu_memory_utilization 参数设置，目前是0.9，增大到0.95能够启动并支持8K上下文了。速度勉强能够接受，速度大约每秒15 tokens。

4. 使用Lora

如果你在base模型基础上微调，那么可以通过以下方式指定Lora模型。比如

vllm serve meta-llama/Llama-2-7b-hf \
--enable-lora \
--lora-modules sql-lora=$HOME/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/

其中我们使用--enable-lora --lora-modules {name}={lora-path}来指定lora模型。在使用OAI兼容的接口请求时候，必须将模型名称指定为lora的模型名称。

curlhttp://localhost:8000/v1/completions\
-H"Content-Type:application/json"\
-d'{
"model":"sql-lora",
"prompt":"SanFranciscoisa",
"max_tokens":7,
"temperature":0
}'|jq

5. 量化DeepSeek Lite Chat模型

量化模型，需要考虑显卡平台支持的量化类型，此处不考虑非N卡。由于RTX 2080Ti是Turing架构，它的计算能力是7.5，因此它不支持FP8量化。

此处这里使用AWQ进行4bit量化

pip install autoawq

还有一个依赖要单独安装，不然会报错。

ImportError: This modeling file requires the following packages that were not found in your environment: flash_attn. Run

pip install flash_attn

但安装总说找不到nvcc，所以执行

whichnvcc

然后根据获得地址手动设置CUDA_HOME安装

CUDA_HOME=/usr/local/cudapipinstallflash_attn

然后编译wheel时候，卡了一个多小时了，还没结束。注意量化有时候依赖和vllm不一致，可以考虑建立两个虚拟环境。接下来使用如下代码并执行即可开始量化。

fromawqimportAutoAWQForCausalLM
fromtransformersimportAutoTokenizer

model_path='hub/deepseek-ai/DeepSeek-V2-Lite-Chat/'
quant_path='hub/deepseek-ai/DeepSeek-V2-Lite-Chat-awq-int4/'
quant_config={"zero_point":True,"q_group_size":128,"w_bit":4,"version":"GEMM"}

#Loadmodel
model=AutoAWQForCausalLM.from_pretrained(model_path,**{"low_cpu_mem_usage":True})
tokenizer=AutoTokenizer.from_pretrained(model_path,trust_remote_code=True)

#Quantize
model.quantize(tokenizer,quant_config=quant_config)

#Savequantizedmodel
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

如果你的显卡支持FP8量化，可以使用AutoFP8进行离线量化。

gitclonehttps://github.com/neuralmagic/AutoFP8.git
pipinstall-eAutoFP8

然后使用动态激活规模因子进行离线量化，不损失精度。

fromauto_fp8importAutoFP8ForCausalLM,BaseQuantizeConfig

pretrained_model_dir="hub/deepseek-ai/DeepSeek-V2-Lite-Chat/"
quantized_model_dir="hub/deepseek-ai/DeepSeek-V2-Lite-Chat-FP8/"

#Definequantizationconfigwithstaticactivationscales
quantize_config=BaseQuantizeConfig(quant_method="fp8",activation_scheme="dynamic")
#Fordynamicactivationscales,thereisnoneedforcalbrationexamples
examples=[]

#Loadthemodel,quantize,andsavecheckpoint
model=AutoFP8ForCausalLM.from_pretrained(pretrained_model_dir,quantize_config)
model.quantize(examples)
model.save_quantized(quantized_model_dir)

总结

本文主要记录了我在RTX 4080Ti上部署DeepSeek V2 16B模型的过程。希望给大家一个参考，更多的参数还得看vLLM官方文档。此外，对于DeepSeek V2模型，它使用的MLA( Multi-head Latent Attention)目前vLLM尚未实现，但sglang最近实现了MLA，速度有了比较明显的提升。下一篇我们将会尝试一下。