链载Ai

标题: 最强开源0.9B级OCR模型！PaddleOCR-VL本地一键部署，私密性拉满【喂饭级教程】 [打印本页]

作者: 链载Ai 时间: 昨天 22:34
标题: 最强开源0.9B级OCR模型！PaddleOCR-VL本地一键部署，私密性拉满【喂饭级教程】

前不久我写了一篇百度最新的OCR模型（PaddleOCR-VL）的文章反响还不错。

评论区大家呼声最高的是希望有一个PaddleOCR-VL的本地本地部署教程

我当时还立了个flag（到8000阅读就写教程）

我本来以为很难达成的，没想到最后超额完成了，居然超了两倍还多。

这篇文章，其实鸽了好久了，因为中间有很多事情。

其中一个是因为这篇文章，受邀作为共学嘉宾参加了百度的PaddleOCR-VL共学直播。

还有和Trae在昆明办了第一场线下活动TRAE Friends@昆明

没想到能到场54人，也没想到大家氛围超级好，都非常积极，原定活动是5.30结束，结果最后搞到了6.00。

好，扯远了，咱们回到正题

这段时间，我其实陆续都有尝试本地部署，但是PaddleOCR-VL刚开源嘛，文档、资料都还不是很完善，所以自己还是踩了不少坑，进行的并不顺利。

不过这两天终于跑通啦，然后轻松把本地PaddleOCR-VL接入了Fastgpt，而且没想到识别速度超快，基本上秒出！！最终只占了6G显存～

所以就赶紧给大家把这个教程补上，希望对大家有帮助（如果有帮助的话，别忘了三连哦）

首先PaddleOCR-VL目前还不支持Mac和AMD的显卡。

据官方表示：本地部署paddleOCR-VL的最低配置是RTX3060 12G显存的显卡。但是我体验下来，感觉8G显存也能跑。

本期我用的是Windows10的电脑，RTX 5060 TI 16G显存的显卡。

第一次把paddleOCR-VL在本地启动之后，占了差不多11G的显存。

不过第二次启动后，只占了6G多的显存。

我习惯用docker部署，因为简单方便，所以这次还是使用docker在本地部署PaddleOCR-VL。

这里是paddleOCR-VL的官方文档：

https://www.paddleocr.ai/main/version3.x/pipeline_usage/PaddleOCR-VL.html#311-docker

刚好他们文档里面有对50系显卡的支持

我这次的PaddleOCR-VL本地部署过程还挺曲折的（踩了不少坑）：

注意：不想看踩坑过程的朋友，可以直接全局搜："这条指令一键启动"，定位到最终的启动指令。

没有docker的朋友需要先自行安装、启动docker

然后win+r，输入cmd 打开Windows的控制台

执行第一个指令：

dockerrun-it--rm--gpusall-p8118:8118--networkhostccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server/bin/bash

如果是第一次执行，会先下载镜像

这个镜像有18G。

如果是之前下载过镜像的，那么就会像下面这样。

直接进入启动的docker容器内部。

不过得检查一下是不是最新版的镜像

pip list | grep paddlex

只要paddlex版本号在3.3.4以上就行。

如果不是就exit（退出容器，回到Windows的控制台）重新拉取一下最新镜像：

dockerpullccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server

再执行最开始的指令，就会重新进入容器内部。

接下来需要安装flash-attn==2.8.3

不过他们之前的教程里面是错误的（现在更正了），因为镜像精简过，里面不包含CUDA编译工具，所以无法本地构建flash-attn。

我就说，之前一直报错，然后我丢给ai，ai给的方案都好复杂，越走越远了。。。

所以，他们给了我一个远程安装预编译的方案。

python-mpipinstallhttps://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.4.11/flash_attn-2.8.3+cu128torch2.8-cp310-cp310-linux_x86_64.whl

上面这条还是在容器内执行。

终于！！！成功安装flash-attn==2.8.3

到这里，我感觉离成功只有一步之遥了，马上就要成啦~

于是我开始执行最后一条指令：

paddlex_genai_server--model_namePaddleOCR-VL-0.9B--backendvllm--port8118--host0.0.0.0

结果，不出意外，就要出意外了。

又报错了：out of memory（内存溢出），，丢给Gemini分析，简单来说就是，这个脚本限制使用一半的显存（8G），导致不够用。

然后就换了一个指令（在结尾加了一段参数：--backend_config <(echo -e 'gpu-memory-utilization: 0.8')，把vLLM的显存占用率设置为了80%≈13G）：

paddlex_genai_server--model_namePaddleOCR-VL-0.9B--backendvllm--port8118--host0.0.0.0--backend_config<(echo-e'gpu-memory-utilization:0.8')

终于！这次终于成了~

这玩意儿，我真的断断续续折腾了好几天，这下终于部署好了，一下子还有点成就感。

显存占用是11G

后面我最后一次启动忘记加--backend_config <(echo -e 'gpu-memory-utilization: 0.8'，不过没报错，成功启动了，最终显存占用是6G多。

当然，也可以使用docker-compose的方式部署：

如果是非50系显卡，可以使用下面这个docker-compose.yml的配置

services:paddleocr-vl-api:image:ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-offlinecontainer_name:paddleocr-vl-apiports:-8080:8080depends_on:paddleocr-genai-vllm-server:condition:service_healthydeploy:resources:reservations:devices:-driver:nvidiadevice_ids:["0"]capabilities:[gpu]restart:unless-stoppedhealthcheck:test:["CMD-SHELL","curl-fhttp://localhost:8080/health||exit1"]paddleocr-genai-vllm-server:image:ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-offlinecontainer_name:paddleocr-genai-vllm-serverdeploy:resources:reservations:devices:-driver:nvidiadevice_ids:["0"]capabilities:[gpu]restart:unless-stoppedhealthcheck:test:["CMD-SHELL","curl-fhttp://localhost:8080/health||exit1"]start_period:300s

50系显卡的docker-compose文件官方暂时还没出

我最终使用的这条指令一键启动：

dockerrun-d--rm--gpusall-p8118:8118--namepaddleocr-vl-serverccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latestsh-c"pipinstallhttps://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.4.11/flash_attn-2.8.3+cu128torch2.8-cp310-cp310-linux_x86_64.whl&&paddleocrgenai_server--model_namePaddleOCR-VL-0.9B--backendvllm--port8118--host0.0.0.0--backend_config<(echo-e'gpu-memory-utilization:0.8')"

非50系显卡可以使用下面这个指令：

dockerrun-d--rm--gpusall-p8118:8118--namepaddleocr-vl-serverccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latestsh-c"paddleocrgenai_server--model_namePaddleOCR-VL-0.9B--backendvllm--port8118--host0.0.0.0--backend_config<(echo-e'gpu-memory-utilization:0.8')"

有点烦的就是每次启动，都要去下载那个253.6MB的flash-attn补丁和1.8GB的PaddleOCR-VL -0.9B以及202M的PP-DocLayoutV2模型。

会导致Windows里面docker所占用的虚拟空间越来越大。

所以大家启动成功后不要频繁重启

最终成功启动后的日志如下：

还可以访问它的API文档地址：<服务base URL>/docs

也就是http://localhost:8118/docs

然后，我用postman测试请求成功啦！！！

测试请求是下面这样的，使用OpenAI API的格式，识别的是一个在线的图片的URL地址。

{"model":"addleOCR-VL-0.9B","messages":[{"role":"user","content":[{"type":"text","text":"请识别这张图片中的所有文本内容。"},{"type":"image_url","image_url":{"url":"https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png"}}]}],"max_tokens":2048,"temperature":0.0}