链载Ai

标题: MinerU的magic pdf部署: 高质量pdf转markdown 布局,公式,结构检测(MacOS) [打印本页]

作者: 链载Ai 时间: 2025-12-2 10:52
标题: MinerU的magic pdf部署: 高质量pdf转markdown 布局,公式,结构检测(MacOS)

我用 Macbook Pro 96G+8T 部署, 把部署过程一步步梳理到下文, 部署中遇到的bug也做了记录

整体部署结果不理想, 部署 magic pdf该项目还需要另一个项目PDF-Extract-Kit运转后生成 model.json文件, 并且目前不支持识别表格, 只是结构解析和公式, 开发者表示, 现在也开源一部分功能出来, 后续还在完善

01

minerU

支持多种前端模型输入
删除页眉、页脚、脚注、页码等元素
符合人类阅读顺序的排版格式
保留原文档的结构和格式，包括标题、段落、列表等
提取图像和表格并在markdown中展示
将公式转换成latex
乱码PDF自动识别并转换
支持cpu和gpu环境
支持windows/linux/mac平台

table的解析能力目前还没达到开放的标准，还在开发中

magic-pdf.template.json 我是直接去 Github 下载的,更改名称复制到 json

使用的是最简单的命令行指令, pdf_path 写 pdf 文档本地路径, 需要是文件,不是文件夹, 所以命令行更适合一个文件一个文件转换, model_json_path, 模型文件的本地路径,需要由另外一个项目PDF-Extract-Kit来生成, 这两个项目是同一个团队打造的, 后期会准备集合,现在先初步开源方便一些有需要的人使用

pipinstallmagic-pdf
cpmagic-pdf.template.json~/magic-pdf.json
magic-pdfpdf-command--pdf"pdf_path"--model"model_json_path"

如果没有 model_json,在转换过程中出现以下解析错误

pdf extract kit 包括 :

布局检测：使用LayoutLMv3模型进行区域检测，如图像，表格,标题,文本等；
公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；
公式识别：使用UniMERNet进行公式识别；
光学字符识别：使用PaddleOCR进行文本识别

部署 pdf extract kit, 同时把上面 magic-pdf 环境也重新安装到这个虚拟环境中,避免版本冲突conda create -n pdfpipeline python=3.10

下载 Github 文件

git clone https://github.com/opendatalab/PDF-Extract-Kit.git

下一步安装依赖项就根据自己电脑环境选择, readme 文件有专门说明 ,我这里是 M 芯片的 MBP,安装以下命令


pip3install-rrequirements+cpu.txt

pipinstallhttps://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-macosx_11_0_arm64.whl

安装完成后,改两个配置文件, 把这两处的 device 从默认 cuda改成mps(MacOS,M 芯片环境)

PDF-Extract-Kit/configs/model_configs.yaml:2PDF-Extract-Kit/modules/layoutlmv3/layoutlmv3_base_inference.yaml:72

去 huggingface的 pdf extract kit 下载需要用到的布局等模型,不然会报错:No such file or directory: 'models/MFD/weights.pt'

git lfs clone https://huggingface.co/wanderkid/PDF-Extract-Kit

我是自己手动下的, 就 MBF 有个 pytorch bin 的文件有 3G,其他都不到 1G, 下载下来放到之前拉取的 github 文件目录中

下载后注意要重新更改文件名, 下载下来会在文件名前面添加文件夹名, 要把文件夹名删除, 不然运行程序会显示文件找不到

文件结构按照 Huggingface 库里的结构

Layout 是布局识别模型, 布局检测模型基于微软的layoutlmv3-base-chinese微调

MFD 和 MFR 是数学公式识别模型,分别是 math formula detection 和 formula recognition, detection 使用的是YOLOv8-Trained, 识别使用的Unimernet,并没有做多大监督微调SFT

模型下载完后运行, 各个电脑都是下面的命令

python pdf_extract.py --pdf data/pdfs/ocr_1.pdf

在苹果电脑运行还需要配置 MPS, 直接执行上面命令会显示aten::upsample_bicubic2d.out 操作在 MPS (Metal Performance Shaders) 设备上尚未实现

File"/Users/linyu/ai/PDF-Extract-Kit/modules/layoutlmv3/layoutlmft/models/layoutlmv3/modeling_layoutlmv3.py",line71,inforward
position_embedding=F.interpolate(position_embedding,size=(Hp,Wp),mode='bicubic')

NotImplementedError:Theoperator'aten::upsample_bicubic2d.out'isnotcurrentlyimplementedfortheMPSdevice.Ifyouwantthisoptobeaddedinpriorityduringtheprototypephaseofthisfeature,pleasecommentonhttps://github.com/pytorch/pytorch/issues/77764.Asatemporaryfix,youcansettheenvironmentvariable`PYTORCH_ENABLE_MPS_FALLBACK=1`tousetheCPUasafallbackforthisop.WARNING:thiswillbeslowerthanrunningnativelyonMPS.

需要临时在终端输入export PYTORCH_ENABLE_MPS_FALLBACK=1 或者在py 运行文件中加

importos
os.environ['YTORCH_ENABLE_MPS_FALLBACK']='1'

但是又会出现RuntimeError: Expected repeatBuffer && cumsumBuffer && resultBuffer to be true, but got false.

结果只有把 MPS设备换成CPU, 还是在上面提过的 2 个配置位置修改

出现以下结果就是在处理了

0: 1888x1344 (no detections), 3089.3ms表示模型处理了一张 1888x1344 尺寸的图像，处理时间为 3089.3 毫秒，但未能检测到任何目标

• 24.7ms preprocess: 图像预处理时间为 24.7 毫秒

• 3089.3ms inference: 模型推理时间为 3089.3 毫秒。这是主要的耗时部分。

• 0.3ms postprocess: 结果后处理时间为 0.3 毫秒

结果出现 timeout , 准备放弃部署, 等这个项目成熟些,有功能更新再部署试试

运行完成后会生成一个 model.json 的模型解析文件,应该就是前面 magic pdf 需要的

magic-pdf pdf-command --pdf "/Users/linyu/ai/pdf储能政策知识库/《“十四五”能源领域科技创新规划》2021.pdf" --model ""

02

后续可能会再试试其他 pdf 转格式的工具, 比如 gptpdf,使用 GPT-4V 这种多模态模型识别 pdf,平均每页消耗成本: $0.013

整体原知识库是哪个格式是个问题, 不同 RAG 对格式支持都不同, 准备都转成 markdown 试试,最近微软的 GraphRAG 开源, 先初步了解了解技术, 要实际上手部署还有些距离, 太新的开源技术,试错成本稍稍有点高 ,相关社区也不太成熟

大家是怎么处理知识库的数据的呢, 欢迎交流

欢迎光临链载Ai (http://www.lianzai.com/)