链载Ai

标题: MinerU使用教程 [打印本页]

作者: 链载Ai 时间: 昨天 12:00
标题: MinerU使用教程

MinerU是开源、高质量的数据提取工具，支持多源数据、深度挖掘、自定义规则、快速提取等。含数据采集、处理、存储模块及用户界面，适用于学术、商业、金融、法律等多领域，提高数据获取效率。MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。

主要功能

删除页眉、页脚、脚注、页码等元素，确保语义连贯
输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
保留原文档的结构，包括标题、段落、列表等
提取图像、图片描述、表格、表格标题及脚注
自动识别并转换文档中的公式为LaTeX格式
自动识别并转换文档中的表格为HTML格式
自动检测扫描版PDF和乱码PDF，并启用OCR功能
OCR支持84种语言的检测与识别
支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检

MinerU官网如下：

https://github.com/opendatalab/MinerU/tree/master

在GPU上的使用教程：

1、选用服务器

租用AutoDL服务器

选用RTX3090

PyTorch 2.1.0 Python 3.10(ubuntu22.04) Cuda 12.1

2、安装环境

1、安装magic-pdf项目（/root/autodl-tmp数据盘下）

--no-cache-dir 不用缓存

选用清华源，官网的阿里云检索不到magic-pdf[full]

condacreat-nMinerUpython=3.10.0condaactivateMinerUpipinstall-Umagic-pdf[full]--extra-index-urlhttps://wheels.myhloli.com-ihttps://pypi.tuna.tsinghua.edu.cn/simple--no-cache-dir

查看是否安装成功

magic-pdf--version

2、下载模型

https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_zh_cn.md

从 ModelScope 下载模型

pipinstallmodelscopewgethttps://gitee.com/myhloli/MinerU/raw/master/scripts/download_models.py-Odownload_models.pypythondownload_models.py

python脚本会自动下载模型文件并配置好配置文件中的模型目录

配置文件可以在用户目录中找到，文件名为magic-pdf.json

下载模型后移动models 和layoutreader到autodl-tmp文件夹中（任意文件夹中都行）

# 移动modelsmv /root/.cache/modelscope/hub/opendatalab/PDF-Extract-Kit-1.0 /root/autodl-tmp/models# 移动layoutreadermv /root/.cache/modelscope/hub/ppaanngggg/layoutreader /root/autodl-tmp/layoutreader

修改生成的magic-pdf.json中的“models-dir”和“layoutreader-model-dir”参数

{"bucket_info":{"bucket-name-1":["ak","sk","endpoint"],"bucket-name-2":["ak","sk","endpoint"]},"models-dir":"/root/autodl-tmp/models","layoutreader-model-dir":"/root/autodl-tmp/layoutreader","device-mode":"cuda","layout-config":{"model":"layoutlmv3"},"formula-config":{"mfd_model":"yolo_v8_mfd","mfr_model":"unimernet_small","enable":true},"table-config":{"model":"rapid_table","enable":false,"max_time":400},"config_version":"1.0.0"}

3、为OCR开启cuda加速

python-mpipinstallpaddlepaddle-gpu==3.0.0b1-ihttps://www.paddlepaddle.org.cn/packages/stable/cu118/

4、使用命令将PDF转为md格式

在MinerU虚拟环境下运行

magic-pdf -p PDF的地址 -o 输出位置

举例：将root文件下的small_ocr.pdf文件转换完后，保存在/root/autodl-tmp/output

magic-pdf-p/root/small_ocr.pdf-o/root/autodl-tmp/output

输出结果为：

欢迎光临链载Ai (https://www.lianzai.com/)