链载Ai

标题: 打造自己的RAG解析大模型：金融、财务、保险都需要的表格识别，只需看这一篇 [打印本页]
作者: 链载Ai    时间: 昨天 11:56
标题: 打造自己的RAG解析大模型：金融、财务、保险都需要的表格识别，只需看这一篇

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;line-height: normal;text-align: center;background-color: rgb(255, 255, 255);visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">

金融、财务和保险等行业中的RAG应用系统，针对PDF和图片中的表格进行识别，具有非常重要的实际意义。在这些业务场景中，表格数据通常包含大量结构化信息，例如财务报表、资产负债表、保险理赔单、投资组合明细、信贷记录等。这些表格承载着企业运营、风险评估和决策制定等核心数据，因此对其进行准确、高效的识别和抽取至关重要。通过将这些表格信息转化为结构化数据并存储到向量数据库中，RAG系统能够快速地检索和分析这些数据，为企业提供智能化的决策支持，帮助识别潜在的风险点、优化财务规划、提高业务处理效率，甚至在客户服务中也能提供个性化的建议和解决方案。

准确的表格识别不仅提升了工作效率，也大大降低了人工处理的错误率，对于大规模数据的自动化处理尤为重要。

表格识别模型服务搭建

表格识别服务模型可以根据处理图片的不同类型，灵活选择搭建单一的表格识别、文本识别模块，或者同时搭建包括版面分析、表格识别和文本识别的综合模型，以满足不同应用场景的需求。

模型部署参考：打造自己的RAG解析大模型：(可商用)OCR全服务部署，文本+表格+版面！

表格训练集标注

不同的垂直行业可以根据通用识别模型的精度表现，评估是否需要针对本行业进行特定的训练集标注，以提升模型在行业应用中的识别准确性。

训练集标注参考：打造自己的RAG解析大模型：表格数据标注的三条黄金规则

表格模型的训练

1、环境配置

1.1、运行硬件配置

1.2、运行软件配置

1.3、训练数据准备

百度建议，表格垂类模型的微调至少需要2000张表格训练集，10%训练集的验证集。

在训练机器上，可以通过安装包含 Paddle 框架的 Docker 环境进行训练。为方便管理，训练数据集可以保存在宿主机上，并在创建 Docker 容器时通过挂载（mount）方式加载到容器内部。例如，可以创建一个中文数据集的专用目录 /paddle/pubtabnet，并将标注完成的表格数据集拷贝到该目录中。

/pubtabnet

|-table
|- train.txt #为训练集标注文件
|- train #目录为训练集图片
  |- 1.png
  |- 2.png
  | ...
|- val.txt #为验证集标注文件
|- val #目录为验证集图片
  |- 1.png
  |- 2.png
  | ...

1.4、软件安装

Paddle安装
进入/paddle/pubtabnet目录并安装Docker
#进入训练数据目录cd/home/paddle/pubtabnet#创建并挂载训练数据集目录到paddle_docker_tabledockerrun-d--gpusall--nametable_train-v$PWD:/paddle--network=host-itregistry.baidubce.com/paddlepaddle/paddle:2.6.1-gpu-cuda12.0-cudnn8.9-trt8.6tail-f/dev/null
PaddleOCR安装
在进入“table_train”环境后，您需要在/home目录下执行相关命令来下载PaddleOCR的源码，并完成后续操作。确保您已正确配置了环境依赖，并仔细检查执行的命令，以避免因环境问题或路径设置错误导致失败。
源码下载
gitclonehttps://github.com/PaddlePaddle/PaddleOCR.git#切换到release/2.8分支cdPaddleOCRgitcheckout-brelease/2.8origin/release/2.8

mkdirtrain_data#创建训练集软链接至数据集目录ln-sf/paddle/pubtabnet/home/PaddleOCR/train_data

#安装依赖python3.10-mpipinstall--upgradepip-ihttps://mirrors.aliyun.com/pypi/simple/pip3install-rrequirements.txt-ihttps://mirrors.aliyun.com/pypi/simple/
2、开始训练
表格识别模型训练采用飞浆当前最优PP-StructureV2智能文档分析系统相关模型。相比之前的版本，从算法改进的角度来看，该模型在8个关键方面实现了优化。
2.1、修改配置文件

如果你希望训练自己标注的数据集，需要修改配置文件SLANet_ch.yml文件，可配置参数说明如下。

epoch_num:400#最大训练epoch数，中文垂类微调训练集至少400轮log_smooth_window:20#log队列长度，每次打印输出队列里的中间值print_batch_step:20save_model_dir:./output/SLANet_chsave_epoch_step:200eval_batch_step:[0,500]#每500个批次进行一次验证cal_metric_during_train:True#飞浆中文预训练模型参数地址，微调必须配置该地址pretrained_model:./ch_ppstructure_mobile_v2.0_SLANet_train/best_accuracy.pdparamslr:#1GPU\一批次32个\学习率0.00017,百度最佳实践配置learning_rate:0.00017#该值必须根据GPU的数量和每个批次的大小有关
2.2、启动训练

-c指定模型配置文件
--eval表示训练的同时进行评估。


cd/home/PaddleOCR#默认使用0号GPUpython3tools/train.py-cconfigs/table/SLANet_ch.yml

cd/home/PaddleOCRpython3-mpaddle.distributed.launch--gpus'0,1'tools/train.py-cconfigs/table/SLANet_ch.yml
注意：训练时显存outmemory，将配置文件中batch_size_per_card的值做调整。
2.3、训练日志
训练日志：PaddleOCR/log目录下workerlog.0文件。
[2024/11/1208:45:40]ppocrINFO:epoch:[1/400],global_step:20,lr:0.000170,acc:0.000000,loss:0.153887,structure_loss:0.068865,loc_loss:0.104004,avg_reader_cost:0.12837s,avg_batch_cost:2.05343s,avg_samples:8.0,ips:3.87891samples/s,eta:14:0:34,max_mem_reserved:4819MB,max_mem_allocated:4623MB[2024/11/1208:45:44]ppocrINFO:epoch:[1/400],global_step:40,lr:0.000170,acc:0.000000,loss:0.085833,structure_loss:0.027159,loc_loss:0.025613,avg_reader_cost:0.00019s,avg_batch_cost:1.20083s,avg_samples:8.0,ips:7.26726samples/s,eta:13:58:27,max_mem_reserved:4819MB,max_mem_allocated:4623MB
log中自动打印如下信息：
epoch:当前迭代轮次，[1/400]表示共400轮，当前为第1轮。
global_step:当前批次20为步长
lr:当前学习率
acc:batch的准确率
loss:batch的平均损失
structure_loss:表格结构损失值
loc_loss:单元格坐标损失值
avg_reader_cost:batch数据处理耗时
avg_batch_cost:batch总耗时
avg_samples:batch的平均样本数
ips:每秒处理图片数量
eta:batch的剩余时间
3、模型的评估与预测
表格识别模型训练采用边训练边验证，在验证过程中，模型会自动保存在save_model_dir参数配置的目录下，名称为best_model，该模型为验证集上效果最好的模型。
3.1、模型的评估
参数说明
--gpus指定GPU卡号
-c：指定配置文件。
-o：配置可选参数。
#GPU评估cd/home/PaddleOCRpython3-mpaddle.distributed.launch--gpus'5'tools/eval.py-cconfigs/table/SLANet_ch.yml-oGlobal.checkpoints=output/SLANet_ch/best_accuracy
3.2、模型的预测
预测使用的配置文件必须与训练一致。
参数说明
-c：指定配置文件。
-o：配置可选参数，可选参数优先级高于配置文件，参数冲突时，优先使用命令行参数。
-Global.checkpoints：训练模型最佳模型参数地址。
cd/home/PaddleOCR#预测表格结构python3tools/infer_table.py-cconfigs/table/SLANet_ch.yml-oGlobal.checkpoints=output/SLANet_ch/best_accuracyGlobal.infer_img=ppstructure/docs/table/table.png

4. 模型导出与预测

4.1 模型导出

inference模型（paddle.jit.save保存的模型） 一般是模型训练，把模型结构和模型参数保存在文件中的固化模型，多用于预测部署场景。

表格识别模型转inference模型命令如下：

python3tools/export_model.py-cconfigs/table/SLANet_ch.yml-oGlobal.checkpoints=./output/SLANet_ch/best_accuracy
4.2模型推理
模型导出后，使用如下命令即可完成inference模型的预测
cd/home/PaddleOCR/ppstructurepython3table/predict_structure.py\--table_model_dir=../output/SLANet_ch/infer\--table_char_dict_path=../ppocr/utils/dict/table_structure_dict_ch.txt\--image_dir=docs/table/table.png\--output=../output/table

预测效果：

展示一张金融类财务无线格报表的识别效果。





欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5