链载Ai

标题: 多模态文档解析模型进展:UNIREC-0.1B架构、数据情况、实际测试 [打印本页]

作者: 链载Ai    时间: 3 天前
标题: 多模态文档解析模型进展:UNIREC-0.1B架构、数据情况、实际测试

UNIREC是一个0.1B参数量的模型,整体pipline遵循layout(直接拿的paddleocr的layout模型)+ VLM OCR(UNIREC-0.1B)。从这个模型可以看一个趋势,VLM-OCR正在朝参数小进化。下面来看简单看下模型架构、数据情况、实际测试,性能实际测下来一般,仅供参考。模型结构

文档解析的开源项目模型技术方案都在《文档智能专栏》,如:

模型架构

模型结构

特别的:最大宽度和高度分别限制在 960 和1408 像素。

数据

UniRec40M 的构成,该数据集包含近 3000 万英文样本和 1000 万中文样本。数据集包括 1900 万纯文本、1300 万仅含公式以及 800 万文本与公式混合的样本。

与paddleocr-vl、mineru等一样,训练UNIREC-0.1B时构造相关block(文本、公式、表格等)数据-UniRec40M(数据未开源)

实验性能

实际测试case

测试链接:https://modelscope.cn/studios/topdktu/OpenDoc-0.1B-Demo 笔者随便截取了tech report中的几页,效果如下(由于版式分析模型是使用的paddleocr的layout模型,测试主要关注下block的ocr format能力,测了两张不是特别好,就未压测):

case1
case2

识别如下:






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5