中科大发表TabPedia，使用大模型解析复杂表格数据，助力数据分析

目前的大模型应用领域主要集中在NLP和CV领域，在预测分析方面较少。传统预测分析需要理解和分析表格数据，目前大模型在表格数据方面存在不足。为了弥补这个缺陷，推进大模型在数据预测方面的发展，中科大联合字节跳动发表了TabPedia，用于解决表格检测、表格结构识别、表格查询和表格问答等表格理解任务。实验表明，TabPedia在表格数据理解方面展示了前所未有的能力。

论文地址：https://arxiv.org/pdf/2406.01326

HuggingFace地址：https://huggingface.co/datasets/ByteDance/ComTQA

摘要

TabPedia是一种新型的视觉语言大模型，它具备概念协同机制，可以无缝整合视觉表格理解任务，如表格检测、表格结构识别、表格查询和表格问答。为了验证TabPedia，本文建立了一个新的综合表格VQA基准ComTQA，包含约9000个QA对。通过在各种公共基准测试中进行广泛的定量和定性实验，验证了TabPedia的有效性和优越性。本研究验证了使用大模型来理解视觉表格的可行性。

简介

表格作为文档中不可或缺的组成部分，在总结事实和数量数据方面发挥着重要作用。视觉表格理解（VTU）涵盖了四个子任务：表格检测、表格结构识别、表格查询和表格问答。这些任务面临着各种挑战，需要不同的视觉-语义粒度和层次的表示。目前虽然已经取得了一些进展，但仍然存在一些问题，如表格解析和理解之间的差异以及所需的图像分辨率等。因此，是否可以利用大型视觉语言模型来解决所有VTU任务是一个值得探讨的问题。然而，直接使用所有VTU数据来训练大型视觉语言模型仍然存在一些难点。

本文提出了一种新的大规模视觉语言模型TabPedia，用于将各种视觉文本理解任务整合到一个统一的框架中。TabPedia利用了LLM的综合能力来实现复杂的表格理解。通过引入meditativetoken，设计了概念协同机制来协调表格感知和理解任务。通过实验证明了TabPedia在各种任务和基准测试中的有效性。本文还建立了一个新的表格VQA基准测试ComTQA，涉及多个答案、数学计算和逻辑推理等。

相关工作

表格识别

表格识别主要可以分为三个任务：表格检测、表格结构识别和表格内容识别。针对表格检测和表格结构识别，目前主要采用基于深度学习的方法，如 Faster R-CNN 和 DETR 等。同时，还有一些方法采用图像分割和关系建模等技术。本文提出了一种统一框架，同时处理表格感知和理解任务，以提高对表格的视觉理解。

特殊Token

Transformer-based方法中，使用特殊token扩展输入序列已经成为一种流行的方法，可以用于提取任务特定信息、提供额外信息或提高模型性能。例如，ViT使用[CLS] token进行分类，DETR提出对象查询进行检测，ATR采用tape token从内存库中获取有用信息。此外，Memory Transformer通过在token序列后附加可训练的memory token来改善翻译性能。在我们的工作中，我们设计了meditative token来增强TabPedia对视觉表格的感知和综合能力。

方法

TabPedia是一个表格理解模型，包括两个训练阶段：预训练和微调。预训练阶段旨在将视觉特征与大型语言模型对齐，微调阶段则专注于视觉表格感知。

模型架构

高分辨率视觉编码器。高分辨率图像对于确保LLM能够掌握丰富的视觉信息至关重要。本文采用Swin-B对输入图像的高分辨率格式进行编码。给定输入的RGB图像I，我们首先将其调整为预定义的高分辨率尺度H×W，记为Ih。默认情况下，H和W分别设置为2560和1920。我们在缩放过程中保持了宽高比，以防止表内容和结构的失真。然后，将图像输入到vanilla Swin Transformer中，以获得按1/32倍下采样的特征映射Vh，每个token具有1024维。

低分辨率视觉编码器。为了保持整体布局信息，原始图像也被调整为低分辨率图像，记为Il。选择预训练的CLIP视觉编码器ViTL/14对224×224的低分辨率图像进行编码。输出序列Vl由256个标记组成，每个标记具有512维。

预测。对于高分辨率特征图Vh，由于输入文本长度的限制，我们采用了一个内核大小为3、步长为2的2D卷积层，然后将其展平为64×64 token，记为Vˆh。对于低分辨率视觉特征Vl，采用一个线性层来投影视觉标记，记为Vˆl。

概念协同。我们利用Vicuna-7B作为LLM来生成其响应。考虑到表感知和理解任务的差异性，引入meditative token来实现LLM的概念协同，自适应地使不同区域的视觉token能够理解特定任务问题的意图。最后，构造整个输入序列为X=[Q，<IMG_S>;Vˆl;<IMG_SEP>;Vˆh;<IMG_E>;M]。<IMG_S>、<IMG_E>和<IMG_SEP>是可学习的特殊标记，它们分别表示视觉标记的开始和结束，以及不同分辨率标记的分离。

目标。由于TabPedia像其他LLM一样被训练为预测下一个token，因此它通过在训练时最大化预测损失的可能性来进行优化。

预训练

预训练过程包括文本检测、识别、定位、长文本阅读和图像字幕等任务，以使视觉编码器能够有效地感知文本和视觉信息。预训练过程中，我们同时优化高分辨率视觉编码器和两个投影器，同时冻结大型语言模型和低分辨率视觉编码器。

表格感知微调

通过预训练，TabPedia可以理解各种文档图像的文本和结构，但无法按照指示执行不同的表格理解任务。为了增强模型的指示遵循能力，我们首先构建了一个大规模的视觉表格理解数据集。基于这个数据集，我们引入了四个与表格相关的任务，即TD、TSR、TQ和TQA，以同时培养感知和理解能力。在这个阶段，我们进一步解冻LLM并对整个框架进行微调，除了低分辨率视觉编码器。

构建数据集

本文构建的数据集包括五个公共数据集。为了确保指令的多样性，使用GPT3.5生成了多个指令。同时提供了每个表格任务的用户问题示例。

表格检测（TD）旨在检测文档图像中所有表格的位置。以往的方法主要使用DETR或R-CNN的变体来预测大量重叠的边界框，需要复杂的后处理（如非极大值抑制）来生成最终结果。相比之下，我们采用LLM直接生成实例表格的位置，格式为“[x1，y1，x2，y2]”，其中x1，y1，x2，y2表示相应边界框左上角和右下角的归一化坐标。此外，为了便于检测多个表格的结果，我们使用特殊符号“\n”在输出响应中分割多个表格位置。我们使用PubTab1M-Det执行TD任务，其中的图像来自具有不同比例和旋转类型的表格的PDF文档。

表格结构识别（TSR）是一个用于解析表格结构的任务，主要针对HTML和Markdown两种文本序列来表示表格。HTML可以表示各种类型的表格，但包含大量的标记语法，导致输出响应过长。相比之下，Markdown更简洁，但无法表示跨多行或多列的单元格。为了权衡输出的简洁性和表格解析的完整性，我们提出了一种基于检测格式的规范表格结构表示。我们选择了PubTab1M-Str、FinTabNet和PubTabNet这三个数据集来支持TSR任务。

表格查询（TQ）任务与TSR任务不同，它直接从原始文档图像中解析表格，基于给定的表格位置。这个任务更具挑战性，因为表格的分辨率降低，周围其他文档内容的干扰。

表格问答（TQA）旨在通过表格理解和推理提供精确的答案。我们生成了大量的TQA数据，通过使用Gemini Pro的多模态理解能力，从FinTabNet和PubTab1M中的部分图像中生成。

为了更好地评估各种模型在真实世界表格图像上的TQA性能，我们基于FinTabNet和PubTab1M的测试集构建了一个复杂的TQA数据集（ComTQA）。与WTQ和TabFact相比，ComTQA具有更具挑战性的问题，例如多个答案、数学计算和逻辑推理。总共，我们通过专家注释从大约1.5k个图像中注释了约9k个高质量的问答对。

实验

实现细节

参数设置。meditative token的数量设置为256。文本序列的最大长度设置为4000。我们采用具有单周期学习率策略的余弦调度。在16块A100上进行训练。

数据集。为了全面评估TabPedia的性能，为每个任务使用多个基准。TD任务选择PubTab1M-Det，TSR任务选择FinTabNet、PubTabNet和PubTab1M-Str，对于TQ任务选择PubTab1M-Syn，对于TQA任务选择WTQ 、TabFact和我们的ComTQA。

评价指标。对于TD任务评估指标包括precision, recall和f1-score IoU@0.75。对于TSR和TQ任务，使用基于结构树编辑距离的相似性(S-TEDS)、GriTS指标。对于TQA任务，我们采用准确性度量标准，如果模型生成的响应包含ground truth中存在的字符串，则判断其正确。

定量结果

在表格检测、表格结构识别、表格问题回答等任务上，TabPedia都表现出了优异的性能，甚至在处理真实世界的表格时也能取得很好的效果。相比于其他方法，TabPedia的优势在于它能够直接生成独立的表格实例位置，无需进行额外的后处理操作。这使得TabPedia能够更好地处理复杂的表格理解任务。

定性结果

TabPedia是一个具有强大的多模态理解能力的系统。它能够准确生成可靠和格式化的结果，并能够对原始图像进行渲染以便更好地观察。TabPedia还能够通过多轮对话的方式，直接解析文档图像中的所有表格结构信息。它能够全面理解表格，并提供简洁可靠的答案，并提供支持答案的具体内容。TabPedia甚至具有一定的数学计算能力，能够捕捉表格内容之间的关联。这些结果展示了TabPedia强大的多模态理解能力。

消融分析

本文对TabPedia的核心设置和组件进行了消融分析，实验结果表明，添加meditative tokens显著提高了TabPedia的表格感知和理解能力。同时，高分辨率编码器和低分辨率编码器的协同作用提高了从表格中提取结构和内容相关细节的能力，有效提高了感知和理解任务的性能。

限制

TabPedia的限制主要有两个方面。首先，由于TabPedia使用常规的矩形框表示表格结构，因此无法准确解析扭曲或变形的表格的结构信息。其次，TQA数据集中的所有图像，包括WTQ、TabFact和ComTQA，都以表格为主导。因此，TabPedia仍然缺乏直接使用原始文档图像回答表格问题的能力。此外，它在表格单元识别方面也存在不足。

总结

TabPedia旨在统一各种视觉表格理解任务。通过引入meditative tokens到LLM中，实现了概念协同机制，无缝集成了多样任务和来自双重视觉编码器的多源视觉令牌作为概念。通过充分利用LLM的能力，有效理解这些概念并生成准确可信的响应。通过在各种公共基准测试中进行广泛的定量和定性实验，验证了TabPedia的有效性。此外，还建立了一个具有约9000个问答对的具有挑战性的表格VQA数据集ComTQA，以进一步探索TabPedia的潜力。