企业处理文档时常见的三个痛点:
- 结构丢失:OCR 转 Markdown 时,表格、公式、代码常常变成一堆“散装文本”。
- 多模型拼接:要同时识别表格、代码和公式,往往需要调用多个小模型,部署复杂、成本高。
- 结果不可控:一些轻量模型容易“抽风”,比如陷入无限循环输出、重复 token,完全无法上线使用。
Granite-Docling 的突破在于:它能直接输出DocTags——一种由 IBM 设计的文档结构标记语言,完整保留坐标、元素关系和阅读顺序。换句话说,它不仅告诉你“这行字是什么”,还会告诉你“它在哪个表格里、属于哪一列、和哪段文字相邻”。
这让下游任务(检索、RAG、知识图谱、数据分析)能够用更精准的索引和上下文,而不是在一堆“碎片化文本”里盲目搜索。
2. 技术架构:为什么能做到?
Granite-Docling-258M 并不是简单的 OCR 模型,而是一个轻量级的视觉语言模型(VLM)。它的核心架构由三部分组成:
视觉编码器:SigLIP2用于图像特征提取,精度和稳定性相比上一代 SmolDocling 明显提升。
语言模型:Granite 165MIBM 自研的小型 LLM,作为理解和生成的“头脑”,接收视觉特征并输出 DocTags。
连接器:pixel-shuffle 投影来自 Idefics3 风格的创新组件,确保图像和文本信息无缝对齐。
训练方面,IBM 采用nanoVLM 框架,这是一套轻量、纯 PyTorch 的 VLM 训练工具,运行在Blue Vela H100 集群上完成。
相比 SmolDocling 预览版,新模型在稳定性和准确率上都有显著提升。例如:
- 代码识别 F1 从0.915 提升到 0.988,错误率骤降。
- 表格识别(FinTabNet)TEDS 从0.82 → 0.97,几乎接近人工水平。
- 全页 OCR F1 从0.80 提升到 0.84,编辑距离也更低。
- 更重要的是,它修复了“无限循环输出”这种工程灾难级的 bug。
3. 为什么 DocTags 很关键?
很多人可能会问:输出 Markdown 或 JSON 不就够了吗?为什么 IBM 要额外发明 DocTags?
这里的核心在于“歧义消除”。
传统 OCR 输出:
| Name | Age |
|------|-----|
| Tom | 23 |
看似没问题,但当表格跨页、嵌套公式、包含图片时,Markdown 根本无法完整表示。
而 DocTags 会这样输出:
<Tableid="T1"coord="x1,y1,x2,y2">
<Row><Cellrow=1col=1>Tom</Cell><Cellrow=1col=2>23</Cell></Row>
</Table>
优势有三:
- 结构清晰:能区分标题、正文、脚注、表格 caption 等语义。
- 易于二次转换:DocTags 可以无损转化为 Markdown、HTML 或 JSON,灵活适配不同业务。
这对RAG(检索增强生成)来说尤为重要。过去很多企业抱怨,问答系统经常“答非所问”,就是因为底层索引缺乏结构信息,导致检索不到正确上下文。DocTags 的引入,能显著提高检索质量和问答准确性。
4. 多语言支持:离真正全球化更近一步
Granite-Docling 在英语之外,还提供了日语、阿拉伯语和中文的实验性支持。
虽然目前 IBM 强调这是“early-stage”,准确度不及英文,但这一步意义重大:
- 对亚洲和中东市场,中文和阿语的加入能直接扩大适用范围。
未来如果多语言能力进一步成熟,Granite-Docling 很可能成为“全球化企业文档 AI 的默认选择”。
5. 集成与部署:能否马上用?
IBM 的策略很清晰:Granite-Docling 不是通用 VLM,而是Docling 管道中的核心组件。
企业可以通过以下方式快速接入:
Docling CLI / SDK一条命令即可把 PDF、Office 文档、图片转换为 Markdown/HTML/JSON,自动调用 Granite-Docling。
多种推理框架支持包括 Hugging Face Transformers、vLLM、ONNX,以及专为 Apple Silicon 优化的 MLX。
开源许可Apache-2.0,不仅可以商用,还能二次开发。
这意味着企业可以用极低成本,把 Granite-Docling 嵌入现有的知识管理、RAG、数据分析管道,而不必担心闭源模型的黑箱问题。
6. 为什么值得关注?
Granite-Docling 的价值并不只是“模型参数升级”,而是生产力范式的转变:
从内容识别 → 结构保真不再满足于“看懂”,而是追求“原汁原味地还原”。
从多模型拼接 → 单一模型统一避免了调用 OCR、表格识别、公式识别等多个工具的麻烦。
从科研原型 → 企业级稳定性避免无限循环、降低错误率,真正能上线落地。
对于金融、法律、科研、政府档案等场景,这种“结构保真”的能力尤其关键。它直接决定了文档能否被机器高效索引,进而影响到后续检索、问答、合规审计等一系列业务。
7. 未来展望
Granite-Docling 可能引发三大趋势:
企业知识管理升级从“文本堆积”转向“结构化资产”,企业内部数据价值将被进一步释放。
RAG 应用精度提升在 AI 助手、问答机器人、智能客服等场景中,答非所问的情况会明显减少。
多语言市场拓展如果未来扩展更多语言,Granite-Docling 将成为跨国公司必备工具。
IBM 的这一步,不仅是推出了一个模型,更是重新定义了Document AI 的技术路线。
结尾
从 SmolDocling 到 Granite-Docling,IBM 展现了一种“务实的进化”:不追求参数规模,而是聚焦企业刚需 ——如何让文档转换真正可用、可落地。
对于企业 IT 部门和开发者来说,Granite-Docling 不仅是一个开源模型,更是一块拼图,帮助他们把文档处理、知识检索和 AI 应用串成一条完整链路。
或许几年后,我们会发现:企业文档 AI 的拐点,就是从 Granite-Docling 开始的