首先,Markdown是一种轻量级的标记语言,具备简洁性和易读易写的特点,使得它成为编写和存储文档的理想选择,特别是当这些文档需要通过LLM进行处理或通过RAG模型进行增强时。
其次,Markdown的结构化特性使其在进行文本处理时更加高效。例如,向量化文档时,需要根据标题层级对Markdown文件进行结构化分割,这种规范的结构化分割保留了文本的上下文和结构信息,这对于RAG模型来说非常重要,有助于提升文本向量化和RAG检索的效果。
#GitHub地址https://github.com/microsoft/markitdown
1. 多格式支持
MarkItDown 支持的文件格式丰富多样,涵盖了常见的办公和多媒体文件类型,包括:
PowerPoint
Word
Excel
图像(EXIF 元数据和 OCR)
音频(EXIF 元数据和语音转录)
HTML
基于文本的格式(CSV、JSON、XML)
ZIP 文件
Youtube 网址
EPubs
2. 灵活的配置选项
可选依赖项:MarkItDown 提供了多种可选依赖项,用户可以根据需要安装特定的依赖项,例如pip install markitdown[pdf, docx, pptx]只安装 PDF、DOCX 和 PPTX 文件的依赖项。
插件支持:MarkItDown 支持第三方插件,用户可以通过插件扩展其功能。插件默认是禁用的,可以通过markitdown --use-plugins命令启用。
3. 与大语言模型的集成
MarkItDown 支持与 GPT-4 等大语言模型集成,可以生成丰富的描述性输出,例如对图片的分析和描述。用户可以通过提供llm_client和llm_model参数来启用这一功能。
4. 其他特性
Docker 支持:MarkItDown 提供了 Docker 镜像,用户可以通过 Docker 快速部署和使用该工具。
命令行与 Python API:MarkItDown 提供了命令行工具和 Python API,用户可以根据需要选择使用方式。
pipinstall'markitdown[all]'
gitclonegit@github.com:microsoft/markitdown.gitcdmarkitdownpipinstall-epackages/markitdown[all]
1. 命令行使用
基本用法:将文件转换为 Markdown 格式并输出到控制台。
markitdownpath-to-file.pdf
指定输出文件:使用-o参数指定输出文件。
markitdownpath-to-file.pdf-odocument.md
管道输入:通过管道输入文件内容。
catpath-to-file.pdf|markitdown
2. Python API 使用
基本用法:在 Python 中使用 MarkItDown 进行文件转换。
frommarkitdownimportMarkItDownmd=MarkItDown(enable_plugins=False)#禁用插件result=md.convert("test.xlsx")print(result.text_content)
与大语言模型集成:使用 GPT-4 进行图片描述。
frommarkitdownimportMarkItDownfromopenaiimportOpenAIclient=OpenAI()md=MarkItDown(llm_client=client,llm_model="gpt-4o")result=md.convert("example.jpg")print(result.text_content)
3. Docker 使用
构建 Docker 镜像:
dockerbuild-tmarkitdown:latest.
运行 Docker 容器:
dockerrun--rm-imarkitdown:latest<~/your-file.pdf>output.md
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |