教程 | 使用大模型从图片中提取结构化数据

显示全部楼层

在快速发展的人工智能领域，将视觉功能集成到大型语言模型中，可以用于解读图片语义，从图片中提取出结构化数据。

一、环境配置

在Python中调用大模型，先要配置好相应的环境。

1.1 安装python包


pip3 install ollama
pip3 install pydantic
pip3 install instructor

1.2 安装Ollama

Ollama是一款开源应用程序，可让您使用 MacOS、Linux 和 Windows 上的命令行界面在本地运行、创建和共享大型语言模型。

Ollama 可以直接从其库中访问各种 LLM，只需一个命令即可下载。下载后，只需执行一个命令即可开始使用。这对于工作量围绕终端窗口的用户非常有帮助。Ollama的安装、配置、使用的详细教程可阅读 教程 | 如何使用 Ollama 下载 & 使用本地大语言模型

1.3 安装大模型

截止2025.2.22，在Ollama网站中公开的视觉类大模型有7个，这里简单介绍其中的两个

llama3.2-vision更擅长识别图片中的英文信息
minicpm-v 模型基于qwen，更擅长识别图片中的中文信息

打开命令行cmd(在mac中对应terminal) ，执行安装命令


ollama pull llama3.2-vision:11b
ollama pull minicpm-v:8b

1.4 启动Ollama服务

打开命令行cmd(在mac中对应terminal) ，执行启动服务命令


ollama serve

二、实验代码

2.1 非结构化输出

截图的文件名test_screen.png


importollama


#论文的截图文件 test_screen.png
#注意，代码文件与截图文件同处于一个文件夹内

response = ollama.chat(
  model='minicpm-v', 
  messages=[{
   'role':'user',
   'content':'这是一篇什么领域的论文？',
   'images': ['test_screen.png']
  }]
)

print(response)

Run


ChatResponse(model='minicpm-v', created_at='2025-02-22T13:11:25.766017Z',done=True, done_reason='stop', total_duration=12956488125, load_duration=819433041, prompt_eval_count=461, prompt_eval_duration=9630000000, eval_count=147, eval_duration=2499000000, message=Message(role='assistant', content='这张图片是关于一篇题为“开或关在轨：如何（破碎）的线索影响消费者决策”的文章标题页。该文章由杰基·西尔弗曼和亚历山德拉·巴拉斯奇撰写，探讨了消费者行为的新技术追踪的后果。研究发现，在七项研究中，持续的行为轨迹会引发高消费后的强化，并且如果打破了这些轨迹，则会产生相反的效果，从而影响消费者的决策。所用的研究方法包括跟踪、行为分析以及追踪和监测等工具和技术，以了解线索对不同领域（如体育、学习）的影响。关键词列出了文章的焦点领域：断路器、行为追踪和记录、消费者动机、参与度。', images=None, tool_calls=None))

2.2 结构化输出

设计更详细的提示prompt，通过使用typing和pydantic设计数据结构，输出为字典类数据。


importinstructor
importos
fromtypingimportList
frompydanticimportBaseModel


PROMPT ="""请分析提供的图片，并从中提取以下信息：
- 标题(title)
- 学科(subject)
- 领域(field)


请以如下格式返回结果：
{
  "title": "论文的标题",
  "subject": "论文所属学科",
  "field": "论文的研究领域",
}"""


#本地已安装大模型minicpm-v
model_name ='minicpm-v'
base_url ='http://127.0.0.1:11434/v1'
api_key ='NA'


#论文的截图文件test_screen.png
#注意，代码文件与截图文件同处于一个文件夹内
image = instructor.Image.from_path("test_screen.png")




client = instructor.from_openai(
    OpenAI(
      base_url=base_url,
      api_key=api_key, # required, but unused
    ),
    mode=instructor.Mode.JSON,
)


classPaper(BaseModel):
  title: str
  subject: List[str]
  field: List[str]




# Create structured output
result = client.chat.completions.create(
  model=model_name,
  messages=[
    {"role":"asistant","content": PROMPT},
    {"role":"user","content": image},
  ],
  response_model = Paper,
  temperature=0.0
)


result.model_dump()

Run


{'title':'On or Off Track: How (Broken) Streaks Affect Consumer Decisions',
'subject': ['streaks, behavioral tracking and logging, technology, goals and motivation'],
'field': ['consumer behavior','marketing research','engagement strategies']}

三、讨论

大邓测试发现结构化输出很容易出错，相比之下非结构化输出更稳定一些。