最近,Google AI 推出了一款新的开源 Python 库,叫做ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(0, 152, 116);">LangExtract,就是冲着解决这个问题来的。它利用像 Gemini 这样的大语言模型(LLM),实现自动化信息抽取,而且特别强调结果的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(0, 152, 116);">可追溯性和ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(0, 152, 116);">透明性。说实话,我看到这个工具的第一反应是:这正是我们在做文本结构化时常常需要但又不容易实现的东西。
这个工具不只停留在演示层面,它在真实场景中也有很强的适应能力。比如:
我自己试了一下用它处理一段文学文本,发现它的输出不仅结构清晰,还能准确标注出每个信息来自哪一句话,体验感确实不错。
LangExtract 背后由 Gemini 驱动,同时也支持其他 LLM。它的特别之处在于,能强制输出符合你定义的结构(比如标准的 JSON 格式)。这样一来,结果不仅是准确的,还能直接接入数据库、分析系统或下游 AI 流程。
传统 LLM 经常存在“幻觉”(hallucination)和输出格式不稳定(schema drift)的问题,而 LangExtract 通过结合用户指令和原文内容,把输出“锚定”在真实文本上,有效缓解了这些问题。
我记得以前做类似项目时,光是写个可视化脚本就要花半天,现在 LangExtract 直接内置了这个功能,省了不少力气。
安装只需要一行命令:
pipinstalllangextract
下面是一个从莎士比亚文本中提取人物、情感和关系的小例子:
importlangextractaslx
importtextwrap
# 1. 定义提示词
prompt = textwrap.dedent("""
Extract characters, emotions, and relationships in order of appearance.
Use exact text for extractions. Do not paraphrase or overlap entities.
Provide meaningful attributes for each entity to add context.
""")
# 2. 提供高质量示例
examples = [
lx.data.ExampleData(
text="ROMEO. But soft! What light through yonder window breaks? It is the east, and Juliet is the sun.",
extractions=[
lx.data.Extraction(extraction_class="character", extraction_text="ROMEO", attributes={"emotional_state":"wonder"}),
lx.data.Extraction(extraction_class="emotion", extraction_text="But soft!", attributes={"feeling":"gentle awe"}),
lx.data.Extraction(extraction_class="relationship", extraction_text="Juliet is the sun", attributes={"type":"metaphor"}),
],
)
]
# 3. 对新文本进行抽取
input_text ="Lady Juliet gazed longingly at the stars, her heart aching for Romeo"
result = lx.extract(
text_or_documents=input_text,
prompt_description=prompt,
examples=examples,
model_id="gemini-2.5-pro"
)
# 4. 保存并生成可视化报告
lx.io.save_annotated_documents([result], output_name="extraction_results.jsonl")
html_content = lx.visualize("extraction_results.jsonl")
withopen("visualization.html","w")asf:
f.write(html_content)运行完之后,你会得到结构化的 JSON 输出,还有一个交互式的 HTML 页面,点开就能看到每个提取结果在原文中的位置,非常直观。
Google 团队还专门做了一个叫RadExtract的演示,专门用于结构化放射科报告,不仅能告诉你抽了什么,还能精确指出信息在原文的哪个位置,实用性很强。
总体来看,LangExtract 为从非结构化文本中提取结构化数据提供了一个新思路。它有几个让我觉得值得推荐的特点:
如果你正在做信息抽取、知识图谱构建,或者需要处理大量非结构化文本,LangExtract 值得一试。项目已经在 GitHub 开源,有教程、代码示例和 Notebook,上手门槛不高。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |