链载Ai

标题: 谷歌开源结构化信息提取神器!4K Star,精准定位 交互式可视化! [打印本页]

作者: 链载Ai    时间: 3 小时前
标题: 谷歌开源结构化信息提取神器!4K Star,精准定位 交互式可视化!

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在医疗、法律、金融等领域,非结构化文本(如临床记录、报告、合同)中蕴含着宝贵信息,但手动提取费时费力,传统NLP工具又需复杂训练。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">谷歌最新开源的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(66, 166, 100);">LangExtract为这一难题提供了优雅的解决方案。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(66, 166, 100);">LangExtract是一款高精度信息抽取工具,本质是一个开源Python库,利用大型语言模型,从长文档中自动提取结构化信息,并且提供可视化来源定位。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">它旨在帮助开发者将原始文本转换为有序的、机器可读的数据,而无需进行模型微调或具备深厚的机器学习专业知识。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">GitHub:https://github.com/google/langextract

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(66, 166, 100);">核心功能

快速上手

几分钟内即可快速上手LangExtract!LangExtract可以通过pip轻松安装:

pipinstalllangextract

对于独立环境,建议使用虚拟环境:

python -m venv langextract_env
sourcelangextract_env/bin/activate # 在Windows上: langextract_env\Scripts\activate
pip install langextract

设置API密钥

LangExtract默认使用如Gemini这样的云托管模型,这些模型需要API密钥。你可以从AI Studio获取Gemini模型的API密钥。

推荐通过.env文件设置API密钥:

# 将API密钥添加到.env文件
echo"LANGEXTRACT_API_KEY=your-api-key-here"> .env
# 保护你的API密钥
echo'.env'>> .gitignore

基本提取流程

让我们通过一个简单的提取任务来展示LangExtract的核心功能。

  1. 1. 导入库
importlangextractaslx
importtextwrap

  1. 2. 定义提取任务

创建一个清晰的提示词来描述你想要提取的内容,并提供示例来引导模型:

# 明确定义要提取的内容
prompt = textwrap.dedent("""\
按出现顺序提取角色、情感和关系。
使用确切文本进行提取。不要改写或重叠实体。
为每个实体提供有意义的属性以增加上下文。""")

# 提供示例来引导模型
examples = [
lx.data.ExampleData(
text="ROMEO. But soft! What light through yonder window breaks? It is the east, and Juliet is the sun.",
extractions=[
lx.data.Extraction(
extraction_class="character",
extraction_text="ROMEO",
attributes={"emotional_state":"wonder"}
),
lx.data.Extraction(
extraction_class="emotion",
extraction_text="But soft!",
attributes={"feeling":"gentle awe"}
),
lx.data.Extraction(
extraction_class="relationship",
extraction_text="Juliet is the sun",
attributes={"type":"metaphor"}
),
]
)
]

  1. 3. 运行提取

将你的输入文本和提示词材料传递给lx.extract函数:

# 你要处理的输入文本
input_text ="Lady Juliet gazed longingly at the stars, her heart aching for Romeo"

# 运行提取
result = lx.extract(
text_or_documents=input_text,
prompt_description=prompt,
examples=examples,
model_id="gemini-2.5-flash", # 推荐的默认模型
)

extract()函数处理所有复杂性,包括:

  1. 4. 可视化结果

LangExtract可以轻松可视化你的提取数据,并与源文本进行验证:

# 将结果保存到JSONL文件
lx.io.save_annotated_documents([result], output_name="extraction_results.jsonl")

# 生成交互式HTML可视化
html_content = lx.visualize("extraction_results.jsonl")
withopen("visualization.html","w")asf:
f.write(html_content)

这将创建一个交互式HTML文件,突出显示原始文本上下文中的每个提取内容,便于验证和探索你的结果。

对于长文档,LangExtract提供高级选项以提升性能:

# 使用优化设置处理长文本
result = lx.extract(
text_or_documents="https://www.gutenberg.org/files/1513/1513-0.txt", # Romeo & Juliet的URL
prompt_description=prompt,
examples=examples,
model_id="gemini-2.5-flash",
extraction_passes=3, # 通过多次传递提高召回率
max_workers=20, # 并行处理以提升速度
max_char_buffer=1000 # 较小的上下文以提高准确性
)

更多高级用法和详细示例,请查看项目文档进行参考学习。

典型应用场景

写在最后

LangExtract以其精准来源定位和交互式HTML可视化,革新了非结构化文本的结构化提取流程。支持Gemini/Ollama,处理临床记录、长文档等。

其基于大语言模型的理解能力和智能处理机制,为用户提供高效、可靠的信息提取体验






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5