链载Ai

标题: 从RAG到TAG：探索表增强生成（TAG）的力量 [打印本页]
作者: 链载Ai    时间: 昨天 11:50
标题: 从RAG到TAG：探索表增强生成（TAG）的力量

.01

概述
在人工智能（AI）不断发展的时代，数据的交互与利用方式也随之演变。在AI驱动的数据检索领域，出现了两种重要的方法：检索增强生成（RAG）和最近崭露头角的表增强生成（TAG）。尽管RAG通过将AI与外部数据检索系统结合，实现了有效的信息获取，但TAG则通过使大型语言模型（LLM）能够直接与结构化数据库交互，提供了一种全新的范式。
在这篇文章中，我们将深入探讨TAG，分析其如何超越RAG，并介绍由TAG-Research开发的强大LOTUS库，提供一些使用LOTUS的理论代码示例。同时，我们还将探讨TAG在各个行业（包括金融）中的实际应用，展现其变革潜力。

.02

理解RAG与TAG
什么是检索增强生成（RAG）？
检索增强生成（RAG）将检索系统与LLM相结合。它使用基于向量的嵌入方法搜索和检索相关文档，然后利用这些文档增强LLM的回答。这种方法在LLM需要访问训练数据之外的最新信息时特别有效。
RAG的工作原理：
应用案例：

什么是表增强生成（TAG）？
表增强生成（TAG）提供了一种更直接和结构化的方法，允许LLM使用SQL或其他数据库特定查询语言查询数据库。TAG让LLM能够：
TAG的工作原理：
TAG的优势：

.03

为什么TAG优于RAG？
1. 直接访问结构化数据带来更高的精准度
RAG通过向量嵌入近似数据检索，这可能导致结果不够精确，尤其在处理细微查询时。相比之下，TAG直接访问结构化数据库，允许其检索精确的数据点。
示例：
2. 处理复杂、多面查询
TAG在管理涉及多个字段和操作（如排序、过滤和聚合）的复杂查询方面表现优异，而RAG由于依赖相似度检索在这方面有所欠缺。
示例：
3. 降低对嵌入的依赖
像RAG这样的基于嵌入的检索系统在处理大型数据集时可能资源密集，而TAG通过使用SQL查询直接访问数据，降低计算成本，提高速度。
优势：

.04

引入LOTUS：增强TAG的能力
由TAG-Research开发的LOTUS库是一个强大的语义查询引擎，旨在扩展TAG的能力。它提供了一个灵活且声明式的编程模型，能够使LLM无缝交互结构化和非结构化数据。
LOTUS的关键特性
优势：

.05

使用Azure OpenAI SDK和LOTUS实现TAG：实践示例
为了说明TAG的实现，我们将提供使用Azure OpenAI SDK和LOTUS库的代码示例。
前提条件
安装所需库
pipinstallazure-ai-openailotus-nlppyodbcpandas
设置环境
#AzureOpenAISDK
fromazure.identityimportDefaultAzureCredential
fromazure.ai.openaiimportOpenAIClient

#LOTUSLibrary
importlotus
#DatabaseLibraries
importpyodbc
importpandasaspd
#SetupAzureOpenAIClient
endpoint="https://your-openai-resource.openai.azure.com/"
credential=DefaultAzureCredential()
openai_client=OpenAIClient(endpoint=endpoint,credential=credential)
#SetupLOTUSwithOpenAILLM
llm=lotus.OpenAI(azure_openai_client=openai_client)
#DatabaseConnection
conn=pyodbc.connect(
'DRIVER={ODBCDriver17forSQLServer};'
'SERVER=your_server;DATABASE=your_database;UID=your_usernameWD=your_password'
)```
将数据加载到LOTUS
假设我们有一个电影表：
#LoaddataintoaPandasDataFrame
movies_df=pd.read_sql_query("SELECT*FROMmovies",conn)

#CreateaLOTUStable
movies_table=lotus.Table.from_dataframe(movies_df,name="movies",llm=llm)```
示例1：寻找高票房浪漫经典
自然语言查询：
“列出票房最高的前5部被认为是经典的浪漫影片。”
使用LOTUS：
#Applysemanticfilter
filtered_movies=movies_table.sem_filter("genreisromanceandisconsideredaclassic")

#Sortandselecttop5
top_movies=filtered_movies.sort_values(by="box_office",ascending=False).head(5)
print(top_movies[['title','box_office']])
解释：
示例2：复杂的金融查询
让我们在金融背景下展示TAG的一个示例用例。
自然语言查询：
“识别上个季度收入增长超过20%且市盈率低于15的科技公司。”
实现：
#Loadfinancialdata
stocks_df=pd.read_sql_query("SELECT*FROMstocks",conn)
stocks_table=lotus.Table.from_dataframe(stocks_df,name="stocks",llm=llm)

#Applysemanticfilter
filtered_stocks=stocks_table.sem_filter(
"sectoristechnologyandrevenuegrowthlastquarterabove20%andP/Eratiobelow15"
)
print(filtered_stocks[['company_name','revenue_growth','pe_ratio']])
解释：

.06

TAG的实际应用
1. 医疗和医学研究
用例：
查询：“找出50-60岁患者在X手术后的平均恢复时间。”
TAG优势：直接查询各个维度的患者数据，确保分析准确和相关。
实现：
#Assumingpatient_data_tableisaLOTUStable
filtered_patients=patient_data_table.sem_filter(
"agebetween50and60andunderwentProcedureX"
)

average_recovery=filtered_patients['recovery_time'].mean()
print(f"AverageRecoveryTime:{average_recovery}days")
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;">
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;">2. 客户支持
用例：
查询：“找出客户投诉的主要问题。”
TAG优势：通过分析客户支持表，识别投诉模式。
实现：
#Assumingcustomers_tableisaLOTUStable
high_value_customers=customers_table.sem_filter(
"purchasesover$1,000lastmonthandhighengagement"
)

print(high_value_customers[['customer_id','total_purchases','engagement_score']])

.07

结语
表增强生成（TAG）正快速成为AI驱动数据检索的新标准，通过直接与结构化数据交互，提升了准确性和处理复杂查询的能力。通过LOTUS库的引入，TAG进一步扩展了其潜力，使开发人员能够构建高效的、基于数据的应用程序，满足不断增长的行业需求。
随着企业在利用数据获取竞争优势的过程中，TAG的实施将不仅限于提升用户体验，更将成为推动行业创新的核心驱动力。在金融、医疗和客户支持等领域，TAG的实际应用展现了其变革性的潜力，未来将为更多行业的数字化转型铺平道路。





欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5