从RAG到TAG：探索表增强生成（TAG）的力量

.01

概述

在人工智能（AI）不断发展的时代，数据的交互与利用方式也随之演变。在AI驱动的数据检索领域，出现了两种重要的方法：检索增强生成（RAG）和最近崭露头角的表增强生成（TAG）。尽管RAG通过将AI与外部数据检索系统结合，实现了有效的信息获取，但TAG则通过使大型语言模型（LLM）能够直接与结构化数据库交互，提供了一种全新的范式。

在这篇文章中，我们将深入探讨TAG，分析其如何超越RAG，并介绍由TAG-Research开发的强大LOTUS库，提供一些使用LOTUS的理论代码示例。同时，我们还将探讨TAG在各个行业（包括金融）中的实际应用，展现其变革潜力。

.02

理解RAG与TAG

什么是检索增强生成（RAG）？

检索增强生成（RAG）将检索系统与LLM相结合。它使用基于向量的嵌入方法搜索和检索相关文档，然后利用这些文档增强LLM的回答。这种方法在LLM需要访问训练数据之外的最新信息时特别有效。

RAG的工作原理：

• 查询编码：用户的自然语言查询被转换为向量表示。
• 文档检索：系统在文档数据库中搜索与查询向量最相似的文档。
• 响应生成：LLM使用检索到的文档和自身知识库生成回答。

应用案例：

• 客户支持系统获取相关政策更新。
• 聊天机器人提供基于最新新闻文章的信息。

什么是表增强生成（TAG）？

表增强生成（TAG）提供了一种更直接和结构化的方法，允许LLM使用SQL或其他数据库特定查询语言查询数据库。TAG让LLM能够：

• 直接访问结构化数据：从关系数据库中检索精确的数据点。
• 处理复杂查询：管理涉及聚合、排序和多字段操作的查询。
• 综合有意义的响应：根据精确数据生成详细答案。

TAG的工作原理：

• 查询合成：LLM解释用户的自然语言查询并将其转换为SQL命令。
• 查询执行：SQL查询在数据库上执行，以检索精确数据。
• 答案生成：LLM根据查询结果生成自然语言响应。

TAG的优势：

• 精准性：直接访问结构化数据确保更高的准确性。
• 复杂性：能够处理涉及多种操作的多面查询。
• 效率：通过消除嵌入的需求，减少计算开销。

.03

为什么TAG优于RAG？

1. 直接访问结构化数据带来更高的精准度

RAG通过向量嵌入近似数据检索，这可能导致结果不够精确，尤其在处理细微查询时。相比之下，TAG直接访问结构化数据库，允许其检索精确的数据点。

示例：

• RAG：搜索“被认为是经典的高票房浪漫影片”可能会检索提到这些影片的文档，但未必提供准确的排名。
• TAG：执行SQL查询直接从数据库过滤和排名影片，确保结果准确且量身定制。

2. 处理复杂、多面查询

TAG在管理涉及多个字段和操作（如排序、过滤和聚合）的复杂查询方面表现优异，而RAG由于依赖相似度检索在这方面有所欠缺。

示例：

• 金融分析：生成季度增长排名前几的股票清单需要聚合和排序数据，而TAG能够轻松处理这些任务。
• 医疗研究：确定不同人群的某项手术的平均恢复时间涉及复杂的数据处理，更适合使用TAG。

3. 降低对嵌入的依赖

像RAG这样的基于嵌入的检索系统在处理大型数据集时可能资源密集，而TAG通过使用SQL查询直接访问数据，降低计算成本，提高速度。

优势：

• 效率：更快的数据检索，在实时环境中至关重要。
• 可扩展性：在处理大型数据集时表现更佳。

.04

引入LOTUS：增强TAG的能力

由TAG-Research开发的LOTUS库是一个强大的语义查询引擎，旨在扩展TAG的能力。它提供了一个灵活且声明式的编程模型，能够使LLM无缝交互结构化和非结构化数据。

LOTUS的关键特性

• 语义操作符：针对表格数据的自然语言处理专用函数。
• sem_filter：根据自然语言条件过滤行。
• sem_join：使用基于语言的标准连接表。
• 类似Pandas的API：提供与Pandas相似的接口，方便熟悉Python的数据科学家和工程师使用。
• 与LLM集成：与包括OpenAI在内的各种LLM配置，利用AI进行自然语言解释和数据处理。

优势：

• 简化需要对数据进行复杂推理的AI驱动应用的开发。
• 增强TAG在传统SQL能力之外处理复杂数据查询的实用性。

.05

使用Azure OpenAI SDK和LOTUS实现TAG：实践示例

为了说明TAG的实现，我们将提供使用Azure OpenAI SDK和LOTUS库的代码示例。

前提条件

• Azure账户：访问Azure OpenAI服务。
• Python环境：Python 3.6或更高版本。
• 数据库设置：访问关系数据库（例如，SQL Server、PostgreSQL）。

安装所需库

pipinstallazure-ai-openailotus-nlppyodbcpandas

设置环境

#AzureOpenAISDK
fromazure.identityimportDefaultAzureCredential
fromazure.ai.openaiimportOpenAIClient

#LOTUSLibrary
importlotus
#DatabaseLibraries
importpyodbc
importpandasaspd
#SetupAzureOpenAIClient
endpoint="https://your-openai-resource.openai.azure.com/"
credential=DefaultAzureCredential()
openai_client=OpenAIClient(endpoint=endpoint,credential=credential)
#SetupLOTUSwithOpenAILLM
llm=lotus.OpenAI(azure_openai_client=openai_client)
#DatabaseConnection
conn=pyodbc.connect(
'DRIVER={ODBCDriver17forSQLServer};'
'SERVER=your_server;DATABASE=your_database;UID=your_usernameWD=your_password'
)```

将数据加载到LOTUS

假设我们有一个电影表：

#LoaddataintoaPandasDataFrame
movies_df=pd.read_sql_query("SELECT*FROMmovies",conn)

#CreateaLOTUStable
movies_table=lotus.Table.from_dataframe(movies_df,name="movies",llm=llm)```

示例1：寻找高票房浪漫经典

自然语言查询：

“列出票房最高的前5部被认为是经典的浪漫影片。”

使用LOTUS：

#Applysemanticfilter
filtered_movies=movies_table.sem_filter("genreisromanceandisconsideredaclassic")

#Sortandselecttop5
top_movies=filtered_movies.sort_values(by="box_office",ascending=False).head(5)
print(top_movies[['title','box_office']])

解释：

• sem_filter：利用LLM解释自然语言条件。
• 排序和选择：标准的Pandas操作。

示例2：复杂的金融查询

让我们在金融背景下展示TAG的一个示例用例。

自然语言查询：

“识别上个季度收入增长超过20%且市盈率低于15的科技公司。”

实现：

#Loadfinancialdata
stocks_df=pd.read_sql_query("SELECT*FROMstocks",conn)
stocks_table=lotus.Table.from_dataframe(stocks_df,name="stocks",llm=llm)

#Applysemanticfilter
filtered_stocks=stocks_table.sem_filter(
"sectoristechnologyandrevenuegrowthlastquarterabove20%andP/Eratiobelow15"
)
print(filtered_stocks[['company_name','revenue_growth','pe_ratio']])

解释：

• 直接交互：TAG借助LOTUS允许直接查询复杂条件。
• 不需要复杂的SQL：自然语言条件就足够了。

.06

TAG的实际应用

1. 医疗和医学研究

用例：

查询：“找出50-60岁患者在X手术后的平均恢复时间。”

TAG优势：直接查询各个维度的患者数据，确保分析准确和相关。

实现：

#Assumingpatient_data_tableisaLOTUStable
filtered_patients=patient_data_table.sem_filter(
"agebetween50and60andunderwentProcedureX"
)

average_recovery=filtered_patients['recovery_time'].mean()
print(f"AverageRecoveryTime:{average_recovery}days")

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;">2. 客户支持

用例：

查询：“找出客户投诉的主要问题。”

TAG优势：通过分析客户支持表，识别投诉模式。

实现：

#Assumingcustomers_tableisaLOTUStable
high_value_customers=customers_table.sem_filter(
"purchasesover$1,000lastmonthandhighengagement"
)

print(high_value_customers[['customer_id','total_purchases','engagement_score']])

.07

结语

表增强生成（TAG）正快速成为AI驱动数据检索的新标准，通过直接与结构化数据交互，提升了准确性和处理复杂查询的能力。通过LOTUS库的引入，TAG进一步扩展了其潜力，使开发人员能够构建高效的、基于数据的应用程序，满足不断增长的行业需求。

随着企业在利用数据获取竞争优势的过程中，TAG的实施将不仅限于提升用户体验，更将成为推动行业创新的核心驱动力。在金融、医疗和客户支持等领域，TAG的实际应用展现了其变革性的潜力，未来将为更多行业的数字化转型铺平道路。