背景

随着业务的不断扩展，我们的后台系统菜单项必定也会随着不断增加，这可能会给用户在寻找特定功能菜单时带来困扰。

进一步复杂化的是，不同子模块或者不同业务项目的菜单名存在命名模糊或相近的现象。

考虑到当前OpenAI的流行趋势，可以考虑利用 Text-Embedding 文本嵌入的方式来实现智能检索，以进一步提升用户体验和便利性。

基于此场景，本文会介绍搜索实践的两种方案：

1、利用LangChain，通过代码编排链路的方式来实现RAG检索

2、利用DIFY工作流，通过可视化配置工作流的方式来实现RAG检索

嵌入模型与知识库

我们知道智能检索（Retrieval）的效果主要取决于使用的嵌入模型的质量以及知识库的内容。

这里我们先假设用户的输入均符合常理，非胡乱输入（在检索中会做过滤）。

1、嵌入模型（Embedding）：指知识库文档嵌入处理的大模型，检索和导入知识库时均会使用该Embedding模型进行向量化处理。

这里我们使用OpenAI的嵌入大模型：text-embedding-3-large

附上一篇官方介绍的嵌入模型对比介绍文档：ada v2 VS text-embedding-3

(https://openai.com/index/new-embedding-models-and-api-updates/)

2、知识库（Knowledge base）：指一系列紧密关联且始终保持更新的知识集合，它构成了 RAG 的核心基础。

在本次的实践中，该知识库即为我们在后台所导出的前端菜单路由数据。

而通常在使用搜索功能时，用户会输入的主要有以下几种情况：关键词检索、拼音检索、语义相似词检索、口语表达检索等

故我们可以简单定下需要整理的菜单知识库维度：

菜单名称

父级目录

拼音全拼

拼音首拼

菜单路径

菜单描述

知识库的整理

在整理知识库的过程中，主要分三步，其中：

1、菜单名称、父级目录、菜单路径我们可以通过爬取接口的方式导出有效数据

2、拼音全拼、拼音首拼可以借助第三方拼音库批量生成

3、菜单描述，由于在前期的后台开发中，并没有维护菜单描述这个内容，那么是时候借助AI的能力啦

利用 LangChain + GPT3.5 遍历菜单批量生成菜单描述：

constprompt=PromptTemplate.fromTemplate(`#角色你是一位后台管理菜单的详细描述专家。你的主要职责是根据给定的父级目录名称以及菜单名称，生成简洁且准确的后台菜单描述。##技能###技能1：生成后台菜单的描述信息-根据提供的父级目录：<{parent_menu}>和菜单名称：<{menu}>，为该后台菜单构建一段不超过40个字的描述信息。-在描述信息中，应包括该菜单所能执行的主要操作。##限制-你返回的信息不能包含任何换行或者换行符。-父级目录和菜单名称在<>中。-描述信息必须用中文回答并且不超过40个字。-只处理与后台菜单描述信息相关的问题。如果用户询问了其他问题，不要回答。-对于未指定的信息，根据菜单名称推测其功能。{format_instructions}`);

在LangChain的一通操作后，生成的内容某种程度上还是符合预期的。

后续则可以直接在已生成内容的基础上再进行调整，也更加方便。

使用LangChain实现

在完成知识库的整理及嵌入模型的选型之后，我们再来看看如何实现内容的检索。

LangChain：LangChain 是一个开源编排框架，用于使用大型语言模型(LLM) 开发应用程序。

简单来说整个编排的流程分为4步

1、构建提示工程：定义提示词Prompt跟解析器Parser

（1）扩展搜索词组：解析用户的输入，拆解分词、扩展额外的搜索可能

（2）解析器：定义返回值的规范格式，这里利用官方提供的zodSchema例子

//2.1提示词consttask=`{format_instructions}Givenaquery,Expandtheprocessedwordsbytransformingsynonymsortranslatingtograsptheuser'sintentmoreprecisely.AnswerinChinese.ReturntheArray,thelengthofthearrayshouldbelessthan2.Thisisthequery:{query}Answer:`;//2.2解析器constparser=StructuredOutputParser.fromZodSchema(z.object({menuArray:z.array(z.string()).describe(''),}),);

2、构建查询链：利用LangChain提供的RunnableSequence顺序链连接：提示模板、LLM大模型、解析器

constchain=RunnableSequence.from([newPromptTemplate({template:task,inputVariables:['query'],partialVariables:{format_instructions:parser.getFormatInstructions()},}),newOpenAI({azureOpenAIApiKey:AZURE_API_KEY,azureOpenAIApiInstanceName:AZURE_INSTANCE_NAME,azureOpenAIApiDeploymentName:AZURE_DEPLOYMENT_16K_NAME,azureOpenAIApiVersion:AZURE_VERSION,temperature:0,modelName:'gpt-4',maxTokens:4096,}),parser,]);

3、知识库的嵌入存储：比如 Pinecone，云原生的向量数据库，利用langchain的pinecone第三方库，可将目录数据以Document的格式进行嵌入存储，不同的第三方库对接方式不同。

4、RAG检索：根据扩展的搜索词组，进行Retriever检索（余弦相似度的结果），并根据相似度分数过滤搜索结果，

最终根据分数进行排序返回 TOPK 结果，这里K取值3