链载Ai

标题: LLM产品为什么需要混合检索？ [打印本页]

作者: 链载Ai 时间: 1 小时前
标题: LLM产品为什么需要混合检索？

在RAG（Retrieval-Augmented Generation）检索环节中，主流的检索方法是基于向量的，即通过语义相关度匹配来实现。这项技术的核心在于将外部知识库中的文档分解成语义完整的段落或句子，然后将其转换成计算机能够理解的数字形式，也就是多维向量。同时，用户提出的问题也会经过相同的转换过程，生成对应的多维向量，以便进行语义匹配和检索。

计算机能够通过语义分析来识别用户问题与文本之间的细微相关性。例如，"猫追逐老鼠"和"小猫抓老鼠"之间的语义相关度会高于"猫追逐老鼠"和"我喜欢吃冰激凌"之间的相关度。RAG系统会利用这种语义匹配能力，找到与用户问题最相关的文本内容。一旦找到，这些文本内容将与用户问题一起作为上下文信息，提供给大型语言模型，以帮助模型更准确地理解和回答问题。

ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;font-size: 14px;letter-spacing: 0.5px;text-align: start;background-color: rgb(255, 255, 255);margin-bottom: 8px;white-space-collapse: preserve !important;word-break: break-word !important;">向量检索技术不仅能够进行复杂的语义文本搜索，还具有以下优势：

语义相近词汇识别：如"老鼠"与"捕鼠器"或"谷歌"与"搜索引擎"。
多语言匹配：支持不同语言之间的语义匹配，例如中文输入匹配英文内容。
多模态兼容性：能够处理文本、图像、音视频等多种数据类型的相似性匹配。
容错能力：能够处理拼写错误或模糊描述。

然而，向量检索在某些情况下效果不佳，例如：

搜索特定名称：如人名"雷军"或产品名"小米su7"。
搜索缩写词或短语：如"RAG"或"RLHF"。
搜索ID：如"gpt-3.5-turbo"或"titan-xlarge-v1.01"。

ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;font-size: 14px;letter-spacing: 0.5px;text-align: start;background-color: rgb(255, 255, 255);margin-top: 24px;margin-bottom: 8px;white-space-collapse: preserve !important;word-break: break-word !important;">这些情况恰恰是传统关键词搜索的优势所在，关键词搜索擅长：

精确匹配：如产品名称、姓名、产品编号。
少量字符匹配：用户习惯输入少量关键词进行搜索。（通过少量字符进行向量检索时效果非常不好，但很多用户恰恰习惯只输入几个关键词）
低频词汇匹配：低频词汇往往承载重要含义。（比如“你想跟我去喝奶茶吗？”这句话中的分词，“喝”“奶茶”会比“你”“想”“吗”在句子中承载更重要的含义）

在大多数文本搜索场景中，关键是确保最相关结果出现在候选列表中。向量检索和关键词检索各有优势。

混合检索结合了这两种技术的优点，同时弥补了各自的不足。在混合检索中，需要在数据库中建立向量索引和关键词索引。用户输入问题时，两种检索器会分别在文档中检索出最相关的文本。

混合检索是一个灵活的概念，它指的是将不同的搜索技术结合起来，以提高搜索效果。本文以向量检索和关键词检索的结合为例，但混合检索并不局限于此。例如，我们可以将知识图谱技术，它擅长检索实体关系，与向量检索技术相结合。

不同的检索系统各自擅长寻找文本（段落、语句、词汇）之间不同的细微联系，这包括了精确关系、语义关系、主题关系、结构关系、实体关系、时间关系、事件关系等。可以说没有任何一种检索模式能够适用全部的情景。混合检索通过多个检索系统的组合，实现了多个检索技术之间的互补。

欢迎光临链载Ai (https://www.lianzai.com/)