链载Ai

标题: ToolRerank：一种自适应和层次感知的重排方法，提高大模型使用大量工具的能力！ [打印本页]

作者: 链载Ai 时间: 5 小时前
标题: ToolRerank：一种自适应和层次感知的重排方法，提高大模型使用大量工具的能力！

工具（Tool）学习旨在通过外部工具扩展大型语言模型（LLMs）的能力。工具学习的一个主要挑战是如何支持大量工具，包括未见工具。为了应对这一挑战，以往的研究提出了基于用户查询为LLM检索合适工具的方法。然而，以前提出的方法没有考虑到已见和未见工具之间的区别，也没有考虑到工具库的层次结构，这可能导致工具检索的性能不够理想。

为了解决上述问题，提出ToolRerank，这是一种针对工具检索的自适应和层次感知重排方法，以进一步优化检索结果：

自适应截断（Adaptive Truncation），它在不同位置截断与已见和未见工具相关的检索结果，
层次感知重排（Hierarchy-Aware Reranking ），利用工具库的层次结构，它使得单工具查询的检索结果更加集中，多工具查询的检索结果更加多样化。

ToolRerank概述。使用自适应截断来在不同位置截断与已见和未见工具相关的粗粒度检索结果。使用层次感知重排进一步重排结果，使得针对单工具查询的细粒度检索结果更加集中，针对多工具查询的结果更加多样化。仅与示例1或示例2相关的执行过程分别用蓝色和红色标记。

自适应截断（Adaptive Truncation）是ToolRerank方法中的一个核心组件，它的目的是为了适应重排器（reranker）对已见（seen）和未见（unseen）工具的不同行为，通过在不同位置截断检索结果来优化性能：

不同工具的不同处理：

对于已见工具，即在训练数据中出现过的工具，自适应截断会在检索结果的较早位置进行截断，因为对于这些工具，重排器在较少的候选结果中表现更好。
对于未见工具，即在训练数据中未出现过的工具，自适应截断会在检索结果的较晚位置进行截断，因为对于这些工具，提供更多的候选结果可以提高检索性能。

阈值设置：

自适应截断设置两个不同的阈值：ms（用于已见工具）和mu（用于未见工具），其中ms < mu。
对于每个API ci，在粗粒度检索结果C中，如果工具(ci)在训练数据中已见，则当其位置i满足i ≤ ms时，将其添加到截断结果T中；如果工具(ci)未见，则当i ≤ mu时添加到T中。

层次感知重排（Hierarchy-Aware Reranking）是ToolRerank方法中的一个关键组成部分，旨在根据工具库的层次结构优化检索结果，使检索结果对于单工具查询更加集中，对于多工具查询更加多样化：

单工具查询的层次感知重排：

为了使细粒度检索结果更集中于单个工具，ToolRerank首先通过一个分类器确定查询是否为单工具查询。
如果查询是单工具查询，ToolRerank将使用一个阈值τs来选择得分高于τs的API。
如果没有这样的API，或者只有一个API满足条件，那么选择得分最高的API。
接着，ToolRerank构建一个工具集合X，包含所有选中的API所属的工具。
根据工具集合X，ToolRerank将重排结果R分为两个列表F1和F2，F1包含属于X中工具的API，F2包含其他API。
最后，将F1和F2合并得到最终的重排结果F。

多工具查询的层次感知重排：

对于多工具查询，ToolRerank希望检索结果涵盖不同工具，以提供多样化的API。
ToolRerank构建一个图G，其中节点表示R中的API，边表示API之间的层次和语义关系。
对于图中的每个连通分量G'，ToolRerank选择得分最高的n个API作为多样化结果集合S的一部分。
然后，ToolRerank将R分为F1和F2两个列表，根据API是否属于S来分配。
最终，将F1和F2合并得到重排结果F。

在ToolBench数据集上的实验结果表明，ToolRerank能够提高检索结果的质量，从而使得LLM生成的执行结果更好。

ToolBench数据集六个测试数据集上检索结果质量的比较。“N” 和 “R” 分别表示 “NDCG@5” 和 “Recall@5”。

单个工具查询的案例研究，正确的API用蓝色高亮显示

多工具查询的案例研究，正确的API用蓝色高亮显示

ToolRerank: Adaptive and Hierarchy-Aware Reranking for Tool Retrievalhttps://arxiv.org/pdf/2403.06551.pdfhttps://github.com/XiaoMi/ToolRerank

欢迎光临链载Ai (https://www.lianzai.com/)