|
一、论文的背景 在LLM所有能力中，推理能力可能是决定LLM性能的最重要方面。为此，Wei等(2022)提出了链式思维(CoT)提示，通过在提示中追加达到答案所需的中间步骤来鼓励LLM解释其推理过程，这种推理过程的解释常常可以提高结果。除CoT外,还有其他使用提示来帮助激发LLM的推理能力以便更好地解决推理问题的方法，如自我一致提示和从最少到最多提示。 值得注意的是，上述所有方法都遵循直接推理(DR)框架，即从给定事实构建逻辑链达到最终结果。然而，许多问题几乎无法通过直接推理来证明或推理，如图1所示。因此，当遇到通过直接推理难以得出结论的问题时，一个问题出现了:是否可以通过与直接推理逻辑等价的间接推理来解决问题，就像人类思维过程一样。 二、论文的方案 鉴于上述分析，论文旨在提供利用间接推理(IR)来克服直接推理局限性的新逻辑链，为实际问题提供一种替代有效的推理过程。具体来说，论文介绍了基于逻辑等价的间接推理原理，包括对偶和矛盾，这在逻辑学中已经有很好的定义。前者基于这样的事实:p→q和其对偶¬q→¬p是两个逻辑等价语句。后者对应证明反证法，即假设p→q为假,然后证明这样的假设会导致矛盾。 为了激发LLM的间接推理，论文通过在中间推理过程中设计指令或示例来设计矛盾的特殊提示，如图1所示。具体而言，为了将上述对偶和矛盾原理注入LLM，论文使用对偶等价 preprocess 数据并设计提示来引导LLM实现间接推理。因此，所提出的方法可以诱导有效的间接推理，增强LLM处理复杂推理任务的能力。 论文提出的IR方法非常简单,实现时不需要任何额外代码。此外，IR具有很好的通用性，可以直接集成到任何基于任何基础模型的现有DR方法中,用于少样本学习或零样本学习任务。因此，论文提出结合直接推理和间接推理(称为“DIR”)，以进一步提高LLM的推理能力,，其中DR和IR的结果通过简单的投票策略集成。 三、论文的效果 为了评估论文的间接推理方法的有效性，论文在事实推理和数学证明两个流行任务上广泛地实验了GPT-3.5-turbo和Gemini-pro作为基础模型。结果表明，论文提出的提示方法可以非常有效地激发LLM实现间接推理。例如，发现在事实推理和数学证明任务上，间接推理的整体准确率分别比直接推理高出27.33%和31.43%。值得一提的是，在一些复杂问题中，间接推理往往需要比直接推理更少的推理步骤。此外，论文还研究了DIR的性能，实验结果显示DIR明显优于任一单独方法。这丰富了LLM的推理路径，提高了其整体推理能力。论文的主要贡献总结如下: - 将间接推理方法，包括对偶和矛盾，引入到LLM的推理过程中。
- 设计了一系列提示模板，可以有效地激发LLM实现间接推理。论文的方法在数据预处理和间接推理过程中利用了对偶和矛盾的原理。
- 实验结果表明，在直接推理方法无法很好工作的许多问题上，论文提出的间接推理方法明显优于现有的直接推理方法。此外，将所提出的间接推理与现有的直接推理策略相结合时，可以进一步提高LLM的推理能力。
| 
