Alibaba发布：可编辑CoT，超越ReAct20%

本期介绍的是一个Cot思维连框架Verify-and-Edit (VE)。该框架通过根据外部知识对推理链进行后期编辑来提高预测的事实性。

Cot思维连的作用

• 思维链 (CoT) 能够改善需要复杂推理的任务的性能，例如数学文字题、常识推理和符号操作。 同时，它能够生成可解释的推理链。

为什么要编辑CoT思维连

• 提高 CoT 的质量可以有利于提高可解释性和最终任务的性能。
• 人类认为好的解释通常意味着更准确的预测。 因此，更好的 CoT 提示集可以提供更好的基础和逻辑一致的思维过程，从而导致更准确的预测。
• 为了缓解LLM的幻觉问题，提高生成质量，一个重要的方面是保证事实正确性
• Verify-and-Edit (VE) 框架通过对后期编辑推理链以获得更符合事实的预测

Verify-and-Edit (VE)是如何编辑Cot思维连

一共五个步骤：

1. chain-of-thought:将一致性低于平均水平的预测传递到下一阶段，同时保持高度一致的预测不变；
2. verify:生成验证问题；
3. External knowledge Retrieval:检索外部知识；
4. Edit Rationales:使用有根据的答案编辑理由；
5. new prediction: 生成新的预测。

用例子解释一下：

• 句子John Nyskohus 为挪威足球队 Odd Greenland 效力。
• 在编辑时，首先生成一个问题来验证此细节，例如John Nyskohus 为哪个球队效力？
• 然后，为了回答这个问题，通过开放域检索系统引入外部知识。 例如，事实John Nyskohus … 为阿德莱德城效力……在此实例中被检索到。
• 然后，通过在提示中提供检索到的事实作为记忆，对基本原理进行编辑。
• 因此，可以根据检索到的事实更新编辑。
• 给定编辑后的基本原理，会生成新的预测，该预测考虑了更多与事实一致的推理轨迹。

Verify-and-Edit (VE)推理的伪代码如下：

Verify-and-Edit VS ReAct

Verify-and-Edit 比 ReAct精准度提高了20%