1 概述

Step-Back Prompting是Google DeepMind团队在论文Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models中提出的一种Prompt技术。

跟CoT要解决的问题类似，本质上都是In-Context Learning，区别在于CoT是让LLM将求解步骤分开，不要一次输出所有结果，但对于一些复杂的数理问题，如果不知道要用什么理论、公式去解决，即使一步步求解也依然无法获得正确的答案，这就是Take a Step Back这篇论文提出的动机，它通过Prompt让LLM“退后一步”，不要直接尝试解决问题，而是思考解决这个问题更高层次、更抽象的问题是什么。

例如论文中所举的例子：“理想气体的压强P，如果温度增加2倍，体积增加8倍会发生什么变化?”，即使使用CoT，LLM也依然无法回答正确，但使用Step-Back Prompting，让LLM先回忆出来理想气体公式，然后让LLM应用这个公式，问题得到顺利解决。又比如“埃斯特拉·利奥波德在1954年8月至1954年11月期间就读于哪所学校?”，这种问题在RAG中直接检索的话，很可能无法检索到正确的知识片段，但如果换成一个更抽象的问题：“埃斯特拉·利奥波德的教育历史是什么”则很有可能检索到正确片段从而正确回答问题。

作者在SituatedQA这样的文档问答QA数据集上也进行了测试，效果领先于未使用Step-Back Prompting的同类模型。

2 效果对比

虽然从理论上讲，Step-Back Prompting有其合理性，但在不同场景中效果可能未必有论文中那么好，下面是在本系列文章所构建的测试集中测试的结果，基本上是各种方法中最差的，当然这也并不能说明这个方法无效，只能说明在当前场景下它不是一个有效的优化方法。

3 核心代码

完整代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/retrieval/08_step_back_prompting.ipynb

下面核心讲解借助Step Back Prompting进行检索的chain，大致可以分为三个部分：Prompt构建、生成更抽象的问题、检索。

用于生成更抽象问题的Prompt构建：

FewShotChatMessagePromptTemplate,ChatPromptTemplate

examples=[
{
:,
:,
},
{
:,
:,
}
]

example_prompt=ChatPromptTemplate.from_messages(
[
(,),
(,)
]
)
few_shot_prompt=FewShotChatMessagePromptTemplate(
example_prompt=example_prompt,
examples=examples
)
prompt=ChatPromptTemplate.from_messages([
(
,

),
few_shot_prompt,
(,)
])

生成更抽象问题的Chain：

step_back_query_gen=(
prompt
|llm
|(ai_msg:ai_msg.content)
|(x:x.replace(,).replace(,).strip()x.lower().startswith()x)
)

试用一下：

step_back_query_gen.invoke({:})

结果：

什么是影响个人贷款违约率的主要因素？

完整的检索chain：

HuggingFaceBgeEmbeddings
Chroma

model_path=
embeddings=HuggingFaceBgeEmbeddings(
model_name=model_path,
model_kwargs={:device},
encode_kwargs={:},
query_instruction=
)

vector_db=Chroma.from_documents(
splitted_docs,
embedding=embeddings,
persist_directory=persist_directory
)
retrieve_chain=(
step_back_query_gen
|(x:vector_db.similarity_search(x,k=top_k))
)

retrieve_chain.invoke()

链载Ai

1 概述