告别提示工程，未来属于DSPy（上）

显示全部楼层

介绍DSPy框架的核心概念、编程模型、编译器功能，并通过简单的示例展示其应用。

在构建基于大型语言模型（LLMs）的应用程序时，我们常面临复杂性和脆弱性的双重挑战。这些应用程序通常依赖于手工调整的提示（prompts），对任何改动都非常敏感。为了应对这一难题，DSPy框架应运而生，它通过编程而非手工提示来增强应用程序的稳定性。

本文简要介绍DSPy框架的核心概念、编程模型、编译器功能，并通过简单的示例展示其应用。

1 DSPy介绍

DSPy（发音为“dee-es-pie”）是由斯坦福NLP团队开发的一个创新框架，专注于利用基础模型进行编程。与传统依赖手工提示的方法不同，DSPy强调通过编程来构建基于语言模型（LM）的应用，从而提高应用的稳定性和可靠性。

该框架通过分离程序的信息流和步骤参数（包括提示和模型权重），为构建基于LM的应用提供了一种系统化的解决方案。DSPy能够自动优化程序，以适应特定任务的提示或微调需求。

DSPy的核心特性包括：

签名（Signatures）：用以抽象和替代传统的手写提示和微调过程，让开发者能够专注于定义任务的预期结果，而非具体的提示方式。
模块（Modules）：将诸如链式思维（Chain of Thought）或ReAct等提示技术封装成模块，简化了提示策略的实现和应用。
远程提示器（Teleprompters）与DSPy编译器：自动化了提示工程，开发者无需手动进行复杂的提示设计，DSPy编译器会根据设定的优化目标自动调整提示策略。

使用DSPy框架构建基于大型语言模型（LLM）的应用程序，其工作流程与训练神经网络颇为相似。以下是构建过程的简要步骤：

收集数据集：需要准备一些输入输出示例（如问题与答案对），这些数据将用于后续流程的优化。
编写DSPy程序：利用DSPy的签名和模块功能，定义程序逻辑和组件间信息流动，以完成特定任务。
定义验证逻辑：设置验证指标和优化器（远程提示器），以优化程序性能。
编译DSPy程序：DSPy编译器将综合训练数据、程序代码、优化器和验证指标，自动优化程序，包括调整提示或进行微调。
迭代改进：不断通过优化数据、程序或验证逻辑来重复这一过程，直至达到满意的性能水平。

1.1 比较DSPy、LangChain和LlamaIndex

LangChain、LlamaIndex和DSPy均为辅助开发者构建基于语言模型（LM）应用的框架，但它们在实现方式上存在很大差异。LangChain和LlamaIndex通常依赖于提示模板，这让应用对组件的任何变动都非常敏感。与此不同，DSPy通过将流程构建的重点从提示操作转移到更接近传统编程的方式，提供了一种更为稳固的方法。

DSPy的独特之处在于其新引入的编译器功能，这一功能能够在你更改应用程序的任何部分——无论是语言模型还是数据——时，自动消除了额外的提示工程或微调需求。开发者只需重新编译程序，即可轻松优化流程以适应新的变更。这样的设计大幅减少了开发工作量，使得DSPy在性能上能够与LangChain或LlamaIndex相媲美，甚至在某些情况下更胜一筹。

尽管LangChain和LlamaIndex已在开发者社区中广为人知，但DSPy作为一种新兴的替代方案，正迅速在该领域内获得关注和兴趣。

1.2 DSPy与PyTorch的联系

具有数据科学背景的用户在使用DSPy时，可能会迅速发现它与PyTorch在语法上的相似之处。

正如在PyTorch中可以灵活组合各种通用模块来构建神经网络模型，DSPy同样允许开发者在任何基于语言模型（LM）的应用中自由组合模块。此外，DSPy程序的编译过程，其中涉及自动优化模块参数，与PyTorch中使用优化器训练神经网络的过程颇为相似，都是通过自动化手段来调整模型的参数。

下表总结了PyTorch和DSPy之间的类比：

2 DSPy编程模型详解

2.1 签名：抽象提示和微调

在DSPy框架中，每次调用语言模型（LM）时都必须使用自然语言签名，这种签名取代了传统的手工编写提示。签名本质上是一个简短的函数，它定义了需要执行的转换任务，而不是具体如何向LM发出指令（例如，“consume questions and context and return answers”）。

这种签名机制简化了程序的编写，它以输入和输出字段的组合形式存在，构成了签名的最简结构。

以下是一些常见的简写语法示例：

"question->answer"

"long-document->summary"

"context,question->answer"

这些简写通常已足够使用。但在需要更细致控制的情况下，可以采用更详细的签名定义方式，这时签名由三个主要部分组成：

LM需要解决的子任务的描述。
输入字段的详细描述。
输出字段的详细描述。

例如，一个完整的签名定义可能如下所示：

classGenerateAnswer(dspy.Signature):
"""Answerquestionswithshortfactoidanswers."""
context=dspy.InputField(desc="maycontainrelevantfacts")
question=dspy.InputField()
answer=dspy.OutputField(desc="oftenbetween1and5words")

与手工编写的提示不同，DSPy的签名可以通过示例引导自动编译成自我改进和适应流程的提示或微调，从而提高了程序的灵活性和效率。

2.2 模块：抽象提示技术

在DSPy中，模块化和参数化的设计理念使得各种提示技术得以抽象化，从而简化了将签名适应于具体任务的过程。这些模块能够应用提示、微调、增强和推理技术，以实现对DSPy签名的有效处理。

例如，ChainOfThought模块可以接受签名，并在处理输入时应用链式思维策略。以下是两种将签名传递给ChainOfThought模块的方法：

选项1：使用最小签名

generate_answer=dspy.ChainOfThought("context,question->answer")

选项2：使用完整签名

generate_answer=dspy.ChainOfThought(GenerateAnswer)

在特定输入上调用模块时，可以像这样操作：

pred=generate_answer(context="WhichmeantlearningLisp,sinceinthosedaysLispwasregardedasthelanguageofAI.",
question="Whatprogramminglanguagedidtheauthorlearnincollege?")

DSPy还提供了其他几个模块，包括但不限于：

dspy.Predict：处理输入输出字段，生成指令，并为指定签名创建模板。
dspy.ChainOfThought：继承自Predict，增加链式思维处理功能。
dspy.ChainOfThoughtWithHint：提供推理提示选项，增强ChainOfThought模块。
dspy.MultiChainComparison：增加多重链比较功能。
dspy.Retrieve：从检索模块检索信息。
dspy.ReAct：组合思考、行动和观察的步骤。

这些模块可以组合使用，通过继承dspy.Module并定义__init__和forward方法来实现复杂的信息流控制。例如，RAG类可以这样定义：

classRAG(dspy.Module):
def__init__(self,num_passages=3):
super().__init__()
self.retrieve=dspy.Retrieve(k=num_passages)
self.generate_answer=dspy.ChainOfThought(GenerateAnswer)

defforward(self,question):
context=self.retrieve(question).passages
prediction=self.generate_answer(context=context,question=question)
returndspy.Prediction(context=context,answer=prediction.answer)

这样的设计不仅提高了代码的可读性和可维护性，还让整个处理流程更加直观和灵活。