|
今天要跟大家介绍的是斯坦福大学最新的研究项目TextGrad，一个让自动“微分”通过文本实现的强大框架！ 大家可能知道，传统的自我改进机器学习系统，比如DSPy，已经在优化AI任务方面有了一定的成就。而TextGrad则是在此基础上的进一步提升。 这个项目通过一种创新的方式工作：它将每个人工智能系统转换成一个计算图，其中变量是复杂（不一定可微）函数调用的输入和输出。 
TextGrad最特别的地方在于它对变量的反馈。这些反馈被称为“文本梯度”，以信息丰富且可解释的自然语言形式提供，告诉你应该如何修改变量来改进系统。这与传统的AutoGrad方法不同，后者需要访问神经网络层内的张量。 TextGrad之所以如此有效，是因为它结合了DSPy和一种新的基于文本的自动微分方法。第一点是DSPy，第二点是通过文本梯度进行提示优化。这种方法结合了自动微分和文本空间的优化。 微软亚洲研究院的研究表明，自动提示优化通过梯度下降和束搜索在语义空间中工作。主要是通过反馈循环生成提示，LLM评估并描述当前提示的不足之处。你可以使用两个LLM，一个作为教师（如GPT-4），另一个作为学生（如GPT-3）。 它能够识别并描述GPT-3.5在特定任务中的不足之处，然后通过一系列自我改进循环来优化提示。这种方法涉及到提示编辑，也就是根据自然语言梯度反馈来调整提示，并利用另一组LLM指令以与问题相反的语义方向修改提示。 例如，如果GPT-4指出GPT-3.5的回答中缺少一个事实，那么GPT-4会给出一个指令，要求GPT-3.5在下次回答中包含新的事实，可能是某个特定的事实，并分析先前未分析的特定部分。这种反馈过程通过自然语言梯度的描述，模拟了数值优化中的梯度下降。 以一个实例来说，初始提示可能是：“请回答一个推理问题，按步骤思考，最后一行格式为：答案：值。”通过GPT-3.5进行初次测试，准确率为77%。 经过优化后，新的提示为：“请回答一个推理问题，每个项目及其数量列出，直接求和并提供简明的总结，确保最终答案明确，格式为：{ 答案：值 }。检查每个项目的相关性并处理输入中的潜在错误或歧义，最终确认总数的准确性。”用这个提示测试后，准确率提高到92%。 这种提示优化过程不仅限于提示，还可以应用于其他优化变量，如代码片段或分子设计。这种新框架生成梯度并直接优化代码变量，而不仅仅是提示配置。 这种过程被称为自然语言梯度优化，类似于数值梯度下降，但应用于语义或语言上下文。我们不需要让GPT-3.5学习新知识，只需优化其提示配置，最大化其现有性能。在这个过程中，GPT-4作为评估者，分析并指出GPT-3.5输出中的问题，并给出相应的改进建议。 然而，我们需要注意的是，GPT-3.5只能处理一定复杂程度的任务。如果GPT-4的反馈过于复杂，GPT-3.5可能无法理解和应用。并且，这种方法需要频繁的API调用，可能会导致计算开销较大。因此，建议只在特定问题上进行一次这样的优化，以找到最佳提示结构，然后再重复使用这个提示。 最后，通过这个新方法，我们能够在没有任何示例的情况下，至少达到DSPy的性能，甚至更好。尽管这个过程仍然依赖于LLM的复杂性和因果推理能力，但它提供了一个新的思路来优化提示和其他系统变量。 TextGrad实践TextGrad不仅开源，而且易于访问。项目包含多个Jupyter笔记本，详细说明了如何将这种方法应用于各种任务，展示了相对于DSPy的显著性能改进。 我建议从第一个开始，然后进行提示优化。自己动手试试，深入了解代码，TextGrad的实现非常强大。如果你错过了DSPy的内容，现在有了TextGrad的优化和更清晰的实现。 项目使用Python编写，GitHub链接提供了详细信息。通常我们有输入、模型、损失函数和优化器。 
在TextGrad中，输入是变量，模型是黑箱LLM，损失是文本损失，我们只能操作专有LLM的输入和输出，优化器是文本梯度下降模块。 有兴趣的朋友可以去试试TextGrad，看看它如何优化你的AI任务。详细信息和实现步骤可以在项目的GitHub页面找到。 TextGrad怎么工作？斯坦福的研究团队开发了一种PyTorch代码扩展，并且它是开源的，任何人都可以使用。 简单来说，我们有两个AI系统：一个是GPT-4 Omni，另一个是我们希望优化的任何开源LLM系统。它们通过API调用来相互通信，任务是找到最佳的提示语。我们在这里进行提示工程，以在特定LLM上完成特定任务。 提示工程的重要性为什么提示工程这么重要呢？因为像GPT-3.5这样的模型已经进行了预训练、微调，并接受了行为指令和对齐，使其在回应时表现得有礼貌。这些预训练和指令同样适用于我们更智能的LLM，即我们的评估者或教师LLM。 代码实现与使用现在，我们有了一个非常简单的PyTorch扩展，能够自动完成这一过程。最终结果是，使用TextGrad编写代码一周后，发现其在逻辑推理任务中的表现显著优于DSPy。 示例代码这里有一个简短的Python程序，安装TextGrad后，你需要一个OpenAI的API密钥来使用GPT-4系统。我们要优化的是一个较不智能的系统，例如GPT-3.5。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">#安装TextGrad后，获取API密钥并运行以下代码
importtextgrad
api_key="your_openai_api_key"
system_to_optimize="gpt-3.5-20125"
textgrad.optimize(api_key,system_to_optimizeingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin-right: auto;margin-bottom: 1em;margin-left: auto;padding-right: 1em;padding-left: 1em;border-bottom: 2px solid rgb(0, 152, 116);color: rgb(63, 63, 63);">官方介绍&部署（通俗化版）下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。 TextGrad通过利用大型语言模型（LLMs）的反馈，实现了对复杂AI任务的优化。你可以把它看作是一个专门处理文本优化的PyTorch扩展，尤其在提示工程方面表现突出。 TextGrad的基本原理很简单：它通过LLMs之间的API调用，自动执行提示优化的过程，从而提升逻辑推理能力。整个过程与PyTorch的自动微分引擎AutoGrad类似，但TextGrad针对文本进行了调整。 想快速上手TextGrad？如果你熟悉PyTorch，那么你已经掌握了TextGrad 80%的内容。让我们通过一个简单的例子来走一遍关键步骤吧。 假设我们要用GPT-4来解决一个简单的推理问题：如果在太阳下晾干25件衬衫需要1小时，那么晾干30件衬衫需要多长时间？请逐步推理。 首先，我们需要获取一个初始响应： ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">importtextgradastg
tg.set_backward_engine("gpt-4o",override=True)
#Step1:GetaninitialresponsefromanLLM.
model=tg.BlackboxLLM("gpt-4o")
question_string=("Ifittakes1hourtodry25shirtsunderthesun,"
"howlongwillittaketodry30shirtsunderthesun?"
"Reasonstepbystep")
question=tg.Variable(question_string,
role_description="questiontotheLLM",
requires_grad=False)
answer=model(question)我们会得到一个初步的答案，但这个答案可能并不准确。这时候，我们可以用TextGrad来优化这个答案： ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">answer.set_role_description("conciseandaccurateanswertothequestion")
#Step2 efinethelossfunctionandtheoptimizer,justlikeinPyTorch!
#Here,wedon'thaveSGD,butwehaveTGD(TextualGradientDescent)
#thatworkswith"textualgradients".
optimizer=tg.TGD(parameters=[answer])
evaluation_instruction=(f"Here'saquestion:{question_string}."
"Evaluateanygivenanswertothisquestion,"
"besmart,logical,andverycritical."
"Justprovideconcisefeedback.")
#TextLossisanatural-languagespecifiedlossfunctionthatdescribes
#howwewanttoevaluatethereasoning.
loss_fn=tg.TextLoss(evaluation_instruction)通过反向传播和优化步骤，我们可以得到一个更精确的答案： ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">loss=loss_fn(answer)
loss.backward()
optimizer.step()
answer我们还有许多示例，展示TextGrad如何优化各种变量，如代码、问题解决方案、分子设计和提示等。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 8px;border-left: 3px solid rgb(0, 152, 116);color: rgb(63, 63, 63);">安装你可以通过pip安装TextGrad： ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">pipinstalltextgradingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 8px;border-left: 3px solid rgb(0, 152, 116);color: rgb(63, 63, 63);">资源和教程我们准备了一些教程，帮助你快速上手TextGrad。你可以通过以下链接在Google Colab上直接运行它们： | 示例 | Colab链接 | | TextGrad基本操作介绍 | ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;color: rgb(63, 63, 63);"> | | 优化代码片段和定义新的损失函数 | ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;color: rgb(63, 63, 63);"> | | 提示优化 | | | 解决方案优化 | |
|
