链载Ai

标题: DSPy Visualizer：可视化Prompt优化过程 [打印本页]

作者: 链载Ai 时间: 6 小时前
标题: DSPy Visualizer：可视化Prompt优化过程

通过示例和源码解析的方式对Optimizer类进行了详细解读，本文将从示例和可视化方式，观测DSPy是如何对Prompt进行优化的。

DSPy是开源社区比较有影响力的大模型提示词、参数调优仓库，使得用户以一种编程的方式，调整和优化大模型模板和参数。DSPy的设计思想借鉴了Torch，使得Torch的使用者可以很快的理解DSPy的使用方式。

使用Torch时，研究人员往往会使用Tensorboard等可视化工具来直观的查看模型的训练情况，那么是否有适配DSPy优化过程的可视化工具呢？答案是Yes，本文将首先介绍带有DSPy优化器的优化示例，然后使用 langwatch 仓库提供的DSPy Visualizer 查看具体的优化过程，包括显示每个优化步骤的Predictior、Example、大模型调用内容等。

1. 安装

在使用DSPy Visualizer之前，需要确保已经安装了langwatch 以及 dspy 的python包。

pipinstalldspy-ai==2.4.12pipinstalllangwatch

2. 编写DSPy程序

本示例将编写简单的优化器使用示例，如图-1所示，DSPy的优化流程需要准备数据集、程序主体、优化器以及衡量指标，然后在固定数据集合衡量指标的情况下，调整程序主体和算法以达到优化的目的，具体步骤如下：

图-1 DSPy 优化流程

1）获取数据集，本示例中通过导入方式获取训练集和测试集。

importdspyfromget_datasetimportcustom_trainsetastrain_setfromget_datasetimportcustom_testsetastest_set

2）导入衡量指标以及优化器，本示例中使用基本的 BootstrapFewShot优化器。

fromdspy.datasets.gsm8kimportgsm8k_metricfromdspy.telepromptimportBootstrapFewShot

3）定义大模型配置，本示例中使用了 ollama 启动的本地llama3模型服务。

#定义并设置大模型model_name='llama3'lm=dspy.OllamaLocal(model=model_name)dspy.settings.configure(lm=lm)

4）定义程序主体（Module），程序主体包含初始化（__init__）以及推理（forward）两部分逻辑，使用了dspy.ChainOfThought思维模式实现推理过程。

classCoT(dspy.Module):def__init__(self):super().__init__()self.prog=dspy.ChainOfThought("question->answer")
defforward(self,question):returnself.prog(question=question)
cot=CoT()

5）配置优化器参数，通过调整优化器参数，可以调整最终的提示词效果。

config=dict(max_bootstrapped_demos=4,max_labeled_demos=4,max_rounds=2)
#Optimize!Usethe`gsm8k_metric`here.Ingeneral,themetricisgoingtotelltheoptimizerhowwellit'sdoing.teleprompter=BootstrapFewShot(metric=gsm8k_metric,**config)

至此，本示例已经定义好了优化之前的所有准备工作。

3. 优化与可视化

为了实现可视化DSPy的优化过程，本实例引入langwatc包，langwatc需要在优化开始前初始化，如下面代码所示。

DSPy Visualizer的可视化服务可以通过在线的方式访问，也可以通过本地部署安装Docker镜像的方式使用。

importlangwatchlangwatch.login()langwatch.dspy.init(experiment="test",optimizer=teleprompter)optimized_cot=teleprompter.compile(cot,trainset=train_set)

至此，本示例代码已完成，接下来需要做好可视化准备工作，可视化准备主要包含启动可视化程序和获取langwatch的API-Key。

3.1.在线访问方式

由于langwatch已经提供了可视化的在线服务，因此在线方式无需启动可视化程序，之间获取API-Key即可，如下步骤所示：

1）登录 langwatch在线dashboard ，获取API-Key。