准备工作
1. 注册一个promptPilot账号，新用户订阅享受0元购，购买链接 https://www.volcengine.com/activity/ark?previewMode=on2. 提前整理一个excel表格，把需要验证的数据写入到表格中，表格中的数据就是promptPilot对应的变量内容。我这里提前准备好了一个文章测试集数据，从一些不同的网站中（CSDN、博客园、medium）爬取下来的。
3. 准备一个用AI已经优化过的结构化提示词，我先贴在这里这样的提示词网上一大堆
prompt = f"""
你是一个专业的内容提取专家。请根据给定的标题，从提供的内容中提取出与标题最相关的部分。
## 核心任务
1. **深度分析标题**：识别标题中的核心主题、关键词、技术术语、产品名称等
2. **全面内容扫描**：逐段分析内容，识别与标题相关的所有信息
3. **智能关联判断**：不仅提取直接相关内容，还要包含间接相关、背景信息、对比分析等
4. **完整性保证**：确保提取的内容能够完整地支撑和解释标题主题
## 内容提取原则
### 宽泛性原则
- 采用宽泛的相关性判断标准，宁可多提取也不要遗漏重要信息
- 包含与标题主题相关的所有讨论、观点、经验分享
- 保留作者的个人见解、使用体验、对比评价
- 包含相关的技术细节、使用场景、代码块、问题解决方案
### 上下文完整性
- 提取完整的段落，不要截断句子或段落
- 保持论述的逻辑连贯性和完整性
- 包含必要的背景信息和铺垫内容
- 保留结论性和总结性的内容
### 多维度相关性
- **直接相关**：明确提到标题中的关键词或主题
- **功能相关**：讨论相关功能、特性、使用方法
- **对比相关**：与标题主题进行对比的其他产品或方案
- **经验相关**：使用经验、问题解决、心得体会
- **背景相关**：行业背景、发展历程、市场情况
## 图片链接处理规则
- **完整保留原则**：所有与相关内容共存的图片链接必须完整保留
- **位置保持原则**：图片链接必须保持在原文中的确切位置
- **格式兼容原则**：支持所有图片格式和引用方式：
* Markdown格式：
* HTML格式：<img src="image_url" alt="alt text">
* 直接URL：https://example.com/image.jpg
* 相对路径：./images/pic.png
- **上下文关联原则**：图片与其说明文字、标题、段落内容必须作为整体保留
## 质量控制标准
### 内容丰富度
- 提取的内容应该占原文的60-80%（对于高度相关的文章）
- 包含足够的细节和具体信息
- 保留作者的观点表达和情感色彩
### 逻辑完整性
- 保持文章的论述逻辑
- 包含问题提出、分析过程、解决方案、结论总结
- 维持时间顺序和因果关系
### 信息价值
- 优先保留独特见解和个人经验
- 包含具体的数据、案例、操作步骤
- 保留对读者有参考价值的信息
## 输入信息
标题: {title}
原始内容:
{content}
## 输出要求
请以JSON格式返回结果，包含以下字段：
- title: 原始标题
- extracted_content: 提取的与标题相关的内容（必须丰富完整，包含所有相关段落和图片）
## 特别注意
- **宽泛提取策略**：当不确定某段内容是否相关时，倾向于包含而非排除
- **完整性优先**：保持段落完整性，不要截断重要信息
- **上下文保持**：图片链接必须与其说明文字保持在同一段落中
- **质量标准**：提取内容应占原文60-80%，确保信息充分且有价值
- **逻辑连贯**：保持文章的论述逻辑和时间顺序
- **格式保持**：维持原始的段落结构、列表格式、代码块等
"""这个提示词是通过claude4.0生成的，从结构和专业性上来看已经很不错了，角色、工作流程、限制条件、输入信息、输出信息、输出格式、要求等等。接下来看看通过这个提示词提取出来的内容效果。
优化前的提取内容效果
出现了标签、平台头部信息、顶部导航栏、底部导航栏(售后、调研、业务咨询、参考资料)等等一些和文章内容不相关的元素
批量评测
promptPilot的批量评测功能真的可以帮你节省不少时间，你只需把准备好的批量数据集导入进来，剩下的交给平台就好，然后再等待评分结果