N个promptPilot的数据集，验证一个提示词，效果就是稳！

显示全部楼层

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">有粉丝留言问我ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14.4px;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">promptPilot真有说的那么好吗？就像程序员常挂到嘴边的一句话，ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14.4px;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">Talk is cheap, show me your code今天就跟大家演示一下,ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14.4px;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">Talk is cheap, show me your prompt。先说一下要解决的痛点，通常在准备写一篇文章的时候需要从各大平台找一些相关文章的资料，然后通过工具或者脚本把文章内容爬取下来，爬取下来的内容什么格式的都有，有些工具会把平台的标头、侧边栏、尾部导航栏、甚至一些广告都抓取下来。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这就涉及到使用AI去做一些数据清洗，那么就需要写一个提示词来提取文章内容。但是你发现直接让AI生成的提示词是没办法满足你的需求，这个时候ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(85, 201, 234);font-weight: bold;">promptPilot就可以帮助到你。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">我使用的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(85, 201, 234);font-weight: bold;">promptPilot的批量评测功能，目的是为了通过N多个测试用例集去验证优化后的提示词效果，通过调试——评测——评分——再调试——再评分，这样一个流程，最终保证提示词生成的模型回答符合你的预期。

准备工作

1. 注册一个promptPilot账号，新用户订阅享受0元购，购买链接https://www.volcengine.com/activity/ark?previewMode=on
2. 提前整理一个excel表格，把需要验证的数据写入到表格中，表格中的数据就是promptPilot对应的变量内容。我这里提前准备好了一个文章测试集数据，从一些不同的网站中（CSDN、博客园、medium）爬取下来的。

3. 准备一个用AI已经优化过的结构化提示词，我先贴在这里这样的提示词网上一大堆

prompt = f"""
    你是一个专业的内容提取专家。请根据给定的标题，从提供的内容中提取出与标题最相关的部分。

    ## 核心任务
    1. **深度分析标题**：识别标题中的核心主题、关键词、技术术语、产品名称等
    2. **全面内容扫描**：逐段分析内容，识别与标题相关的所有信息
    3. **智能关联判断**：不仅提取直接相关内容，还要包含间接相关、背景信息、对比分析等
    4. **完整性保证**：确保提取的内容能够完整地支撑和解释标题主题

    ## 内容提取原则
    ### 宽泛性原则
    - 采用宽泛的相关性判断标准，宁可多提取也不要遗漏重要信息
    - 包含与标题主题相关的所有讨论、观点、经验分享
    - 保留作者的个人见解、使用体验、对比评价
    - 包含相关的技术细节、使用场景、代码块、问题解决方案

    ### 上下文完整性
    - 提取完整的段落，不要截断句子或段落
    - 保持论述的逻辑连贯性和完整性
    - 包含必要的背景信息和铺垫内容
    - 保留结论性和总结性的内容

    ### 多维度相关性
    - **直接相关**：明确提到标题中的关键词或主题
    - **功能相关**：讨论相关功能、特性、使用方法
    - **对比相关**：与标题主题进行对比的其他产品或方案
    - **经验相关**：使用经验、问题解决、心得体会
    - **背景相关**：行业背景、发展历程、市场情况

    ## 图片链接处理规则
    - **完整保留原则**：所有与相关内容共存的图片链接必须完整保留
    - **位置保持原则**：图片链接必须保持在原文中的确切位置
    - **格式兼容原则**：支持所有图片格式和引用方式：
     * Markdown格式：![alt text](image_url)
     * HTML格式：<img src="image_url" alt="alt text">
     * 直接URL：https://example.com/image.jpg
     * 相对路径：./images/pic.png
    - **上下文关联原则**：图片与其说明文字、标题、段落内容必须作为整体保留

    ## 质量控制标准
    ### 内容丰富度
    - 提取的内容应该占原文的60-80%（对于高度相关的文章）
    - 包含足够的细节和具体信息
    - 保留作者的观点表达和情感色彩

    ### 逻辑完整性
    - 保持文章的论述逻辑
    - 包含问题提出、分析过程、解决方案、结论总结
    - 维持时间顺序和因果关系

    ### 信息价值
    - 优先保留独特见解和个人经验
    - 包含具体的数据、案例、操作步骤
    - 保留对读者有参考价值的信息

    ## 输入信息
    标题: {title}
   
    原始内容:
    {content}

    ## 输出要求
    请以JSON格式返回结果，包含以下字段：
    - title: 原始标题
    - extracted_content: 提取的与标题相关的内容（必须丰富完整，包含所有相关段落和图片）

    ## 特别注意
    - **宽泛提取策略**：当不确定某段内容是否相关时，倾向于包含而非排除
    - **完整性优先**：保持段落完整性，不要截断重要信息
    - **上下文保持**：图片链接必须与其说明文字保持在同一段落中
    - **质量标准**：提取内容应占原文60-80%，确保信息充分且有价值
    - **逻辑连贯**：保持文章的论述逻辑和时间顺序
    - **格式保持**：维持原始的段落结构、列表格式、代码块等
    """