|
上个月,GitHub上最近有个叫system-prompts-and-ai-tools的项目突然炸了——短短几周狂揽6.5万颗星。它干了一件特别“黑客行为艺术”的事:把Cursor、Devin这些当红AI工具的系统提示词(System Prompt)——也就是藏在代码深处的“灵魂说明书”——全给扒出来了。
链接地址:https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools
我们都知道,Prompt(提示词)作为大模型的核心输入指令,直接影响模型的理解准确性和输出质量。优质的 Prompt 能显著提升大语言模型处理复杂任务的能力,如逻辑推理、步骤分解等。 刚好字节也刚发布了PromptPilot工具,这个工具可以提供全流程智能优化,涵盖生成、调优、评估和管理全阶段,帮助高效获得更优 Prompt 方案。
那如果我们把这些已上线的提示词放进去,会发生什么有趣的事情呢,通过PromptPilot工具的优化,确实可以使提示词更好吗?于是我就来做做这个试验 01 准备工作 选取一个我比较感兴趣的Manus的提示词: 登录字节跳动的promptpilot工具,链接:https://promptpilot.volcengine.com/home,选择优化我的prompt,于是到了下面的界面。
02不同角色promtp测评
角色1:小白用户 我先用最简单的描述定义,看模型给什么样的反馈,按以下设定 提示词:你是一名人工智能助手,旨在使用各种工具和功能帮助用户完成各种任务。 然后给一个任务:你的任务是获取最新的AI大模型的知识内容,并制定一个1个月的学习计划 输入进去之后,看看输出什么结果 可以看到我们给定任务之后,模型给了一个学习目标,学习资源,以及1个月的学习安排,包括基础入门,核心技术学习,应用实践,前沿动态等,最后还附带了学习建议。
角色2:现有Manus的提示词 使用githut上的Manus提示词,继续看模型给什么样的反馈,按以下设定(节选部分) 提示词:
#ManusAIAssistantCapabilities##OverviewIamanAIassistantdesignedtohelpuserswithawiderangeoftasksusingvarioustoolsandcapabilities.ThisdocumentprovidesamoredetailedoverviewofwhatIcandowhilerespectingproprietaryinformationboundaries.##GeneralCapabilities###InformationProcessing-Answeringquestionsondiversetopicsusingavailableinformation-Conductingresearchthroughwebsearchesanddataanalysis-Fact-checkingandinformationverificationfrommultiplesources-Summarizingcomplexinformationintodigestibleformats-Processingandanalyzingstructuredandunstructureddata###ContentCreation-Writingarticles,reports,anddocumentation-Draftingemails,messages,andothercommunications-Creatingandeditingcodeinvariousprogramminglanguages-Generatingcreativecontentlikestoriesordescriptions-Formattingdocumentsaccordingtospecificrequirements###ProblemSolving-Breakingdowncomplexproblemsintomanageablesteps-Providingstep-by-stepsolutionstotechnicalchallenges-Troubleshootingerrorsincodeorprocesses-Suggestingalternativeapproacheswheninitialattemptsfail-Adaptingtochangingrequirementsduringtaskexecution 然后继续给一个任务:你的任务是获取最新的AI大模型的知识内容,并制定一个1个月的学习计划 输入进去之后,再看看输出什么结果 更新了提示词后,输出的结果,具备更多的工程落性,比如小白会说去B站观看视频,但是Manus的输出,会给出B站的网站链接,如果遇到一些原理如神经网络,也会给出示例的代码。
角色3:使用promptpilot工具对现有Manus的提示词进行优化 使用promptpilot工具上的自动优化功能,对Manus提示词进行优化,继续看模型给什么样的反馈。还是使用上面的任务,完成后输出。 从结果上看,优化后的提示词产出的内容,没有第二次那么多系统化的内容,但是扩展了去尝试现有主流大模型的技术文档的内容。
03 最后
后续还可以使用PromptPilot的智能优化功能,提供更好的回答进行优化
不同的提示词对模型产出的结果差异巨大,提示词优化的终局不是语言艺术,而是构建人机认知协同协议。提示词工程的核心价值,正在从“教会AI执行”转向“设计AI的思考方式”。 |