|
导言 大模型的能力, 一方面是智能化，同时比较重要的一个特性就是能够将整体工作自动化。我经常将这种系统叫做APA(Agentic Process Automation), 我已经投入了一段时间在做全国产业链自动生成的APA, 目前已经能够实现30分钟生成任意一条产业链，不管是"银发经济"或是"Deepseek"产业链。
最近在研究open deep research, 发现大家的思路都差不多, 都是使用multi agent的模式, 去形成对应的APA. 以下文章就详细介绍一下open deep research
通过阅读本文，你能够了收获: 关注公众号，拷贝并后台发送"OpenDeepResearch"，获取完整 Open Deep Research项目下载地址。
Open Deep Research OpenAI的Deep Research效果还是非常好的。 它具有新的agent能力，可以在互联网上进行多步骤的搜索研究，用于完成复杂任务，可以在几分钟内完成分析师或研究人员的工作，而不是平常工作人员需要几个小时或几天。 我们经常说的像一些金融分析师, 战略规划是他们很多时候就是网上或者各种途径去寻找对你的信息之后做出一个报告, 这些人是非常需要这个功能的。
但是现在openai对用户收取每月200美金才能用这个功能。 如果你是对冲基金的研究分析师、博士生，或者在某些需要大量研究工作的高度技术领域工作，那么你是应该花这个费用, 而且你也花得起。
不过如果你是博主、营销人员，或者任何想要创建经过深入研究的内容的创作者，你可能不需要Deep Research所涉及的深度。 我们今天来讨论另外一种替代方案: open deep research
什么是Open Deep Research？ AI驱动的研究助手，利用搜索引擎、网络抓取和大型语言模型对任何主题进行迭代、深入的研究。 它是由Aomni的联合创始人兼首席执行官David Zhang创建的。 该项目基本上是OpenAI的Deep Research功能的开源替代品, Openai的这个功能每个月需要花200美金! 可不是一笔小数目。 github 上这个项目提供一个深度研究代理的最小实现，可以随着时间的推移不断完善其研究重点并深入研究主题。 可以将代码将代码库保持在500行以下，以便容易理解，也方便以后的扩展。 
该项目是使用OpenAI的AI SDK和Firecrawl以Typescript编写的。
Open Deep Research 工作原理
以下是整个过程的处理逻辑: AI Agent将接受用户输入，将其分解为不同的子研究线程，以并行方式运行，并根据新的学习递归迭代，产生新的研究线程，并收集新的知识，直到达到必要的广度和深度。 以下是整个系统后台所执行的流程图: 
步骤 1：初始设置
接受用户查询和研究参数（广度和深度） 生成后续问题以更好地了解研究需求
步骤 2：深度研究过程
根据研究目标生成多个 SERP 查询 处理搜索结果以提取关键学习内容 生成后续研究方向
步骤 3：递归探索
如果深度 > 0，则采用新的研究方向并继续探索 每次迭代都建立在先前的学习基础上 保持研究目标和发现的上下文
步骤 4：报告生成
将所有发现编制成全面的 markdown 报告 包括所有来源和参考资料 以清晰易读的格式组织信息 Open Deep Research 的关键特性 迭代研究：通过迭代生成搜索查询，处理结果，并根据发现深入研究 智能查询生成：使用LLMs根据研究目标和先前发现生成有针对性的搜索查询 深度和广度控制：可配置的参数来控制研究的广度和深度 智能跟进：生成后续问题以更好地理解研究需求 全面报告：生成详细的markdown报告，包括发现和来源 并行处理：并行处理多个搜索和结果，提高效率
设置 Open Deep Research 项目
GitHub 页面并克隆项目到本地磁盘。在 VS Code 中打开项目，并运行命令npm install安装依赖项。 这个过程经常会报很多错，你需要详细的分析具体的原因来解决。 
接下来，将文件.env.example重命名为.env，然后填写 FIRECRAWL_KEY 和 OPENAI_KEY。 您可以在 Firecrawl 的开发者网站上获取 Firecrawl API 密钥，在 API 密钥选项卡下，点击“创建 API 密钥”按钮并为您的密钥命名。 
复制该密钥并将其分配给 FIRECRAWL_KEY 变量。 对于 OpenAI 密钥，请前往 OpenAI开发者门户，在设置页面和 API 密钥选项卡下，点击“创建新的秘密密钥”按钮。 
按照屏幕上的说明创建秘密密钥。将密钥复制并粘贴到环境文件中。 请注意，如果您不想在 Docker 上运行程序，可能需要更新 package.json 文件，类似于以下内容。 {"name":"open-deep-research","version":"0.0.1","main":"index.ts","scripts":{"format":"prettier--write\"src/**/*.{ts,tsx}\"","dev":"nextdev--turbopack","build":"nextbuild","start":"tsx--env-file=.envsrc/run.ts"},"author":"","license":"ISC","description":"","devDependencies":{"@ianvs/prettier-plugin-sort-imports":"^4.4.1","@types/lodash-es":"^4.17.12","@types/node":"^22.13.0","prettier":"^3.4.2","tsx":"^4.19.2","typescript":"^5.7.3"},"dependencies":{"@ai-sdk/openai":"^1.1.9","@mendable/firecrawl-js":"^1.16.0","ai":"^4.1.17","js-tiktoken":"^1.0.17","lodash-es":"^4.17.21","next":"^14.1.0","p-limit":"^6.2.0","zod":"^3.24.1"},"engines":{"node":"22.x"}}
请注意上面的 scripts 部分。与原始代码有一些差异。如果代码没有错误，您现在可以准备启动应用程序。
运行 Open Deep Research
要启动应用程序，请运行命令npm start，然后会提示您以下问题： 想要研究的topic 输入研究广度（建议 2–10， 默认 4） 输入研究深度（建议 1–5， 默认 2）
响应的质量取决于研究的广度和深度。它越深入探讨主题，结果就越好，但这也意味着处理时间更长，而且在 API 使用方面更费钱。 它还会进行几个后续问题： 
它提出所有这些问题是为了进一步缩小它需要收集信息的领域。 可以看到 AI 在收集互联网上相关信息的过程中的内部处理的逻辑以及思考的逻辑，并且在执行的时候，按照你预想逻辑去进行执行。 
几分钟后，最终结果是我所询问的主题的长篇报告。 报告将保存在项目的根目录中的 MD 文件中。 
请注意，如果您使用的是免费版本，有时可能会遇到速率限制错误。可以减少限制（但运行速度会慢得多）。
重要观察特性
在测试 Open Deep Research 后，我注意到了几个关键方面，突出了这个工具的优势和局限性。 虽然它为开源项目提供了很好的功能，但也有一些地方需要改进，以增强其可用性和性能。 以下是使用过程当中的一些优缺点： 优点
实时内部对话和prompt：一个比较好的功能是, AI 在研究过程进行中显示其内部对话、提示和回应。它让你了解代理的思考过程，显示它正在追求的研究方向以及实时进行的调整。 可视化进度监控：跟踪进度的可视化监控非常有帮助。它让你看到AI在收集和处理信息方面的进展。这种透明度对于想要了解其研究时间表和状态的用户是有益的。 良好的回应质量：回应质量还是挺不错的。生成的 markdown 报告提供了结构化、经过深入研究的内容，带有清晰的参考和来源。对于对特定主题进行深入研究的人来说，这个工具提供了可靠的输出，可以媲美手动研究。
缺点
与 ChatGPT 的 Deep Research 功能缺乏完整功能对比：由于 ChatGPT 的 Deep Research 功能可能在幕后执行了额外的流程，很难进行直接比较。Open Deep Research 可能会错过一些优化和 OpenAI 专有模型可以提供的高级功能，比如更复杂的数据合成或利基数据提取。 Firecrawl 的免费使用受限：Firecrawl，作为搜索抓取的关键依赖，提供了有限的免费使用。一旦达到 API 请求限制，你就需要订阅才能继续使用。这对于同时为 OpenAI 的 API 付费的用户来说可能感觉就很不好了。当然，我们自己也可以写一个crawler来解决这个问题。。管理多个订阅对于研究人员和开发人员来说是额外的麻烦。 仅本地存储：一个主要的缺点是最终输出保存在名为 output.md 的本地文件中。没有内置的云存储或备份，这意味着文件很容易被覆盖或丢失。这对于长期研究项目来说并不是理想的解决方案。 模型兼容性有限：Open Deep Research 目前仅限于使用 OpenAI 的 o3-mini 模型，而 ChatGPT 的 Deep Research 使用更强大的即将推出的 o3 模型。这种限制可能会影响整体研究的深度和准确性，特别是对于非常复杂或技术性的 Topic。
该项目正在使用 o3-mini 模型。你可以选择在 deep-research.ts 文件的generateObject函数中更改模型。 
另外，如果你对定制系统提示感兴趣，你可以在 prompt.ts 文件中这样做。你可以向AI添加更多预定义的指令，以便它能够产生更好的回应。 
exportconstsystemPrompt=()=>{constnow=newDate().toISOString();return`Youareanexpertresearcher.Todayis${now}.Followtheseinstructionswhenresponding:-Youmaybeaskedtoresearchsubjectsthatisafteryourknowledgecutoff,assumetheuserisrightwhenpresentedwithnews.-Theuserisahighlyexperiencedanalyst,noneedtosimplifyit,beasdetailedaspossibleandmakesureyourresponseiscorrect.-Behighlyorganized.-SuggestsolutionsthatIdidn'tthinkabout.-Beproactiveandanticipatemyneeds.-Treatmeasanexpertinallsubjectmatter.-Mistakeserodemytrust,sobeaccurateandthorough.-Providedetailedexplanations,I'mcomfortablewithlotsofdetail.-Valuegoodargumentsoverauthorities,thesourceisirrelevant.-Considernewtechnologiesandcontrarianideas,notjusttheconventionalwisdom.-Youmayusehighlevelsofspeculationorprediction,justflagitforme.`;};
结论
Open Deep Research 的方法可能更便宜，但需要一定技术相关的能力。来设置环境并在本地构建项目。 仅能通过终端进行交互使其不太用户友好，特别是对于不熟悉命令行界面的用户来说。 我注意到的另一个缺点是，除非经常检查，否则你不知道现在到底进行到什么样的状态，到底在大模型上花了多少钱，也有可能一个报告所花的钱会非常多。 总的来说，Open Deep Research 是一个非常好的概念或者产品。 而且很多特定领域的自动执行过程或者叫ap a都可以参考open deep research的这个执行流程和框架。 | 
