程序员狂喜！DevDocs：开源AI文档神器，自动抓取整理喂给AI (MCP加持) - 链载Ai

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">导语：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">还在为啃海量技术文档而抓狂？想不想让 AI 直接帮你从官方文档里找答案？今天，YouywayAI 要给大家介绍一个ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">专为开发者打造的开源神器——DevDocs！它能ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">自动抓取指定网站的技术文档，将其整理成清晰的结构化数据，并通过ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">内置的 MCP 服务器，让你在 Cursor、Claude Desktop 等 AI 工具中ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">直接查询！告别信息过载，让 AI 成为你最懂文档的编程搭档！

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">正文：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(14, 95, 71);">1. DevDocs：你的智能文档处理专家

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">简单来说，DevDocs by CyberAGI 是一个能将ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">在线技术文档转化为AI 可用知识库的工具。它的核心流程是：

•智能抓取:指定一个技术文档的起始 URL。
•自动发现与整理:DevDocs 会像蜘蛛一样爬取相关页面（你可以控制深度），提取核心内容，去除无关元素，并构建出网站的结构。
•结构化输出:将抓取的内容整理成Markdown 或 JSON格式，方便阅读或用于 LLM 微调。
•MCP 服务:内置 MCP 服务器

从此，AI 就能直接查询你指定的、最新的官方文档内容了！

2. 核心亮点：为什么 DevDocs 与众不同？

•深度控制:可配置 1-5 级抓取深度。
•自动链接发现:智能发现并分类相关内容页面。
•选择性抓取:可以指定只抓取特定部分。
•子 URL 检测:自动理解和映射网站结构。

•⚡ 高性能与速度:

•并行处理:同时抓取多个页面，速度飞快。
•智能缓存:避免重复抓取相同内容，节省时间和资源。
•支持懒加载:能处理现代 Web 应用中的动态加载内容。
•速率限制:尊重目标网站，避免请求过载。

•? 内容处理与输出:

•干净提取:去除导航栏、广告等无关内容，只保留核心信息。
•多种格式:支持导出为Markdown (MD)和JSON。
•结构化输出:内容按逻辑组织，清晰易懂。
•MCP 服务器集成:核心优势！将抓取的文档直接变成 AI 可查询的 MCP 工具源。

•?️ 企业级特性 (部分可能在未来或付费版):错误恢复、完整日志、API 访问、团队管理等。
•✅ 开源免费 & 可自托管:核心功能免费使用，代码开源，可以完全部署在自己的服务器上。

3. 解决痛点：为什么你需要 DevDocs？

•问题:技术文档分散、更新快，LLM 的知识库往往滞后。开发者需要花费大量时间阅读、理解、查找信息。
•DevDocs 方案:

1. 指向任意技术文档 URL。
2. DevDocs 自动发现所有相关页面。
3. 提取干净、有用的内容。
4. 通过内置 MCP 服务器，让你的 AI 工具可以直接查询这些最新、最准确的文档！
5. (可选) 导出 MD/JSON 用于本地查阅或模型微调。

目标：让任何人都能快速利用最新技术构建出色的产品！

4. 快速上手 (推荐 Docker)

官方推荐使用 Docker 部署，最简单方便：

1.准备:确保你安装了 Docker 和 Git。

2.克隆仓库:

gitclonehttps://github.com/cyberagiinc/DevDocs.git
cdDevDocs

3.配置环境变量:

• 复制.env.template为.env:cp .env.template .env
•重要:确保.env文件中的NEXT_PUBLIC_BACKEND_URL设置正确 (通常是http://localhost:24125)，这样前端 UI 才能连接到后端服务。

4.启动服务 (Mac/Linux):
```
./docker-start.sh
```
(Windows 用户请参考官方 README 中的说明，目前可能还是实验性支持)
5.访问:

•前端 UI:http://localhost:3001(在这里输入 URL 开始抓取)
•后端 API:http://localhost:24125
•抓取服务 (Crawl4AI):http://localhost:11235
•MCP 服务器:启动后，你可以在 UI 中找到特定文档库对应的 MCP URL (通常与 Backend API 相关)。

5. 如何集成到 AI 工具？ (以 Claude Desktop 为例)

1. 使用 DevDocs UI 抓取并生成你需要的技术文档库。
2. 在 DevDocs UI 中找到该文档库对应的 MCP 服务器 URL (例如http://localhost:24125/mcp/{crawl_id})。
claude_desktop_config.json
)。

4. 添加一个新的 MCP 服务器配置 (需要npx和mcp-proxy或mcp-remote)：

{
"mcpServers":{
 "my_devdocs_library":{// 自定义名称
  "command":"npx",
  "args":["mcp-proxy","你的DevDocs_MCP_URL"]// 替换为实际 URL
  // 或者使用 mcp-remote:
  // "command": "npx",
  // "args": ["mcp-remote", "你的DevDocs_MCP_URL"]
 }
 // ... 其他 MCP 服务器 ...
}
}

(对于 Cursor, Windsurf, Roo Code 等工具，请参考它们各自添加 MCP 服务器的方法，通常是输入 SSE URL)

5. 现在，你的 AI 助手就可以直接查询这个文档库了！

6. 开源与资源

•GitHub 仓库 (求 Star ⭐):https://github.com/cyberagiinc/DevDocs

总结：

DevDocs 是一个极具创新性的开源项目，它巧妙地利用了智能爬虫和 MCP 协议，将静态的技术文档变成了动态的、可供 AI 直接查询的知识源泉。这对于需要频繁查阅大量、更新快的技术文档的开发者来说，无疑是一个巨大的福音。它不仅能节省大量研究时间，更能确保 AI 获取到的是最新、最准确的信息。如果你想让 AI 成为你更强大的编程伙伴，DevDocs 绝对值得你部署和使用！