返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

程序员狂喜!DevDocs:开源AI文档神器,自动抓取 整理 喂给AI (MCP加持)

[复制链接]
链载Ai 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">导语:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">还在为啃海量技术文档而抓狂?想不想让 AI 直接帮你从官方文档里找答案?今天,YouywayAI 要给大家介绍一个ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">专为开发者打造的开源神器——DevDocs!它能ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">自动抓取指定网站的技术文档,将其整理成清晰的结构化数据,并通过ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">内置的 MCP 服务器,让你在 Cursor、Claude Desktop 等 AI 工具中ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">直接查询!告别信息过载,让 AI 成为你最懂文档的编程搭档!

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">正文:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(14, 95, 71);">1. DevDocs:你的智能文档处理专家

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">简单来说,DevDocs by CyberAGI 是一个能将ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(14, 95, 71);">在线技术文档转化为AI 可用知识库的工具。它的核心流程是:

  • 智能抓取:指定一个技术文档的起始 URL。
  • 自动发现与整理:DevDocs 会像蜘蛛一样爬取相关页面(你可以控制深度),提取核心内容,去除无关元素,并构建出网站的结构。
  • 结构化输出:将抓取的内容整理成Markdown 或 JSON格式,方便阅读或用于 LLM 微调。
  • MCP 服务:内置 MCP 服务器

从此,AI 就能直接查询你指定的、最新的官方文档内容了!

2. 核心亮点:为什么 DevDocs 与众不同?
    • 深度控制:可配置 1-5 级抓取深度。
    • 自动链接发现:智能发现并分类相关内容页面。
    • 选择性抓取:可以指定只抓取特定部分。
    • 子 URL 检测:自动理解和映射网站结构。
  • ⚡ 高性能与速度:
    • 并行处理:同时抓取多个页面,速度飞快。
    • 智能缓存:避免重复抓取相同内容,节省时间和资源。
    • 支持懒加载:能处理现代 Web 应用中的动态加载内容。
    • 速率限制:尊重目标网站,避免请求过载。
  • ? 内容处理与输出:
    • 干净提取:去除导航栏、广告等无关内容,只保留核心信息。
    • 多种格式:支持导出为Markdown (MD)JSON
    • 结构化输出:内容按逻辑组织,清晰易懂。
    • MCP 服务器集成:核心优势!将抓取的文档直接变成 AI 可查询的 MCP 工具源。
  • ?️ 企业级特性 (部分可能在未来或付费版):错误恢复、完整日志、API 访问、团队管理等。
  • ✅ 开源免费 & 可自托管:核心功能免费使用,代码开源,可以完全部署在自己的服务器上。
3. 解决痛点:为什么你需要 DevDocs?
  • 问题:技术文档分散、更新快,LLM 的知识库往往滞后。开发者需要花费大量时间阅读、理解、查找信息。
  • DevDocs 方案:
  1. 1. 指向任意技术文档 URL。
  2. 2. DevDocs 自动发现所有相关页面。
  3. 3. 提取干净、有用的内容。
  4. 4. 通过内置 MCP 服务器,让你的 AI 工具可以直接查询这些最新、最准确的文档!
  5. 5. (可选) 导出 MD/JSON 用于本地查阅或模型微调。

目标:让任何人都能快速利用最新技术构建出色的产品!

4. 快速上手 (推荐 Docker)

官方推荐使用 Docker 部署,最简单方便:

  1. 1.准备:确保你安装了 Docker 和 Git。
  2. 2.克隆仓库:
    gitclonehttps://github.com/cyberagiinc/DevDocs.git
    cdDevDocs
  3. 3.配置环境变量:
  • • 复制.env.template.env:cp .env.template .env
  • 重要:确保.env文件中的NEXT_PUBLIC_BACKEND_URL设置正确 (通常是http://localhost:24125),这样前端 UI 才能连接到后端服务。
  • 4.启动服务 (Mac/Linux):
    ./docker-start.sh
    (Windows 用户请参考官方 README 中的说明,目前可能还是实验性支持)
  • 5.访问:
    • 前端 UI:http://localhost:3001(在这里输入 URL 开始抓取)
    • 后端 API:http://localhost:24125
    • 抓取服务 (Crawl4AI):http://localhost:11235
    • MCP 服务器:启动后,你可以在 UI 中找到特定文档库对应的 MCP URL (通常与 Backend API 相关)。
    5. 如何集成到 AI 工具? (以 Claude Desktop 为例)
    1. 1. 使用 DevDocs UI 抓取并生成你需要的技术文档库。
    2. 2. 在 DevDocs UI 中找到该文档库对应的 MCP 服务器 URL (例如http://localhost:24125/mcp/{crawl_id})。
    3. claude_desktop_config.json
      )。
    4. 4. 添加一个新的 MCP 服务器配置 (需要npxmcp-proxymcp-remote):
      {
      "mcpServers":{
      "my_devdocs_library":{// 自定义名称
      "command":"npx",
      "args":["mcp-proxy","你的DevDocs_MCP_URL"]// 替换为实际 URL
      // 或者使用 mcp-remote:
      // "command": "npx",
      // "args": ["mcp-remote", "你的DevDocs_MCP_URL"]
      }
      // ... 其他 MCP 服务器 ...
      }
      }
      (对于 Cursor, Windsurf, Roo Code 等工具,请参考它们各自添加 MCP 服务器的方法,通常是输入 SSE URL)
    5. 5. 现在,你的 AI 助手就可以直接查询这个文档库了!
    6. 开源与资源
    • GitHub 仓库 (求 Star ⭐):https://github.com/cyberagiinc/DevDocs

    总结:

    DevDocs 是一个极具创新性的开源项目,它巧妙地利用了智能爬虫和 MCP 协议,将静态的技术文档变成了动态的、可供 AI 直接查询的知识源泉。这对于需要频繁查阅大量、更新快的技术文档的开发者来说,无疑是一个巨大的福音。它不仅能节省大量研究时间,更能确保 AI 获取到的是最新、最准确的信息。如果你想让 AI 成为你更强大的编程伙伴,DevDocs 绝对值得你部署和使用!


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ