ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">最近知识库AI工具爆火，但数据收集太麻烦？BuilderIO直接甩出王炸级解决方案——GPT-Crawler！只需一个命令，自动把任意网站变成结构化知识库，喂给ChatGPT、RAG全搞定！
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15.4px;font-weight: bold;margin: 2em 8px 0.75em 0px;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">为什么开发者都在疯传？ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">一键爬取：输入网址自动抓取页面（支持深度爬取/PDF/文档）
智能清洗：自动过滤广告、页脚等噪音，保留核心内容
多格式输出：Markdown/JSON/OpenAI兼容格式，开箱即用
隐私无忧：本地运行，数据绝不外传
5分钟部署：一条Docker命令直接起飞
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15.4px;font-weight: bold;margin: 2em 8px 0.75em 0px;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">技术党最爱的硬核亮点ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">1. 零配置暴力好用ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;padding: 0px !important;">exportconst defaultConfig: Config = {
// ? 核心配置项拆解
url:"https://www.builder.io/c/docs/developers", // 种子URL（必须）
match:"https://www.builder.io/c/docs/**", // 通配符匹配规则
selector: `.docs-builder-container`, // 精准内容提取CSS选择器
maxPagesToCrawl: 50, // 防暴走安全阀
outputFileName:"output.json" // 输出文件命名
};ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">（连参数都不用记，小白也能轻松上手）ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);"> ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">2. 专为AI优化
• 自动生成带语义的元数据（标题/关键词/摘要）
• 完美适配LangChain、LlamaIndex等RAG框架3. 性能碾压同行 |
