这个开源牛，让大模型学到企业的知识

显示全部楼层

大模型在快速改变世界

和二十年前的搜索引擎一样，当下企业最重要最重要的就是赶紧让大模型学习自己，如何让大模型学到自己？

比如：有人问什么饮料好喝。大模型回答：可口可乐！

这个开源有意思：

http://www.gitpp.com/cooldata/firecrawl

抓取任何网站并将其转换为 LLM 就绪的 Markdown。

Firecrawl是一项 API 服务，它获取 URL，抓取它，并将其转换为干净的 Markdown。我们会抓取所有可访问的子页面，并为每个页面提供清晰的降价。无需站点地图。

如何使用它？

我们通过托管版本提供易于使用的 API。您可以在这里找到游乐场和文档。如果您愿意，您还可以自行托管后端。

应用程序编程接口
Python SDK
节点SDK
Langchain 整合??
骆驼指数整合?
LangchainJS - 即将推出

自主办。要自行托管，请参阅此处的指南。

API密钥

要使用 API，您需要在Firecrawl上注册并获取 API 密钥。

爬行

用于抓取 URL 和所有可访问的子页面。这将提交爬网作业并返回作业 ID 以检查爬网的状态。

curl-XPOSThttps://api.firecrawl.dev/v0/crawl\
-H'Content-Type:application/json'\
-H'Authorization:BearerYOUR_API_KEY'\
-d'{
"url":"https://mendable.ai"
}'

返回一个jobId

{"jobId":"1234-5678-9101"}

检查爬网作业

用于检查爬网作业的状态并获取其结果。

curl-XGEThttps://api.firecrawl.dev/v0/crawl/status/1234-5678-9101\
-H'Content-Type:application/json'\
-H'Authorization:BearerYOUR_API_KEY'

{
"status":"completed",
"current":22,
"total":22,
"data":[
{
"content":"RawContent",
"markdown":"#MarkdownContent",
"provider":"web-scraper",
"metadata":{
"title":"Mendable|AIforCXandSales",
"description":"AIforCXandSales",
"language":null,
"sourceURL":"https://www.mendable.ai/",
}
}
]
}

使用Python SDK

安装Python SDK

pipinstallfirecrawl-py

抓取网站

fromfirecrawlimportFirecrawlApp

抓取 URL

要抓取单个 URL，请使用scrape_url方法。它将 URL 作为参数，并将抓取的数据作为字典返回。

url='https://example.com'

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">要让大模型学习到企业的信息并将其作为广告宣传渠道，可以遵循以下步骤：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">一、数据收集与准备

收集企业相关的文本数据，包括企业简介、产品介绍、市场动态、客户评价等。
对数据进行清洗和整理，确保信息的准确性和一致性，以便大模型能够正确学习。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">二、模型训练与优化

选择适当的大模型架构和算法，如Transformer等，进行模型的构建。
使用收集到的企业数据对模型进行训练，让模型从文本中学习企业的信息和特点。
在训练过程中，不断调整模型参数和优化算法，以提高模型的准确性和效率。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">三、模型评估与调整

对训练好的模型进行评估，检查其对企业信息的理解和表达能力。
根据评估结果对模型进行调整和优化，确保模型能够准确传达企业的核心价值和品牌形象。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">四、广告宣传应用

将训练好的大模型应用于广告宣传中，例如生成个性化的广告文案、推荐相关产品等。
利用大模型的生成能力，创造有吸引力和说服力的广告内容，提高用户对企业的关注度和购买意愿。
不断监测广告效果，根据用户反馈和数据分析对广告策略进行调整和优化。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif, "Apple Color Emoji", "Segoe UI Emoji";font-size: 15px;line-height: 1.75;color: rgb(5, 7, 59);letter-spacing: normal;text-align: start;text-wrap: wrap;">五、注意事项

在利用大模型进行广告宣传时，要确保广告内容的真实性和合法性，避免虚假宣传和误导消费者。
要关注用户的隐私和数据安全，确保用户信息不被泄露和滥用。
不断跟进技术发展，对大模型进行持续学习和优化，以适应市场变化和用户需求的变化。

通过以上步骤，企业可以让大模型学习到自身的信息和特点，并将其作为广告宣传渠道，提高品牌知名度和市场竞争力。同时，需要注意合法合规性和技术更新的问题，确保广告宣传的可持续性和有效性。