抓取不是本文的重点,现成教程也很多,需要请自行搜索,以下简单叙述流程步骤:
触发:使用n8n的Schedule Trigger节点,根据监控需求设置执行频率(例如每4小时运行一次)自动执行工作流
数据采集:使用RSS抓取列表并存储,可以搭配FireCrawl进行内容爬取,
数据清洗:添加必要的处理节点(整理未评估的数据成表结构比如Link, Author, Description, Date, Summary, ThreadID),确保输入给AI的数据干净、规整。
评估并存储:将清洗后的数据传给大模型评估节点
大模型具备一定的文本推理能力,因此只要搭配足够科学的标准,就能进行较为客观的打分。
评分标准设定:这是量化的基础,设定多个(建议3-6个)正交的评估维度,为每个维度设计明确的1-5分评分细则,所有标准权重相等。将标准定义存储在Google Sheets的专用Sheet页中,实现配置与逻辑的分离。
LLM评估与计算:使用AI节点,将提示词拼合文章和标准指示LLM进行打分并做格式化输出。然后用Code节点计算总分:TotalScore = (各维度得分之和) / 维度数量,并识别得分最高的维度作为亮点。采用平均权重(即每个评估维度的权重相等)确保评估客观、公正,让LLM的输出更纯粹地反映内容本身。
结果存储:将LLM输出和计算结果更新回Google Sheets,新增字段包括:Evaluate、TotalScore、bestCriteria、bestCriteriaScore。
以下是对大模型资讯的评分标准:
LLM评估示例:基于文章摘要"该新模型在多个主流基准测试中实现了显著性能跃升,尤其在编程能力实测上表现出色,代码质量接近高级工程师。然而,其训练和推理成本依然高昂,且模型完全闭源,社区生态尚未形成。",LLM输出:
{"benchmark_improvement":4,"open_source":1,"cost_efficiency":1,"ecosystem":1,"coding_test":4,"chat_test":3}计算结果:
输出:Google Sheet中对应的数据行被自动更新。TotalScore字段可以帮助我们快速筛选和排序,实现高效的信息分发和决策。
最后,将表格数据排序并复制到美团Nocode或字节扣子空间这样的Agent平台,生成可视化图表并通过链接分享给团队。
至此,一个从数据采集到量化评估,再到可视化报告的自动化舆情监控系统便搭建完毕。这个工作流也可以扩展到各种需要将定性分析转为定量分析的过程中,比如金融信息对市场和标的的影响评分,因为这个工作流的核心与灵魂,正是其可量化和泛化的评估方法,充分运用大模型对非结构化数据结构化的能力,并减少幻觉,实现对模型对精准掌控。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |