返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

使用FastGPT实现本地焊接知识库“带图”回答

[复制链接]
链载Ai 显示全部楼层 发表于 8 小时前 |阅读模式 打印 上一主题 下一主题


01

前言


最近一直在打磨自己的焊接本地知识库和RAG问答,LLM的回答时而惊艳,时而气人,总的来说还是蛮有意思的。不过时间长了,慢慢觉得答案有点单调,原因很简单,就是无图!


02

方法


在B站上看到UP主—“崩坏的领航员”提供的方法,就是对知识库动手脚,比如特意添加一条,内容上则是图的相关信息或者标题,然后在辅助数据中按照MARKDOWN的规则,将图片的URL写进去,这样在问答时,URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式,所以界面内会自动显示图片。



自行操作的时候,我发现对于建立本地知识库而言,FastGPT原本就提供了相关的功能


在上传文件建立知识库时,FastGPT会将文档中的图片自动上传到本地服务器上(我猜的),同时给每一张图片进行自动命名。



以文档中第一张图片为例,它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”,在确认建库后,在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。




因此,一旦检索到的知识库里包含图片标记,同时提示词里包含“图片需求”,知识库里的图片标记就会被LLM揉合进答案里,同时自然呈现在回答的界面里。




03

问题


其实上面的方法是误打误撞发现的,因为起初多次尝试时,图片并没有显示,主要原因还是LLM对图片标记处理的过程并不稳定,容易出现以下问题:


(1)图片URL并不是上述基于fastgpt3000端口的,而是LLM胡诌的,或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径,所以LLM很容易把握不住。



(2)图片URL由i.imgur.com打头,后面有时跟着知识库里的标记号,有时是其它编号,反正很奇怪。



(3)即使图片可以正常显示,但当知识库中的图片标记较多时,会出现图片混乱显示的情况,尤其是图片和标题离得较远时,LLM会“借机发挥”,多出图,出错图。


04

对策


目前想到的一个方法是将word文档中的图片提取出来,然后自己重建立一个虚拟服务器,从而将图片地址URL化,然后再把URL导入原始word,这样在生成知识库时,图片地址和原文、用户问题可以建立更强的语义相关度,既可以保证图片的显示,同时也可以尽可能地避免图片的错误显示。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ