链载Ai

标题: 本地化大模型接入RagFlow错误记录 [打印本页]

---

作者: 链载Ai    时间: 昨天 17:56
标题: 本地化大模型接入RagFlow错误记录

前两天搭建一个RagFlow和基于vLLM框架的QwQ-32B模型，今天尝试把QwQ-32B接入RagFlow，测试一下RagFlow的功能，以及基于它构建Rag模型的效果。结果一堆错，改了半天，这里记录一下

错误：连不上 connection error

• 首先确保宿主机是能够连得上大模型的服务的
• 登录ragflow容器内部测试连接，果然，连接失败

dockerexec-it0b527d272baa/bin/bashcurl-Ihttp://10.10.10.10:8080

• 怀疑是容器的网络配置有问题，于是检查相关的配置文件docker-compose-CN-oc9.yml，果然发现问题，在部署ragflow的时候为了避开端口冲突，我把原文件（docker-compose.yml）中的80端口改成了8090，也就是容器的80端口映射到宿主机的8090端口，但是我没改docker-compose-CN-oc9.yml 中的配置！！！

• 修改完成后重启Docker服务

sudosystemctlrestartdocker

• 重新进入ragflow容器内部验证是否连通

curl-XPOSThttp://10.128.32.23:8080/v1/chat/completions\>-H"Content-Type:application/json"\>-d'{>"model":"QWQ-32B",>"messages":[{"role":"user","content":"你好"}]>}'

• 顺利连通，到这里本来以为没事了，但是……

还是连不上，我真的天都塌了

• 继续排查，发现虽然我在部署QwQ-32B的时候比没有设置API-Key，但是在用代码or框架连接的时候这个API-Key必填！！！补充之后，连接成功！

---

欢迎光临 链载Ai (https://www.lianzai.com/)

Powered by Discuz! X3.5