链载Ai

标题: Ubuntu服务器RAGFlow的部署教程 [打印本页]

作者: 链载Ai    时间: 昨天 12:59
标题: Ubuntu服务器RAGFlow的部署教程
相比较MaxKB而言,RAGFlow的部署过程可谓是复杂得多!如果你图简单地话,可以直接移步到《Ubuntu服务器MaxKB的部署流程》这篇文章!

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.4;margin: 32px 0px 16px;font-size: 22px;border-bottom: 1px solid var(--theme-line-color);padding-bottom: 12px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">升级和安装相关的依赖

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.46;margin: 32px 0px 16px;font-size: 20px;border: none;padding-left: 18px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">操作系统更新

sudoaptupdate&&sudoaptupgrade

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.46;margin: 32px 0px 16px;font-size: 20px;border: none;padding-left: 18px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">安装git-all

sudoaptinstallgit-all

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.46;margin: 32px 0px 16px;font-size: 20px;border: none;padding-left: 18px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">安装curl

sudoaptinstallcurl
ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">验证是否安装成功
curl--version

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.46;margin: 32px 0px 16px;font-size: 20px;border: none;padding-left: 18px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">下载和安装git-lfs

curl-shttps://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh|sudobashsudoapt-getinstallgit-lfs

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-weight: 600;line-height: 1.46;margin: 32px 0px 16px;font-size: 20px;border: none;padding-left: 18px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">确保 vm.max_map_count 不小于 262144

sysctlvm.max_map_count

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">如果显示的数字小于262144,则继续进行如下的操作

sudosysctl-wvm.max_map_count=1048576

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">这里的数字只要大于262144即可,根据自己的需要去写!

ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">为了服务器重启之后依然生效,我们需要编辑如下的文档

sudovim/etc/sysctl.conf

然后将下面这句命令添加到文件的末尾

vm.max_map_count=1048576

保存文件,退出编辑!

克隆仓库

为了国内下载文件更加快速,我用了代理地址来取代github的官方地址

gitclonehttps://github.1319lm.top/infiniflow/ragflow.git

下载完成之后可以进入到ragflow目录中

cdragflow

切换库的版本

gitcheckout-fv0.16.0

编辑docker配置文件

由于国内用户pull相关docker中的镜像文件的时候经常掉链子,我们需要编辑docker的配置文件,增加国内的镜像源

sudovim/etc/docker/daemon.json

文件的内容如下,之间复制进去

{"registry-mirrors":["https://docker.registry.cyou","https://docker-cf.registry.cyou","https://dockercf.jsdelivr.fyi","https://docker.jsdelivr.fyi","https://dockertest.jsdelivr.fyi","https://mirror.aliyuncs.com","https://dockerproxy.com","https://mirror.baidubce.com","https://docker.m.daocloud.io","https://docker.nju.edu.cn","https://docker.mirrors.sjtug.sjtu.edu.cn","https://docker.mirrors.ustc.edu.cn","https://mirror.iscas.ac.cn","https://docker.rainbond.cc"]}

重新加载配置文件

sudosystemctldaemon-reload

重启docker服务

sudosystemctlrestartdocker

pull ragflow项目中相关的镜像

运行下面的docker命令

dockercompose-fdocker/docker-compose.ymlup-d

pull的时间由于我们前面已经更换成了国内的镜像源,所以时间会更快一点,大概十分钟的样子,不过pull结束后会抛出一个错误

意思就是80端口被占用了,因为ragflow默认是在80端口运行的

运行下面的命令查看是什么程序占用了80端口

sudolsof-i:80
我的80端口是被nginx占用的,所以我需要kill掉所有的nginx服务
sudoservicenginxstop

启动RAGFlow服务

重新运行下面的docker命令启动RAGFlow服务就不会报错了!

dockercompose-fdocker/docker-compose.ymlup-d

然后我们继续运行下面的命令,来查看ragflow服务日志

dockerlogs-fragflow-server

当我们看到有类似“http://127.0.0.1:9380”地址出现的时候,就意味着我们的ragflow服务已经在运行了!

此时我们可以直接打开服务器的局域网IP地址(不带端口号)就可以打开RAGFlow页面了!

首次登录,需要注册账号

登录之后的界面非常干净,是我喜欢的样子!

配置大模型

RAGFlow的大模型配置大体上和MaxKB差不多

我这里同样以vllm+oneapi来举例

Ubuntu服务器RAGFlow的部署流程

模型名称一定要与oneapi中的模型名称保持一致!否则添加模型不会成功!

至此,RAGFlow的本地部署就完成了!






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5