在任何企业中使用 Agentic(代理的) RAG 的最简单方法!配置起来与OpenAI 的自定义GPTs一样简单。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1em;letter-spacing: 0.1em;color: rgb(80, 80, 80);">
嘿,欢迎来到Aitrainee的频道。今天我要给大家介绍一个非常酷的新应用——RAGApp。
配置起来与OpenAI 的自定义GPTs一样简单,但可以使用 Docker 在你自己的云基础架构中部署。使用LlamaIndex(LLM 应用程序的数据框架开源项目)构建。
▲配置起来与OpenAI 的自定义 GPT一样简单
油管博主:AlCodeKing/ 字幕译:Aitrainee,链接在这里:
https://www.youtube.com/watch?v=V2tQVzyQiiY
要运行 RAGapp,请使用镜像启动一个 Docker 容器:
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">dockerrun-p8000:8000ragapp/ragapp启动容器后,在浏览器中访问 http://localhost:8000/admin 来配置 RAGapp。可以选择使用 OpenAI 或 Gemini 的托管 AI 模型,或者使用 Ollama 的本地模型。
Docker 容器暴露以下端点:
管理 UI: http://localhost:8000/admin
聊天 UI: http://localhost:8000
API 文档: http://localhost:8000/docs
注意: 聊天 UI 和 API 仅在 RAGapp 配置完成后才可用。
为了确保 RAGapp 的安全,建议在云环境中保护/admin 路径,因为 RAGapp 本身不包含任何认证层。
docker-compose.yml文件,使得在自己的基础设施中轻松部署 RAGapp,并与Ollama和Qdrant一起使用。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">可以通过MODEL环境变量指定要使用的模型,例如llama3:ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;">MODEL=llama3docker-composeupingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">如果未指定MODEL变量,将默认使用模型phi3,该模型比llama3略弱,但下载速度更快。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-left: none;padding: 1em;border-radius: 8px;color: rgba(0, 0, 0, 0.5);background: rgb(247, 247, 247);margin: 2em 8px;">注意:docker-compose.yml文件中的setup容器将把选定的模型下载到ollama文件夹中,这个过程可能需要几分钟。
OLLAMA_BASE_URL环境变量指定要使用的 Ollama 主机。如果未指定OLLAMA_BASE_URL变量,默认指向 Docker Compose 启动的 Ollama 实例 (http://ollama:11434)。如果使用的是本地 Ollama 实例,可以通过将OLLAMA_BASE_URL变量设置为http://host.docker.internal:11434来连接到 RAGapp:
MODEL=llama3OLLAMA_BASE_URL=http://host.docker.internal:11434docker-composeup
对于 macOS 用户,这是必要的,因为 Docker for Mac 不支持 GPU 加速。
可以轻松地在自己的云基础设施中部署 RAGapp。定制的 Kubernetes 部署描述符即将推出,敬请期待。
要进行开发,请按照以下步骤操作:
poetryinstall--no-root
makebuild-frontends
makedev注意: 在开发过程中查看管理 UI,请访问 http://localhost:3000/admin。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |