有没有任何本地Web用户界面具有真正的 RAG 功能和知识库处理功能？
Open WebUI - 对较大的文档集合处理不佳，缺乏引文使用户无法识别它是在处理知识还是在产生幻觉。在下载较大的模型时也会出现错误。
AnythingLLM - 文档的批量处理非常不灵活，模型切换隐藏在设置中。它还经常刹车。
RAGFlow - 尚不成熟，部署状况很糟糕。Docker-compose.yml 使用了一些奇怪的语法，在我尝试使用时无法正常工作。它还捆绑了很多不必要的基础架构组件，如代理服务器和 S3 存储，这让它在 Kubernetes 上的部署变得很糟糕。
Danswer - 非常不错的引用功能，但在升级和知识库管理方面却对所有用户都是管理员级别的操作--设置非常不灵活。
GPT4ALL
使用 SBERT。它的文档库可以打开或关闭，这样你就可以确定要将哪些文档库用作每个提示的知识库。
你所要做的就是建立一个文档库文件夹。
将该库指向一个文件夹，然后将你想要的文档放到该文件夹中。
当检测到文档文件夹有变化时，它会重新索引并运行嵌入。
它还会为每个提示提供很好的引文（如果你打开引文），这样你就可以看到它是否真的在 RAG。
最酷的功能是你可以将它设置为 API 端点，它会为你选择的模型和 RAG 文档库提供服务，这样发送到端点的提示就会给出 RAG 答案。这将带来一些新的可能性（领域专家端点）。
flowise 和 langflow
可以使整个过程可见并能直接管理。但是还没有设法获得任何流程来提取句子来自句子符合某种标准的文档。
Chat with Nvidia
如果您有 Nvidia 的显卡之一，请尝试使用 Chat with Nvidia 应用程序。作为测试，我给它喂了 10k 部 pdf 格式的科幻小说和奇幻小说。花了两天时间用我的 3090 ti 创建数据库，然后在引用方面效果很好，并且只为您提供数据中的事实......
Dify
他们有一个 docker-compose 设置，dify 值得与 AnythingLLM 和 Danswer 一起提及。https://dify.ai/
Cohere-toolkit
next.js 代码做得很好。有 890 个Web UI
使用SillyTavern 作为前端，它具有出色的 RAG 功能（网络搜索、文件、链接），并且具有许多可定制的设置和扩展、群聊、稳定的扩散图像，可以在家中托管它并在手机中使用它
LibreChat及其姐妹存储库rag_api
jan.ai
LMStudio 的开源替代品，最近刚刚添加了（基本）RAG。到目前为止，它是我见过的对功能请求最友好+响应最快的开源项目/团队。
PostgresML
直接在数据库中执行 RAG ，可以创建具有生产质量的 RAG 应用程序。
总结
大模型 LLM / RAG 开源项目
打包所有到一个容器中
基本的聊天集 + 轻松的模型切换 + 每个用户的知识库管理 + 共同开发的引用功能
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |