链载Ai
标题: 一站式解决方案：Cognita框架让RAG定制化触手可及 [打印本页]
作者: 链载Ai 时间: 2 小时前
标题: 一站式解决方案：Cognita框架让RAG定制化触手可及
Cognita 是一个开源框架，专为组织 RAG 代码库而设计，并配备了一个前端界面，以便用户能够轻松尝试不同的 RAG 定制化设置。该框架提供了一种简化的代码库组织方式，使得在本地测试变得简单，同时也能够部署到生产就绪的环境中。将 RAG 系统从 Jupyter Notebook 转换为生产环境时，需要解决以下关键问题：- 数据分块与嵌入作业：通常需要将数据分块和嵌入代码抽象出来，并作为一个作业部署。有时，这个作业需要按计划运行，或者通过事件触发，以保持数据的更新。
- 查询服务：生成查询答案的代码需要封装在一个 API 服务器中，如 FastAPI，并作为服务部署。该服务应能够同时处理多个查询，并在流量增加时自动扩展。
- 大型语言模型/嵌入模型部署：如果我们使用的是开源模型，通常会在 Jupyter 笔记本中加载模型。在生产环境中，这需要作为独立的服务托管，并且模型需要作为 API 被调用。
- 向量数据库部署：大多数测试是在内存或磁盘上的向量数据库上进行的。然而，在生产环境中，数据库需要以更可扩展和更可靠的方式部署。
Cognita 使得定制和实验 RAG 系统的各个方面变得非常简单，并且仍然能够以良好的方式部署。它还附带了一个用户界面，使用户能够更容易地尝试不同的 RAG 配置，并实时查看结果。它可以在本地使用，也可以与或不与 Truefoundry 组件一起使用。然而，使用 Truefoundry 组件可以更容易地测试不同的模型，并以可扩展的方式部署系统。Cognita 允许您使用一个应用程序托管多个 RAG 系统。
一个集中可复用的解析器、加载器、嵌入器和检索器库。
非技术用户可以通过用户界面进行操作——上传文档并使用开发团队构建的模块执行问答。
完全由 API 驱动——这允许与其他系统集成。
如果将 Cognita 与 Truefoundry AI 网关一起使用，您可以为用户查询获得日志记录、度量指标和反馈机制。
支持多种利用相似性搜索、查询分解、文档重排等功能的文档检索器。
支持使用 mixedbread-ai 提供的最先进的开源嵌入技术和重排技术。
支持使用 Ollama 技术利用大型语言模型（LLMs）。
支持增量索引功能，能够批量处理整个文档（减轻计算负担），跟踪已索引的文档，并防止这些文档的重复索引。
Langchain/LlamaIndex 提供了易于使用的抽象层，便于在 Jupyter 笔记本上进行快速实验和原型设计。然而，当项目转向生产环境时，需要满足诸如组件的模块化、易于扩展和可伸缩性等限制。这正是 Cognita 发挥作用的地方。Cognita 在底层使用 Langchain/LlamaIndex，并为您的代码库提供组织结构，其中每个 RAG 组件都是模块化的、由 API 驱动且易于扩展。Cognita 可以轻松地在本地设置中使用，同时提供生产就绪的环境以及无代码 UI 支持。Cognita 默认还支持增量索引。
参考：
1.https://github.com/truefoundry/cognita?tab=readme-ov-file
2.https://cognita.truefoundry.com/
| 欢迎光临 链载Ai (https://www.lianzai.com/) |
Powered by Discuz! X3.5 |