PrivateGPT是一个基于大型语言模型(LLMs)的应用程序接口(API)，它允许用户在无网络连接的情况下对文档进行提问。
该工具注重隐私保护，可以部署在本地，100%实现私有化，确保数据隐私性，保证所有数据始终保持在用户的执行环境中，不对外泄露。
PrivateGPT项目提供了一个API，包括构建私有、情境感知AI应用所需的所有基本组件，并遵循并扩展了OpenAI API标准，支持正常响应和流式响应。
在高度关注数据安全性的行业，如医疗保健或法律领域中，公司需要确保使用AI工具时数据完全可控。
对于希望在离线环境下使用类似于chatGPT的本地聊天工具的企业或个人。
可以查阅官方详细文档（https://docs.privategpt.dev/）获取关于安装、依赖、配置、运行服务器、部署选项、本地文档摄入以及API细节和UI功能的完整指南。
gitclonehttps://github.com/imartinez/privateGPT
cdprivateGPT
pyenvinstall3.11
pyenvlocal3.11
安装依赖管理工具Poetry。
安装make工具以运行不同的脚本。
根据你的需求选择合适的模块组合来定制安装。例如，可以选择LLM（大语言模型）类型、Embeddings类型、Vector stores类型以及是否启用UI（Gradio）。
使用Poetry通过extras选项仅安装所需依赖项。例如，对于一个基于Ollama的本地全栈设置，可以执行：
poetryinstall--extras"uillms-ollamaembeddings-ollamavector-stores-qdrant"
这是最简单的本地运行方式，依赖于Ollama提供的LLM和Embeddings服务。
你需要访问ollama.ai并按照指示安装Ollama，并确保Ollama桌面应用关闭后，安装并拉取所需的模型数据。
之后启动Ollama服务，并在另一终端中安装并运行PrivateGPT。
如果需要高性能，则可以依赖AWS Sagemaker为LLM和Embeddings提供服务。
你需要拥有Sagemaker推理端点的访问权限，并正确配置AWS凭据。
编辑settings-sagemaker.yaml文件添加正确的端点信息，然后安装并运行PrivateGPT。
若要使用OpenAI或Azure OpenAI的LLM和Embeddings（注意数据将发送至这些平台），请根据文档中的指南配置API密钥和端点，然后安装并运行PrivateGPT。
如果希望完全本地运行且不依赖Ollama，可选用此方案。但请注意，Llama-CPP的安装可能较为复杂，需要安装特定的C++编译器以及针对GPU支持的额外配置。
以上每个设置的具体命令行操作已在参考资料中详细列出，务必确保在运行PrivateGPT之前满足所有先决条件。
成功安装并运行后，用户界面通常可以通过http://localhost:8001访问。
PrivateGPT通过FastAPI构建，包含两个逻辑块：
高级API抽象了RAG（检索增强生成）的所有复杂流程的实现，包括：
文档处理：在内部管理文档的解析、分割、元数据提取、嵌入生成和存储。
基于已提取文档上下文的聊天与补全功能，抽象了上下文检索、提示工程化和响应生成过程。
低级API则允许高级用户实现他们自己的复杂流程，例如：
此外，项目提供了一个用于测试API的Gradio UI客户端。同时，还提供了一套实用工具，例如批量模型下载脚本、文档摄入脚本、文档夹监控工具等。
总之，PrivateGPT致力于让开发者更容易地构建AI应用程序和体验，同时也为社区提供了一个适合扩展和贡献的架构平台。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |