返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

Verba:终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等!

[复制链接]
链载Ai 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题
Aitrainee | 公众号:AI进修生

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1em;letter-spacing: 0.1em;color: rgb(80, 80, 80);">?在本文中,我们将深入探讨 Verba,这是一款革命性的开源 rag 引擎。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);padding-left: 0.5em;padding-right: 0.5em;">使用 Verba,通过简单的几步操作,您可以轻松探索您的数据集并提取见解,无论是在本地使用 HuggingFace 和 Ollama,还是通过 OpenAI、Cohere 和 Google 等LLM提供商进行操作。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);padding-left: 0.5em;padding-right: 0.5em;">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);padding-left: 0.5em;padding-right: 0.5em;">

pipinstallgoldenverba

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 0.5em;border-left: 3px solid rgb(0, 152, 116);color: rgb(63, 63, 63);padding-right: 0.5em;">什么是 Verba?

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);padding-left: 0.5em;padding-right: 0.5em;">Verba 是一个完全可定制的个人助手,用于查询和与您的数据交互,无论是在本地还是通过云部署。解决文档中的问题,交叉引用多个数据点,或从现有知识库中获取见解。Verba 结合了最先进的 RAG 技术与 Weaviate 的上下文感知数据库。根据您的个人使用情况,在不同的 RAG 框架、数据类型、分块与检索技术以及 LLM 提供商之间进行选择。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.5em;padding-left: 0.5em;background: rgb(0, 152, 116);color: rgb(255, 255, 255);">功能列表

? 模型支持实现情况描述
Ollama(如Llama3)由 Ollama 提供的本地嵌入和生成模型
HuggingFace(如MiniLMEmbedder)由 HuggingFace 提供的本地嵌入模型
Cohere(如Command R+)由 Cohere 提供的嵌入和生成模型
Google(如Gemini)由 Google 提供的嵌入和生成模型
OpenAI(如GPT4)由 OpenAI 提供的嵌入和生成模型
? 数据支持实现情况描述
PDF 导入将 PDF 导入 Verba
CSV/XLSX 导入将表格数据导入 Verba
多模态计划中 ⏱️将多模态数据导入 Verba
UnstructuredIO通过 Unstructured 导入数据
✨ RAG 功能实现情况描述
混合搜索语义搜索与关键词搜索相结合
语义缓存基于语义意义保存和检索结果
自动补全建议Verba 提供自动补全建议
过滤计划中 ⏱️执行 RAG 之前应用过滤器(如文档、文档类型等)
高级查询计划中 ⏱️基于 LLM 评估的任务委派
重新排名计划中 ⏱️基于上下文重新排名结果以改进结果
RAG 评估计划中 ⏱️用于评估 RAG 管道的界面
可自定义元数据计划中 ⏱️对元数据的自由控制
? 额外功能实现情况描述
Docker 支持Verba 可通过 Docker 部署
可定制前端Verba 的前端完全可定制
? RAG 库实现情况描述
Haystack计划中 ⏱️实现 Haystack RAG 管道
LlamaIndex计划中 ⏱️实现 LlamaIndex RAG 管道
LangChain计划中 ⏱️实现 LangChain RAG 管道
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-left: none;padding: 1em 0.5em;border-radius: 8px;color: rgba(0, 0, 0, 0.5);background: rgb(247, 247, 247);margin: 2em 8px;">

缺少什么内容?欢迎创建新问题或讨论您的想法!


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 2em auto 1em;padding-right: 0.5em;padding-left: 0.5em;border-bottom: 2px solid rgb(0, 152, 116);color: rgb(63, 63, 63);">Verba入门指南

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);padding-left: 0.5em;padding-right: 0.5em;">您有三种部署 Verba 的选项:

  • •通过 pip 安装

pipinstallgoldenverba
  • •从源码构建

gitclonehttps://github.com/weaviate/Verba

pipinstall-e.
  • •使用 Docker 进行部署

前提条件:如果您不使用 Docker,请确保您的系统上安装了Python >=3.10.0

如果您不熟悉 Python 和虚拟环境,请阅读python 教程指南。

API密钥

在启动 Verba 之前,您需要根据所选技术配置对各组件的访问,例如通过.env文件配置 OpenAI、Cohere 和 HuggingFace 的访问权限。在您要启动 Verba 的目录中创建此.env文件。您可以在goldenverba目录中找到.env.example文件。

请确保仅设置您打算使用的环境变量,缺少或不正确的环境变量值可能会导致错误。

以下是您可能需要的 API 密钥和变量的综合列表:

环境变量描述
WEAVIATE_URL_VERBA您的 Weaviate 集群的 URL连接到您的WCS集群
WEAVIATE_API_KEY_VERBA您的 Weaviate 集群的 API 凭证连接到您的WCS集群
OPENAI_API_KEY您的 API 密钥获取对OpenAI模型的访问权限
OPENAI_BASE_URLOpenAI 实例的 URL模型
COHERE_API_KEY您的 API 密钥获取对Cohere模型的访问权限
OLLAMA_URL您的 Ollama 实例的 URL(例如:http://localhost:11434 )获取对Ollama模型的访问权限
OLLAMA_MODEL模型名称(例如:llama)获取对特定Ollama模型的访问权限
UNSTRUCTURED_API_KEY您的 API 密钥获取对Unstructured数据导入的访问权限
UNSTRUCTURED_API_URLUnstructured 实例的 URL获取对 [Unstructured](https

://docs.unstructured.io/welcome) 数据导入的访问权限 | | HUGGINGFACEHUB_API_TOKEN | 您的 API 密钥 | 获取对HuggingFace模型的访问权限 | | HUGGINGFACEHUB_BASE_URL | HuggingFace 实例的 URL(例如:https://api-inference.huggingface.co/)| 获取对特定HuggingFace模型的访问权限 | | GOOGLE_APPLICATION_CREDENTIALS | JSON 文件路径或直接的 JSON 字符串(例如:JSON 字符串) | 获取对Google模型的访问权限 |


如何通过pip部署

在安装了Python >=3.10.0的系统上执行以下步骤:

  1. 1.安装goldenverba包:

pipinstallgoldenverba
  1. 1.在 Verba 项目目录中创建.env文件。您可以使用示例文件.env.example来设置环境变量。最少需要设置以下环境变量:

OPENAI_API_KEY=您在OpenAI注册的API密钥
  1. 1.启动 Verba:

verba

如何从源码构建

在安装了Python >=3.10.0的系统上执行以下步骤:

  1. 1.克隆 Verba 仓库并导航到该目录:

gitclonehttps://github.com/weaviate/Verba

cdVerba
  1. 1.安装goldenverba包:

pipinstall-e.
  1. 1.在 Verba 项目目录中创建.env文件。您可以使用示例文件.env.example来设置环境变量。最少需要设置以下环境变量:

OPENAI_API_KEY=您在OpenAI注册的API密钥
  1. 1.启动 Verba:

verba

如何通过Docker安装Verba

在安装了 Docker 的系统上执行以下步骤:

  1. 1.在 Verba 项目目录中创建.env文件。您可以使用示例文件.env.example来设置环境变量。最少需要设置以下环境变量:

OPENAI_API_KEY=您在OpenAI注册的API密钥
  1. 1.运行 Docker 容器:

dockerrun--rm-it--env-file.envgoldenverba

您可以通过docker-compose文件来简化此过程。请参考docker-compose 示例文件。


? Verba演练

在成功安装 Verba 后,您可以通过以下步骤快速开始:

  1. 1.访问 Verba 的 web 界面,默认为 http://localhost:8080。



  2. 2.导入您的数据,例如上传一个 PDF 文件或 CSV 文件。




  3. 3.开始查询您的数据,通过 Verba 的检索增强生成技术获取见解。


您可以参考快速开始视频了解更多。

? 已知问题

  • •某些模型在特定数据集上表现不佳。

  • •高并发请求可能导致响应时间较慢。

参考链接:
[1]https://github.com/weaviate/Verba


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ