原因不再赘述, 本文将以维基百科的数据集为例, 用PolarDB PostgreSQL数据库进行管理, 说明如何通过以下手段提高召回覆盖率和召回精度.
准备环境 假设你已经部署好了如下环境
《穷鬼玩PolarDB RAC一写多读集群系列 | 在Docker容器中用loop设备模拟共享存储搭建PolarDB RAC》
《穷鬼玩PolarDB RAC一写多读集群系列 | 接入私有化大模型服务》
下载维基百科数据集 用到命令行工具
https://huggingface.co/docs/huggingface_hub/main/en/guides/cli
pip install -U"huggingface_hub[cli]"维基百科数据集如下, 页面中有数据格式, 分为4个字段id, url, title, text
https://huggingface.co/datasets/wikimedia/wikipedia
我们可以只下载中文的数据集
https://huggingface.co/datasets/wikimedia/wikipedia/tree/main/20231101.zh
train-00000-of-00006.parquet 新建目录
mkdir ~/wiki 下载
HF_ENDPOINT=http://hf-mirror.com nohup huggingface-cli download wikimedia/wikipedia --include 20231101.zh/* --repo-type dataset --local-dir ~/wiki --cache-dir ~/wiki/.cache --resume-download --max-workers 1 >~/wiki/download.log 2>&1 & PS:
本来duckdb可以直接下载hf的数据集, 但是它不会自动使用代理. 导致访问失败
https://huggingface.co/docs/hub/en/datasets-duckdb
$ HF_ENDPOINT=http://hf-mirror.com ./duckdb 将维基百科数据集导入PolarDB 将下载好的parquet文件放到PolarDB容器可以访问到的地方
mv ~/wiki ~/data_volumn/ 进入PolarDB容器
dockerexec-ti pb1 bash 下载duckdb
cd/data 使用DuckDB查询数据集
./duckdb 创建PolarDB数据库用户
$ psql 将维基百科数据集导入PolarDB, 用到了DuckDB postgres_scanner插件.
https://duckdb.org/docs/stable/extensions/postgres.html
./duckdb PS: 如果你有足够的空间, 可以把parquet导出到csv, 然后使用psql copy来导入会更快.
-- duckdb 数据大小
postgres=# \dt+准备插件和本地模型服务 创建相应插件
$ psql 使用本地/远程模型
$ Ollama list 指定模型API地址
psql 数据处理和检索优化 1、分段/切片 可以使用pgai / postgresml, 对原始数据进行分段
https://github.com/postgresml/postgresml?tab=readme-ov-file#chunk
https://postgresml.org/docs/open-source/pgml/api/pgml.chunk
https://www.cybertec-postgresql.com/en/pgai-importing-wikipedia-into-postgresql/
https://python.langchain.com/docs/how_to/#text-splitters
https://python.langchain.com/docs/integrations/splitters/writer_text_splitter/#setup
如何选择分段算法? :
https://docs.dify.ai/zh-hans/guides/knowledge-base/create-knowledge-and-upload-documents/chunking-and-cleaning-text
使用pgml切片举例如下 首先部署rust, 可参考下文：
《PostgreSQL pg_bm25(open source by paradedb)：Postgres 内部的弹性质量全文搜索 性能优于tsvector tsrank 20x》 部署rust
curl --proto'=https'--tlsv1.2 -sSf https://sh.rustup.rs | sh 配置国内镜像
echo" 下载pgml插件代码
cd/data 编译安装pgml插件依赖环境
cd/data/postgresml/pgml-extension/ 编译安装pgml插件
PGRX_IGNORE_RUST_VERSIONS=y cargo pgrx install --release --pg-config `whichpg_config` 安装运行pgml时的依赖包
sudo pip3 install xgboost lightgbm scikit-learn langchain 配置postgresql.conf
vi ~/primary/postgresql.conf 重启PolarDB for postgresql
pg_ctl restart -m fast -D ~/primary 在数据库中安装插件
postgres=# create extension pgml; 使用pgml的chunk接口, 对前面导入的wikipedia进行切片
-- 先创建一个索引 切片函数支持的切片方法如下, 有若干种, 根据情况选择合适的
https://github.com/postgresml/postgresml/blob/master/pgml-extension/src/bindings/langchain/langchain.py SPLITTERS = { 切片函数的参数介绍
postgres=# \x 最后一个参数 kwargs, 取值取决于langchain的不同splitter的参数. 例如 CharacterTextSplitter :
https://python.langchain.com/docs/how_to/character_text_splitter/ from langchain_text_splitters import CharacterTextSplitter 测试一下切片参数, 把切片分段长度改小之后, 切片增多, 每个切片变小.
SELECT id, (pgml.chunk('character', content,'{"chunk_size": 500, "chunk_overlap": 100}'::jsonb)).chunk_index from wikiwhereid=100; 将分段数据写入一张新表, 包含“PK, 原始ID, 分段ID, 分段内容, 向量, 标签数组” ; 在原始数据中增加字段: “数组字段存储新表PK 对应一篇原始内容的所有分片, 向量, 标签数组” ;
-- 存储分片, 以及从分片提炼的tags下面使用少量样本数据. 仅用于演示.
create table wiki1 (like wiki including all);写入分片
insert into wiki_cks (wiki_id, ckid, content) select id, chunk_index, chunk from (2、对分段后的数据进行处理 下面使用openai插件, 参考
《穷鬼玩PolarDB RAC一写多读集群系列 | 接入私有化大模型服务》 1、使用模型 总结Q/A pairs
调整默认温度
CREATE OR REPLACE FUNCTION openai.prompt(context text, prompt text, model text DEFAULT NULL::text) 设置http请求超时
SELECT http_set_curlopt('CURLOPT_TIMEOUT','36000'); 总结QA测试
select openai.prompt( 感觉问题太多了, 不如生成1个最重要的. 生成QA
insert into wiki_cks_qa (wiki_id, ckid, qa) 2、使用模型 总结标签: K_Vs
提取关键词例子
select openai.prompt( 生成每个分段关键词
update wiki_ckssettags = ('{'||openai.prompt( 3、向量化 使用embedding模型:mxbai-embed-large:latest
SELECT http_set_curlopt('CURLOPT_TIMEOUT','36000'); 4、建立索引 倒排索引 原始文本+Q/A 中文分词: 用于分词搜索 倒排索引 原始文本+Q/A: 用于模糊查询 (分词和模糊查询可以二选一) 倒排索引 总结标签 K_V 数组: 用于标签匹配(包含、相交) 配置PolarDB
vi ~/primary/postgresql.conf 测试结巴分词
select to_tsvector('jiebacfg', content) from wikilimit1; 测试模糊查询token切分是否正常. 建议数据库ctype <> C
《PostgreSQL 模糊查询增强插件pgroonga , pgbigm (含单字、双字、多字、多字节字符) - 支持JSON模糊查询等》 《PostgreSQL 模糊查询最佳实践 - (含单字、双字、多字模糊查询方法)》 postgres=# select show_bigm('刘德华'); 1、创建模糊查询索引
CREATE INDEX ON wiki USING gin (content gin_bigm_ops); 2、创建分词查询索引, 模糊查询和中文分词可以二选一.
CREATE INDEX ON wiki USING gin (to_tsvector('jiebacfg', content)); 3、创建标签数组倒排索引
CREATE INDEX ON wiki_cks USING gin (tags); 4、创建向量字段索引, 注意, 召回率不仅和创建时的参数有关, 还和查询时的参数有关. 参考如下文章
《头大! 索引扫描和全表扫描结果不一样, 这向量数据库还能用? 教你一招大幅提升召回率(recall)》 setmax_parallel_maintenance_workers =2; 5、检索阶段 混合搜索 + rerank
语义相似 top_n测试问题: 蜜柑这部小说讲了什么故事?
1、语义相似 top_n
sethnsw.ef_search = 1000; 涉及操作符
postgres=# \do+ <=> 2、模糊查询 top_n
提取关键词
select openai.prompt( 使用关键词模糊查询
select * from wiki_ckswherecontent like'%蜜柑%'; 使用embedding再进行相似度过滤, 略.
也可以使用pg_bigm插件的相似度过滤, 参考如下. 长文匹配短句不太适合, 相似度太低.
https://github.com/pgbigm/pg_bigm/blob/REL1_2_STABLE/docs/pg_bigm_en.md#pg_bigmsimilarity_limit explain (analyze,verbose,timing,costs,buffers) select * from wiki_ckswherecontent =%'蜜柑'; 涉及操作符
postgres=# \do+ =% 3、分词查询 top_n
分词和模糊查询建议二选一就可以, 下面演示如何使用分词查询.
从问题中获得关键词
postgres=# select openai.prompt( 使用分词搜索
select * from wiki_ckswhereto_tsvector('jiebacfg', content) @@ to_tsquery('jiebacfg','蜜柑|小说|故事'); 涉及操作符
postgres=# \do+ @@ 4、标签查询 top_n
使用数组包含查询
select * from wiki_ckswheretags @>'{蜜柑,小说,故事}'::text[]; 使用数组相交查询
select * from wiki_ckswheretags &&'{蜜柑,小说,故事}'::text[]; 涉及操作符
postgres=# \do+ @> 5、上述合并后 rerank, 再取 top_k
使用rerank模型
例如如果是使用大模型云服务, 可以选择相应的rerank模型.
根据以上步骤得到的ckid, 获取对应chunk content, 使用reranker模型计算每个content、以及问题的embedding, 重写计算与问题的向量举例, 取top_k.
6、扩取上下文分段(例如前后各取1段)
根据第5步的到的ckid, 扩取前后各N个片段(补充上下文).
7、RAG
将问题+所有片段的参考内容, 提供给模型进行回复
OST',