fromllama_index.coreimportVectorStoreIndex,SimpleDirectoryReader,Settings
fromllama_index.llms.ollamaimportOllama
fromllama_index.core.node_parserimportSentenceSplitter
fromllama_index.retrievers.bm25importBM25Retriever
#这里仍然使用Ollama，你可以根据自己的情况，选择合适的LLM和embeddingmodel
Settings.llm=Ollama(model="wizardlm2:7b-q5_K_M",request_timeout=300.0)
fromllama_index.embeddings.ollamaimportOllamaEmbedding
Settings.embed_model=OllamaEmbedding(model_name="snowflake-arctic-embed:latest")
embed_dim=len(Settings.embed_model.get_query_embedding('hello'))
#索引
documents=SimpleDirectoryReader("./data/paul_graham").load_data()
splitter=SentenceSplitter(chunk_size=1024)#为了bm25需要，可以适当改小该值
nodes=splitter.get_nodes_from_documents(documents)
vector_store=DuckDBVectorStore(embed_dim=embed_dim,
database_name="paul.duck",
persist_dir="duckdb")
storage_context=StorageContext.from_defaults(vector_store=vector_store)
storage_context.docstore.add_documents(nodes)
#vectorretriever
vector_retriever=index.as_retriever(similarity_top_k=5)
#BM25Retriever
bm25_retriever=BM25Retriever.from_defaults(nodes=nodes,similarity_top_k=5)
query="WhathappenedatViawebandInterleaf?"
fromllama_index.core.response.notebook_utilsimportdisplay_source_node
#willretrievecontextfromspecificcompanies
nodes_bm25=bm25_retriever.retrieve(query)
fornodeinnodes_bm25:
display_source_node(node)
importduckdb
conn=duckdb.connect('duckdb/paul.duck')
conn.sql('select*fromdocumentslimit5').df()conn.sql('installfts')#第一次需要安装全文索引插件
conn.sql('loadfts')#加载全文索引插件
#创建全文索引
conn.sql("
RAGMAcreate_fts_index('documents','node_id','text');")
#重现bm25_retriever.retrieve(query)
conn.sql(f"""
SELECT
fts_main_documents.match_bm25(node_id,'{query}')ASscore,
node_id,text
FROMdocuments
WHEREscoreISNOTNULL
ORDERBYscoreDESC
LIMIT5
""").df()对比bm25_retriever.retrieve(query)的实现， 结果略有不同， 因为使用的bm25引擎不同， bm25_retriever 使用的是rank_bm25[1]
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">关于DuckDB 全文索引插件的使用，详见，https://duckdb.org/docs/extensions/full_text_search接下来重现全文检索与向量检索选哪个？提到的混合搜索
relativeScoreFusion 通过分别归一化向量搜索和关键词搜索输出的指标来确定每个对象的得分。最高值设为1，最低值设为0，其他值根据这个尺度介于两者之间。因此，总得分是通过归一化的向量相似度和归一化的BM25得分的加权和来计算的。
fromllama_index.core.retrieversimportQueryFusionRetriever
retriever_relative_score=QueryFusionRetriever(
[vector_retriever,bm25_retriever],
retriever_weights=[0.6,0.4],
similarity_top_k=10,
num_queries=1,#setthisto1todisablequerygeneration
mode="relative_score",
use_async=True,
verbose=True,
)
nodes_with_scores=retriever.retrieve(
"WhathappenedatInterleafeandViaweb?"
)
fornodeinnodes_with_scores:
print(f"Score:{node.score:.2f}-{node.text[:100]}...\n-----")
fromllama_index.core.query_engineimportRetrieverQueryEngine
query_engine=RetrieverQueryEngine.from_args(retriever_relative_score)
response=query_engine.query("WhathappenedatInterleafeandViaweb?")
display_response(response)相对得分融合（Relative Score Fusion）的一个变体，基于分布的得分融合（Distribution-Based Score Fusion）以稍微不同的方式对得分进行缩放——基于每个结果集的得分的平均值和标准差。
fromllama_index.core.retrieversimportQueryFusionRetriever
retriever=QueryFusionRetriever(
[vector_retriever,bm25_retriever],
retriever_weights=[0.6,0.4],
similarity_top_k=10,
num_queries=1,#setthisto1todisablequerygeneration
mode="dist_based_score",
use_async=True,
verbose=True,
)
nodes_with_scores=retriever.retrieve(
"WhathappenedatInterleafeandViaweb?"
)
fornodeinnodes_with_scores:
print(f"Score:{node.score:.2f}-{node.text[:100]}...\n-----")fromllama_index.core.query_engineimportRetrieverQueryEngine
query_engine=RetrieverQueryEngine.from_args(retriever_relative_score)
response=query_engine.query("WhathappenedatInterleafeandViaweb?")
display_response(response)到现在，我们不仅仅可以进行向量搜索，可以进行全文搜索，还可以使用两种方法进行混合搜索了。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |