文档向量化：这里可以将数据库中的所有数据，按一定的规则拼接成自然语言，然后向量化。还可以将一些LLM比较难理解的专有名词的解释向量化，在有相关的Query进来时，专有名词的解释也会被召回，一起放进Prompt中，帮助LLM理解Query
Query与SQL语句向量化:在Vanna中，这一步的做法是将Query与SQL dumps成一个字符串，一起向量化。
Vanna对比过不同策略加入后对最终效果的影响：
从下表可以看出，仅仅给出表的结构，LLM生成正确的SQL还是比较困难的，但是给了few shot后，效果立马飙升。
可以看到，使用上下文相关的fewshot，效果又提升了一小截。上下文相关的fewshot就是那些检索出来的相关的DDL、文档、以及Query-SQL对。
既然Vanna也是RAG，那么RAG的那些奇技淫巧，便可以在Text2SQL也派上用场了。咱们可以看看Vanna相比那些奇技淫巧少了哪些部分，给它安排上就完事了，核心目标就是为了提升检索相关度。
通过阅读Vanna的源码，发现Vanna只做了粗排，那么咱们就给它安排上重排，这不就好起来了么，简单粗暴。
class MyChromaDB(ChromaDB_VectorStore):def __init__(self, config=None):super().__init__(config)self.rerank_model = CrossEncoder('bge-reranker-large',max_length=512)def get_similar_question_sql(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.sql_collection.query(query_texts=[question],n_results=self.n_results_sql,))if documents != []:scores = self.rerank_model.predict([(question, doc["question"]) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documentsdef get_related_ddl(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.ddl_collection.query(query_texts=[question],n_results=self.n_results_ddl,))if documents != []:scores = self.rerank_model.predict([(question, doc) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documentsdef get_related_documentation(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.documentation_collection.query(query_texts=[question],n_results=self.n_results_documentation,))if documents != []:scores = self.rerank_model.predict([(question, doc) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documents
对了，BCE的模型在Text2SQL场景的效果不咋地，不建议使用。我这里使用的是BGE，有条件的同学甚至可以微调一下。
我这里没有对Query-SQL对中的SQL做检索，主要是考虑到用户的Query与SQL语句的相关性并不大，当然，获取数据这里修改成只计算Query的相关性时，你还需要对Query-SQL的向量化部分进行相应修改，应改成只对Query embedding。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |