1 概述

以往我们使用的文本切分方式，都是基于特定字符、或者特定长度的，而完全不考虑语义，这未免有点奇怪，而且从实践经验来看，使用特定字符或特定长度的切分方式，导致片段语义不连贯是非常明显的一个问题。

langchain-experimental库中有一个SemanticChunker，可以将句子转换为向量，并计算不同向量之间的相似性，来决定是否需要切分，由于向量可以代表句子的语义，因此这样切分也是语义切分。

langchain-experimental库的实现，来自另一位作者（后文称原作者）：https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5_Levels_Of_Text_Splitting.ipynb。

2 原理

SemanticChunker的切分原理是这样的，例如使用正则表达式，将原始文本切分后得到了一系列句子：

[sentence_1,sentence_2,sentence_3,sentence_4,sentence_5,sentence_6,sentence_7,sentence_8,sentence_9,...]

原作者共提出了两种方法：

带位置奖励的层次聚类：例如将上面的那些句子，每个都分别计算Embedding，然后对这些Embedding进行层次聚类。但作者提到有些特别短的句子，切分开可能会导致语义的改变，例如“But because I chose to split on sentences, there was an issue with small short sentences after a long one. You know?”，最后面的“You know?”就是特别短的句子，单独切开计算相似度显然不合适。所谓的位置奖励就是，将更可能挨在一起的句子在切分时给予一定的奖励。但作者提到，这种方法调参会很慢而且不是最优的（slow and unoptimal），神奇的是我们使用这种方法切分取得了很好的效果。
在连续句子中寻找切分点：这种想法很好理解，就是对每个句子计算Embedding，然后分别计算相邻句子的距离（1-余弦相似度），当这个距离突破特定阈值时，则在此处切开，例如上面的sentence_1、sentence_2、sentence_3，之间的距离都比较近，而sentence_3与sentence_4距离比较远，则在sentence_3和sentence_4之间增加切分点，最终就会把1、2、3分成一个切片。这样理解比较直观，但实际操作时会发现噪音比较大，因此作者采用了滑动窗口的方式，相当于做了“平滑处理”，窗口大小保留为3，发现效果不错。

注意：窗口大小为3，对应下面介绍的代码中SemanticChunker构造函数中buffer_size=1，因为会向前、后各取buffer_size个句子。

如此操作完之后，将横轴记为句子的index，纵轴为句子距离，就得到了下面的图：

然后将显著大于正常距离的点，作为切分点，就可以得到如下的切分位置，以及切片。

至于怎样的距离算显著，langchain-experimenal中提供了4种方法：

percentile：分位数切分法，默认切分方法，也是原作者所使用的切分方法，这种方式也最好理解，percentile的默认值设置为95，意味着距离大于等于95分位数的地方，增加切分点，95分位数就是所有距离从小到大排列，分为100份，第95份的那个数
standard_deviation：标准差偏离法，也是统计学中表示偏离正常的常规方法，这种方法比较适合正态分布，切分点的值大于等于“距离的均值+3*距离的标准差”，3是代码中standard_deviation的默认值，也是最常用的值
interquartile：四分位距法，是统计学中表示偏离的另一种常规方法，这种方法计算分位数，所以数据分布不那么正态问题也不大，切分点的值大于等于“距离的均值+1.5*距离的四分位距”，其中1.5是代码中的默认值，也是最常用的值，距离的四分位距的计算，首先将所有距离由小到大排列分成100份，在第25份的位置记为q1（下四分位），第75份的位置记为q3（上四分位），四分位距=q3-q1，因为用了两个四分位的距离，所以叫四分位距
gradient：梯度法，这种方式稍微难理解一些，它首先计算了所有距离的梯度（对于这个场景其实是一阶差分，因为是离散值），梯度计算出来后，就可以知道哪个地方距离变化得快，然后选择所有梯度95分位的位置作为切分点，95是代码中的默认值。这个方法背后对应的道理是，句子之间的距离是有增有降的，那在增加的过程中，如何找准时机呢，那我一定要在猛增的那个点进行切分，其实跟k-means使用肘方法来确定类簇数量，想法是一样的

本文对应的代码已开源，地址在：

https://github.com/Steven-Luo/MasteringRAG/blob/main/split/02_embedding_based_sementic_splitter.ipynb

使用Embedding的切分，核心代码非常简单，准备好Embedding模型和要切分的文档后，两行代码就能搞定：

SemanticChunker


HuggingFaceBgeEmbeddings


embeddings=HuggingFaceBgeEmbeddings(
model_name=,
model_kwargs={:device},
encode_kwargs={:},

query_instruction=
)

OpenAIEmbeddings
embeddings=OpenAIEmbeddings()



text=(os.path.join(os.path.pardir,,,)).read()


text_splitter=SemanticChunker(
embedding_model
)
docs=text_splitter.create_documents([text])

特别注意：SemanticChunker这个切分器默认的参数，是为英文优化的，在中文上直接使用的话，是不work的，下面介绍一些重要的参数，以及在中文环境下要注意的点。

4.1 注意切分的正则表达式

SemanticChunker的构造器如下：

(BaseDocumentTransformer):











(
,
embeddings:Embeddings,
buffer_size:=,
add_start_index:=,
breakpoint_threshold_type:BreakpointThresholdType=,
breakpoint_threshold_amount:Optional[]=,
number_of_chunks:Optional[]=,
sentence_split_regex:=,
min_chunk_size:Optional[]=,
):
...

构造函数中有一个参数sentence_split_regex，用于先将文本切分成片段，从源代码中可以看出，它默认是对英文的句号、问号、感叹号进行切分的，而且是对比较规范的英文行文，也就是这三种标点后还跟空白字符的，对于中文，是无法正常切分的，使用中文时，首先要将这个正则表达式替换成能切分中文的，例如下面这样：

sentence_split_regex=

链载Ai

1 概述

2 原理

3 效果

4.1 注意切分的正则表达式

4.2 使用buffer_size控制窗口大小

4.3 注意最小切片大小

4.4 注意观察切片后的大小

4.5 使用层次聚类