Chonkie：开源、轻量、极速的 RAG 分块神器 🦛

显示全部楼层

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在不断扩展的大模型上下文里，分块不仅是技术需求，更是确保模型效率的关键手段。然而，面对大部分冗杂的分块工具，不少开发者需要更直接、更有效的解决方案。

这时，ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(51, 51, 51);">Chonkie— 一款专为分块任务设计的轻量工具 — 应运而生，成为了 RAG 应用开发中的绝佳帮手。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0.3em 1em;color: rgb(255, 255, 255);background: rgb(51, 51, 51);border-radius: 8px;box-shadow: rgba(0, 0, 0, 0.1) 0px 4px 6px;">为什么需要分块？

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">随着语言模型能够处理的上下文不断增加，在提供丰富上下文的同时也带来了计算速度与内存开销的挑战。通过分块，我们可以：

•ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(51, 51, 51);">精确匹配：剔除无用信息，提取模型需要的核心数据，避免无关内容干扰。
•ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(51, 51, 51);">提升细致度：在向量化表示中保留高精度信息，减少信息丢失。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 12px;color: rgb(63, 63, 63);">分块速度的重要性

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">对于大数据集（如百科全书或动态数据库），分块速度对性能至关重要。Chonkie 在设计中优化了速度，确保分块高效、无阻：

•多线程加速：充分利用多线程处理分块任务。
•预计算和缓存：提前计算并缓存结果，减少重复处理，大大提升整体效率。

Chonkie 的闪光点 ✨

Chonkie 的理念简单直接：轻量设计、极速响应且功能齐全。

作为一款专注于 RAG 应用的分块工具，它在以下方面尤为出色：

• ?丰富的分块选项：支持多种分块方式，满足不同应用场景。
• ⚡速度极快：优化的代码路径让分块过程行云流水。
• ?轻量设计：默认安装极简，按需加载，杜绝臃肿。
• ?广泛兼容：支持多种分词器，便于集成。
• ❤️纯粹高效：针对 RAG 应用的无废话分块体验，实用至上。

安装方法

Chonkie 提供了模块化的安装选项。以下是不同需求下的安装方案：

基本安装

使用基础功能只需执行以下命令：

pipinstallchonkie

可选安装

根据需求选择不同依赖，添加分块功能：

命令	功能描述	依赖库
`pip install chonkie`	Token 与 Word 分块	`tokenizers`
`pip install chonkie[sentence]`	支持句子分块	`spacy`
`pip install chonkie[semantic]`	支持语义分块	`sentence-transformers` ,`numpy`
`pip install chonkie[all]`	所有功能支持	所有依赖

快速上手：分块就是这么简单

使用 TokenChunker 对文本进行分块只需几行代码：

fromchonkieimportTokenChunker
fromtokenizersimportTokenizer

# 加载分词器
tokenizer = Tokenizer.from_pretrained("gpt2")

# 初始化分块器
chunker = TokenChunker(tokenizer=tokenizer, chunk_size=512, chunk_overlap=128)

# 分块文本
text ="你的长文本..."
chunks = chunker.chunk(text)

# 查看分块内容
forchunkinchunks:
 print(f"Chunk:{chunk.text}")
 print(f"Tokens:{chunk.token_count}")

灵活的分块器

Chonkie 支持多种分块器，适配不同应用场景的需求：

1.TokenChunker：基于令牌的分块，适合直接将文本分为相似大小的片段。
2.WordChunker：基于词语的分块器，保持完整词语，更适合保留文本语义结构。
3.SentenceChunker：按句子分块，确保句子完整，适合自然语言处理应用。
4.SemanticChunker：基于语义相似性进行分块，适合语义相关的分组需求。

以下是不同分块器的代码示例。

TokenChunker 示例

TokenChunker 按照给定的 token 数量分块：

fromchonkieimportTokenChunker
fromautotiktokenizerimportAutoTikTokenizer

tokenizer = AutoTikTokenizer.from_pretrained("gpt2")

chunker = TokenChunker(
  tokenizer=tokenizer,
  chunk_size=512, # 每块的最大 token 数
  chunk_overlap=128# 相邻分块的重叠数
)

WordChunker 示例

WordChunker 按照词语分块，保留完整词语，支持“简单”和“高级”模式：

fromchonkieimportWordChunker

chunker = WordChunker(
  tokenizer=tokenizer,
  chunk_size=512,
  chunk_overlap=128,
  mode="advanced"# 'simple' 或 'advanced'
)

SentenceChunker 示例

按句子进行分块，确保句子完整，支持 spacy 模式下的更精细分句：

fromchonkieimportSentenceChunker

chunker = SentenceChunker(
  tokenizer=tokenizer,
  chunk_size=512,
  chunk_overlap=128,
  mode="spacy", # 'simple' 或 'spacy'
  min_sentences_per_chunk=1
)

SemanticChunker 示例

基于语义相似性进行分块，确保语义连贯性，适合语义相关的文本处理任务：

fromchonkieimportSemanticChunker

chunker = SemanticChunker(
  tokenizer=tokenizer,
  embedding_model="all-minilm-l6-v2",
  max_chunk_size=512,
  similarity_threshold=0.7
)

性能基准：小河马，实力不凡 ?

Chonkie 虽小但强，数据测试显示：

•安装大小：默认仅 21MB，比大多数同类工具轻便。
•分块速度：

• 令牌分块：比最慢的竞品快 33 倍。
• 句子分块：比大部分竞品快近 2 倍。
• 语义分块：速度接近其他同类工具的 2.5 倍。

总结

Chonkie 是轻量、快速且功能全面的 RAG 分块工具，特别适合 NLP 应用的上下文管理需求。

结合模块化设计、灵活的依赖管理，以及丰富的分块器，Chonkie 为各类文本处理任务带来了前所未有的便捷体验。