|
今天，我们正式发布Qwen3-Embedding系列模型, Qwen模型家族的新成员。该系列模型专为文本表征、检索与排序任务设计，基于Qwen3基础模型进行训练，充分继承了Qwen3在多语言文本理解能力方面的优势。 注：「MRL Support」表示Embedding模型是否支持最终向量的自定义维度。「Instruct Aware」表示Embedding或Reranker模型是否支持根据不同任务定制输入指令。
在多项基准测试中，Qwen3-Embedding系列在文本表征和排序任务中展现了卓越的性能。 - 我们使用MTEB(eng, v2), MTEB(cmn, v1), MTEB (Multilingual) 以及MTEB (Code)中的检索数据集进行测试, 分别记作MTEB-R, CMTEB-R, MMTEB-R, MTEB-Code.
- 排序结果基于Qwen3-Embedding-0.6B的top-100向量召回结果进行排序.
目前，该系列模型已在Hugging Face、ModelScope和GitHub平台开源，用户也可以直接使用阿里云百炼平台提供的最新的文本向量模型服务。
卓越的泛化性:Qwen3-Embedding系列在多个下游任务评估中达到行业领先水平。其中，8B参数规模的Embedding模型在MTEB多语言Leaderboard榜单中位列第一（截至2025年6月6日，得分70.58），性能超越众多商业API服务。此外，该系列的排序模型在各类文本检索场景中表现出色，显著提升了搜索结果的相关性。
灵活的模型架构:Qwen3-Embedding系列提供从0.6B到8B参数规模的3种模型配置，以满足不同场景下的性能与效率需求。开发者可以灵活组合表征与排序模块，实现功能扩展。 此外，模型支持以下定制化特性： 1) 表征维度自定义：允许用户根据实际需求调整表征维度，有效降低应用成本； 2) 指令适配优化：支持用户自定义指令模板，以提升特定任务、语言或场景下的性能表现。
全面的多语言支持:Qwen3-Embedding系列支持超过100种语言，涵盖主流自然语言及多种编程语言。该系列模型具备强大的多语言、跨语言及代码检索能力，能够有效应对多语言场景下的数据处理需求。
基于Qwen3基础模型，我们的Embedding模型和Reranker模型分别采用了双塔结构和单塔结构的设计。通过LoRA微调，我们最大限度地保留并继承了基础模型的文本理解能力。
具体实现如下： 1) Embedding模型接收单段文本作为输入，取模型最后一层「EOS」标记对应的隐藏状态向量，作为输入文本的语义表示； 2) Reranker模型则接收文本对（例如用户查询与候选文档）作为输入，利用单塔结构计算并输出两个文本的相关性得分。
Qwen3-Embedding系列模型的训练继承了GTE-Qwen系列的多阶段训练范式，但针对具体应用场景进行了深度优化。
在Embedding模型的训练过程中，我们采用三阶段训练架构：第一阶段通过超大规模弱监督数据进行对比学习预训练；第二阶段基于高质量标注数据进行监督训练；最终通过模型融合策略融合多个候选模型，以提升整体性能。这种分阶段训练机制有效平衡了模型的泛化能力与任务适配性。
在Reranker模型的训练中，基于实验验证结果，我们直接采用高质量标注数据进行监督训练，以提升训练效率。特别需要说明的是，在Embedding模型的第一阶段弱监督训练中，我们构建了多任务适配的Prompt体系，利用Qwen3基础模型的文本生成能力，我们针对不同任务类型和语言特性，动态生成了一系列弱监督文本对，突破了传统方法依赖社区论坛或开源数据筛选获取弱监督文本对的局限性，实现了大规模弱监督数据的高效生成。
Qwen3-Embedding系列模型是一个新的起点，依托于Qwen基础模型的持续优化, 我们将继续提升文本表征与排序模型的训练效率，以增强模型在实际场景中的部署性能。
此外，我们还计划拓展多模态表征体系，构建跨模态语义理解能力。我们期待更多开发者基于Qwen3-Embedding系列探索更广泛的应用场景，推动模型在不同业务场景中的深入应用。 | 
