返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

开源嵌入新王落地!Qwen3-Embedding 本地部署指南 Dify 召回测试实录

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 21:10 |阅读模式 打印 上一主题 下一主题

前两天,通义千问推出的 Qwen3-Embedding 系列模型(包括8B、4B和0.6B三个版本)在权威评测中表现惊艳,尤其在多语言任务和长上下文处理能力上全面超越主流竞品,成为开源嵌入模型的新王者。

多尺寸全能选手,全面碾压BGE-M3!

性能霸榜,全尺寸领先

Qwen3-8B70.58总分登顶榜单(超越Gemini-001的68.37),在16项评测中12项第一,尤其在检索精度(MSMARCO 57.65)、问答能力(NQ 10.06) 等关键任务上表现惊艳。

即使最小尺寸的Qwen3-0.6B(仅595M参数),总分64.34仍显著超越7B级竞品(如SFR-Mistral 60.9),小模型也有大能量!

对比BGE-M3:全方位代差优势

指标 Qwen3-8B BGE-M3 优势幅度
综合得分 70.58 59.56 11.02
上下文长度 32K 8K ↑ 4倍
检索任务(MSMARCO) 57.65 40.88 41%
开放问答(NQ) 10.06 -3.11 实现负分逆转
多语言理解 28.66 20.10 42%

Qwen3在保持99%榜单合规性的同时,以更高维度参数(8B vs 568M)和4倍上下文支持,彻底改写Embedding模型性能边界!

同尺寸模型对比:性能碾压同级

同为7B级别:Qwen3-8B对比Linq-Embed-Mistral(61.47)、SFR-Mistral(60.9),性能领先超15%。

轻量级战场:Qwen3-0.6B(64.34)大幅领先同类小模型如multilingual-e5-large(63.22)、BGE-M3(59.56),证明通义千问架构的高效性。

本地部署Qwen3-Embedding

GPUStack本地部署

根据官方文档自行部署GPUStack,官方提供了Docker镜像,可快速部署。

在GPUStack的 模型 界面,点击 部署模型 -> ModelScope,搜索qwen3-embedding。平台会自动检测你的硬件性能,推荐可以安装的量化模型版本。

gpustack 部署 qwen3-embedding
gpustack 部署 qwen3-embedding

我们选择了 qwen3-embedding-8b的Q8_0量化版本,等待模型下载,提示 running,表示模型已经部署完成。

qwen3-embedding 模型部署成功
qwen3-embedding 模型部署成功

dify中测试

现在Dify的插件市场中找到GPUStack,点击安装插件。等插件安装完成后,进行模型配置。

Dify 中配置本地GPUStack部署的 QWEN3-EMBEDDING
Dify 中配置本地GPUStack部署的 QWEN3-EMBEDDING

创建知识库,在Embedding模型中,选择我们自己部署的模型。

Dify知识库创建
Dify知识库创建

把公众号的历史文章,放入知识库进行测试。

上传文档
上传文档

选择Dify的父子分段策略。由于是markdown格式,希望每一个大段为一个父块,分段符选择 “#”.

配置解析方式
配置解析方式

测试一下召回情况

召回测试
召回测试
(完)

关注公众号获取更多精彩内容

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ