返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

Langchain更换embedding向量模型

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 10:35 |阅读模式 打印 上一主题 下一主题

点击蓝字

关注我们


01

前言


抱歉啊,好久没更新了。不过,也确实没闲着。


最近初步尝试了Langchain,发现《langchain入门指南》这本书中的例子用的都是openaiembeddings,这个需要魔法。为此,经过查阅官方文档和CSDN,找到了合适的方法,同时说说其中的坑。


02

干货


对于中文,目前个人用得比较多的就是m3e和bge-large-zh。


m3e


m3e属于HF系列,根据网上信息(需亲自验证),该系列的embedding模型都可以尝试使用下列方式进行向量模型加载:

fromlangchain.embeddingsimportHuggingFaceEmbeddings


bge


bge的效果目前是首屈一指的,该模型在langchain框架中的导入方法是:

fromlangchain.embeddingsimportHuggingFaceBgeEmbeddings


03

避坑


(1)网上也有用ModelScopeEmbeddings的:

embeddings=ModelScopeEmbeddings(model_id='iic/nlp_corom_sentence-embedding_chinese-base')

我试了一下,除了示例中的这个模型可以正常使用,m3e、bge以及很多其它模型都会报错:

please check whether model config exists in configuration.json



(2)bge模型与chatglm3大模型不匹配,导致在与大模型对话时报错:

同时,后台输出方面,bge与m3e的差别在于参数”tool”和”functions”的不同。




目前尝试后的结论是:

m3e的适用性较强,可以与chatglm和Qwen大模型进行匹配交互,bge目前仅限于Qwen大模型,其它的,我也不知道。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ