4B 版本因量化丢失指令理解能力,8B版本虽能调用工具但存在内容偏差。14B+就能正常对话了,本地小模型可用性在逐步上升,但我距离流畅交互还差一块 16G 显卡的距离?听闻昨晚发布qwen3优化了模型的 Agent 和 代码能力,进而加强了对 MCP 的支持。
Qwen3:思深,行速
https://qwenlm.github.io/zh/blog/qwen3/
引言里面的这句话
小型MoE模型Qwen3-30B-A3B的激活参数数量是QwQ-32B 10%,表现更胜一筹,
`Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能`。让我很是兴奋了一把,于是下班回去在nas服务器用Ollamapull 模型部署好,使用cherry studio,启用obsidian-mcp,开始测试,测试结果却啪啪打脸。
测试内容:
模型命中不了 tool。
我都提示工具名称了,模型还是瞎回答。
| ArenaHard | ||
| AIME'24 / '25 | ||
| LiveCodeBench | ||
| CodeForces(Elo Rating) | ||
| GPQA | ||
| LiveBench | ||
| BFCL | ||
| MultiIF(8 Languages) |
Obsidian-MCP 通常用于以下任务:
这些任务主要要求:
JSON搜索获取周期笔记内容获取最近周期笔记列表获取最近修改的文件
tool_call这一层啊,咋就不 working,难道是这个q4量化导致智商减退厉害?openrouter的服务测试 8b,14b,30b 的。使用 cherryStudio 测试 qwen3:8b,是能够调用 tool,不过回答的有幻觉,返回的笔记名称都改了
Qwen3-4B-本地模型 + Obsidian-MCP的`本地问答`.md
回答成了
01Project/Blog/draft/Qwen3-4B-本地模型 + Obsidian-MCP的`本地问题`.md这个时候笔记使用
git 同步的优越性就出来了,本地使用 mcp 对笔记进行整理时,如果出现错误,可随时回滚到上次提交的版本!
使用 openrouter 的qwen3:14b模型进行测试
qwen3:14b模型的最大 token 是128K,15 万字,我想这足够分析一篇笔记了。判断是 openRouter 自家部署时的限制。换成通义官方的qwen3-demo:
https://huggingface.co/spaces/Qwen/Qwen3-Demo
测试下来同样的文本,是可以正常总结的,128k 的 token 数是足够的,那看来 8B,14B,32B 还是能在本地派上用成。
使用 Qwen3 与 Obsidian-MCP 的知识库交互测试得出结论:
4B 版本:量化压缩导致失语
obsidian_get_recent_changes指令无动于衷8B 版本:看似能用实则危险
幻觉改写,笔记名会被修改;14B+ 版本:真香警告
在我的 16G 显卡到来前,要注意做好隐私保护,先通过云端大模型 +MCP,读取非敏感数据目录作为问答的上下文。
毕竟,做技术的驾驭者,要懂得在现实约束中寻找最优解。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |