|
书接上回。 上一篇我们聊到,我在探索大模型微调的路上,卡在了“训练数据从哪来”这个问题上。经过一番折腾,我终于写出了一个能自动爬取、清洗、结构化 LangChain 官方文档的脚本,成功生成了一份高质量的训练数据集。 而就在最近,我完成了对这份数据集的微调训练——正式训练出一个专精 LangChain 最新生态技术栈的智能体模型!它不仅能准确回答 LangChain、LangGraph、LangSmith、DeepAgents 等模块的问题,还能结合上下文给出开发建议,甚至能帮你调试代码逻辑。可以说,它已经是一个“LangChain 专家”了。
这次微调,我用的是当下非常流行的 Llama Factory 框架。整个过程相当丝滑:加载模型、配置参数、导入数据、启动训练……一气呵成。特别要感谢 B 站博主“自负的魔方”提供的 Llama Factory 镜像,让我直接在 AutoDL 平台上开箱即用,省去了大量环境配置的麻烦。
模型底座我选的是 Qwen2.5-7B。之所以没用更新的 Qwen3,纯粹是因为时间关系(毕竟打工人白天搬砖,晚上搞 AI,时间真的太紧了😅)。不过别担心——等我把手头的多轮对话数据集做完,一定会基于 Qwen3 再训一个更强的版本! 说到数据集,这次训练用的是单轮对话格式,总共15127条样本,覆盖了 LangChain 整个技术生态的核心知识点。虽然量不算特别大,但胜在质量高、结构清晰。目前的效果已经明显优于传统的 RAG(检索增强生成)方案——不再是“查文档再拼答案”,而是真正理解 LangChain 的设计理念和使用逻辑。 更让我兴奋的是,我正在用 EasyDataset 工具构建一个多轮对话版本的训练集。想象一下:你和模型讨论一个复杂 Agent 架构,它能记住上下文、追问细节、逐步优化方案……那才叫真正的“智能体”体验!这,也正是我朝思暮想的 Vibe Agent 的雏形。
|