微调LLM就像创业，一不小心它就会变傻子

显示全部楼层

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin: 1em 4px;line-height: 26px;">你有微调过大语言模型（LLM）吗？

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin: 1em 4px;line-height: 26px;">ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;">

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin: 1em 4px;line-height: 26px;">它看起来简单，但实际上坑多得很！

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">研究员Yam Peleg在推特上一番吐槽，道出了其中的辛酸。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">他说，微调LLM最难的地方在于：

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size:0.9em;overflow:auto;overflow-scrolling:touch;border-left:3px solid #35b378;background:#FBF9FD;color:#616161;padding-top:10px;padding-bottom:10px;padding-left:20px;padding-right:10px;margin-bottom:20px;margin-top:20px;margin:10px 5px;border-right:0 solid #35b378;quotes:none;">
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:0;line-height:26px;color:black;">我们想要的不是"学习一项技能"，而是"在已有能力基础上添加新技能"。

这跟传统机器学习完全是两码事啊！

举个栗子，如果你用一堆"输出JSON"的指令去训练LLM，然后再喂给它一些JSON数据……

猜猜会发生什么？

你可能会得到一个只会吐随机JSON的"傻子"模型！

Yam Peleg提醒道，你真正需要的是：

既是有效指令，又符合JSON格式的数据集。

好家伙，想搞到这种数据，不花大力气是不行的。

那么，微调到底该怎么搞？Yam Peleg给出了几点建议：

1. 从头训练通常效果更好

但别忘了，ML界的黄金法则：有条件的话，两种方法都试试，用验证集挑选最佳模型。

2. RAG vs 微调

对大多数人来说，RAG（检索增强生成）简单得多，而且能更快获得好结果。

但如果你真下定决心搞微调：

微调确实可能更胜一筹
持续预训练其实跟微调是一回事
RAG+微调潜力最大（也最难搞）
换基础模型怎么办？

这是个棘手的问题，没有捷径可走。在决定微调之前，一定要考虑清楚。

有网友还提到，RAG+微调的效果可能还不如RAG+基础模型。Santiago回应说：

这说得通，微调可能会削弱模型检索信息的能力。不过具体还得看应用场景。

所以想微调LLM的朋友们，可要三思而后行啊！

别到头来，辛辛苦苦调出个"只会吐JSON的傻子"，那可就尴尬了。

最后，Yam Peleg 强调：

在ML领域，如果你能尝试，就尝试所有可能的方法。在验证集上测试，选择得分最高的。

这话虽然听着像是废话，但确实是真理！