链载Ai

标题: LLM大模型4种微调方式，Full fine tuning，peft, prompt工程和rang，你怎么选？ [打印本页]

作者: 链载Ai 时间: 昨天 22:23
标题: LLM大模型4种微调方式，Full fine tuning，peft, prompt工程和rang，你怎么选？

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;display: table;border-bottom: 2px solid rgb(15, 76, 129);color: rgb(63, 63, 63);visibility: visible;">引言

现在的大模型都是泛化模型，每个领域都知道一点，但是，又不够深入，有时回答的模棱两可，你还需要结合搜索引擎、原始论文、书籍进一步验证模型的准确性。同时，受限于模型的规模，成本，对于实时性要求较高的场景，无法很好地满足。要解决这些问题，就需要对模型做优化，常见的方案，full fine tuning，peft，RAG，Prompt engineering：

Full Fine-tuning（微调）是指在预训练模型上，进一步训练以适应特定任务或数据集，全量调整模型参数，提高模型性能。
PEFT（Prompt Engineering Fine-Tuning）通过降低模型训练规模，按照模型的输入要求，给到训练样本，调整部分参数，提高生成质量。
RAG（Retrieval-Augmented Generation）结合了信息检索和生成技术，一般通过向量数据库，给提示词附加上上下文内容，提升生成质量。
Prompt engineering（提示词工程），通过调整提示语的形式和内容，指导模型生成特定风格或内容的文本。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">调优技术及其关键实现步骤

1. 全参数微调（Full Fine-tuning）

准备任务特定的标注数据集。
预处理数据，使其适用于模型输入。
配置模型超参数，如学习率、批量大小和训练周期。
使用任务数据对模型进行训练，监控验证集上的性能以防止过拟合。
在测试集上评估模型性能，使用如BLEU、ROUGE等指标。
根据评估结果迭代优化模型性能。

2.PEFT（Parameter-efficient Fine-tuning）

选择性地更新模型中的一小部分参数。
利用如LoRA（Low-Rank Adaptation）等技术减少可训练参数的数量。
保持预训练模型的大部分权重不变，只对选定参数进行更新。
进行训练，重点关注更新的参数部分。
评估并迭代模型以达到最佳性能。

3. 提示词工程（Prompt Engineering）

设计输入提示，引导模型输出期望的响应。
使用zero-shot或few-shots，根据需要提供示例。
通过链式思考提示引导模型进行详细的问题解决。
测试并调整提示词以提高模型的准确性和鲁棒性。

4. 检索增强生成（Retrieval Augmented Generation, RAG）

构建或访问一个与应用上下文相关的外部数据源。
实现检索组件，将数据转换为向量并存储在向量数据库中。
结合检索到的信息和用户查询，为模型提供额外的上下文。
将检索到的文档与原始查询合并，生成最终响应。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">调优技术对比

适用场景

全参数微调：适用于需要模型完全理解特定领域知识的场景。
参数高效微调：适用于计算资源有限，但仍需模型适应特定任务的场景。
提示工程：适用于快速迭代和测试不同输出格式的场景。
检索增强生成：适用于需要结合外部最新数据源提供信息的场景。

实现成本

全参数微调：成本较高，需要大量计算资源和时间。
参数高效微调：成本较高，比全参数成本低一些，因为只更新模型的一小部分参数。
提示工程：成本最低，主要涉及编写和测试提示。
检索增强生成：成本中等，需要实现检索组件和处理外部数据源。

模型准确性

全参数微调：通常能提供最高的准确性，因为模型完全针对任务数据进行了优化。
参数高效微调：准确性接近全参数微调，但可能在某些任务上略有不足。
提示工程：准确性依赖于提示的设计，可能无法完全匹敌人工微调的结果。
检索增强生成：在需要最新信息的场景中准确性较高，但可能不如微调方法在特定领域的适应性强。

时效性

全参数微调：更新模型以反映最新数据成本最高，最慢，需要定期重新训练。
参数高效微调：可以较快地适应新数据，但仍需进行微调。
提示工程：几乎零成本，可以快速适应新的输出格式或结构要求。
检索增强生成：时效性最好，有一定的开发和信息维护的成本，适应动态变化的数据环境。

欢迎光临链载Ai (https://www.lianzai.com/)