经过 pre-training 得到的Base Model具有通用的能力，为了adapt不同的任务，需要fine-tuning；
常用的微调方法包括：
Full Fine-Tuning 全参微调：调整所有模型参数，适用于数据量较大且对性能要求极高的情况。
Parameter-Efficient Fine-Tuning (PEFT)如冻结部分参数，仅调整某些层或模块（如 LoRA、Adapter）。
Instruction Tuning 指令微调，通过特定格式的数据集微调，提升模型对指令的理解能力。
持续学习：在模型中添加新数据训练，使其逐步适应新需求。
由于 LLM 的参数量巨大，全参微调需要较多的算力资源开销，成本较高，如训练时间长，需要较多显存等；
目前主流方案是通过 PEFT 进行微调，旨在减少需要训练的模型参数量，同时保证微调后的模型性能能够与全量微调的表现相媲美。
Adapters
PEFT-based 技术的一种思路是通过Adapters来实现；
通过在Transformer中添加一些模块组件，这样不需要微调全部参数，只需要微调Adapters的参数而冻结其他部分的参数，在特定任务上可以实现模型效果的提升；
Parameter-efficient transfer learning for NLP 显示3.6%的参数更新即可达到全参数微调的效果；
Adapters 也可以出现在模型中的不同位置：
本文介绍的LoRA是PEFT中广泛使用的技术，也可以看作是一种Adapter；
除了LoRA，其他PEFT还包含适配器微调，前缀微调、提示微调。
What is LoRA ?
LoRA: Low-Rank Adaptation of Large Language Models：https://arxiv.org/abs/2106.09685
LLM 的 Transformer 架构中，包含大量的线性变换层，且参数矩阵维度通常很高，研究人员发现模型在针对特定任务进行适配时，参数矩阵往往是过参数化(Over-parametrized)的，其存在一个较低的内在秩。
为了解决这一问题，LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。
LoRA在微调的时候，将pre-trained model的参数冻结，同时将可训练的秩分解矩阵注入到Transformer架构的layer中，可以极大降低需要训练的参数量。
★whichfreezes the pre-trained model weightsandinjects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks
How LoRA Work？
不同于全参微调，需要更新全部的参数；
我们可以进行矩阵分解，用小矩阵的更新来近似更新大矩阵；如图中显示，当rank=1的时候，需要更新的参数从10*10降低到10+10。