|
怎么用大模型？从易到难有四种方式。 这四种方式都可以改变模型行为，以便模型输出更符合我们想要的结果。每种方式各有优缺点。 这四种方式是可以搭配使用的。 提示工程（Prompt Engineering） 提示是与大模型交互最基本、最简单的方式。你可以把提示看作是给模型的指令。相当于告诉模型你希望它给你反馈什么样的信息。举例来说，假如你想了解中国古代史，你可以说这里“我是一名小学生”，就相当于一个提示，模型会理解你的意图，以小学生能听懂的语言进行介绍。 可以通过精心设计提示词，获得符合你预期的结果。 精心设计的提示词不可能一蹴而就，需要迭代更新，逐步逼近你的结果。可以用版本的方式管理每次迭代的结果，所以叫提示工程。 写好提示词，也需要掌握一些技巧。可以参考《编写高质量Prompt的9个原则》 提示工程这种方式，会打字就可以做。 检索增强（Retrieval Augmented Generation，简称RAG） RAG是一种通过知识库外挂的形式，让问题回复更精准。 当模型需要回答问题时，它首先从知识库中查找并收集相关信息，然后根据该信息回答问题，以确保它能给你最好的答案。 这种方式出现的原因是因为大模型只具有通用信息，而你有一些行业知识或特定问题，比如公司会有自己独有的资料库或者档案。借助RAG，可以把你独有的信息存储到向量数据库，模型回答问题时，调用这个数据库里的信息，给出更符合你的场景和要求的答案。 大模型的训练数据是有截止时间的，不是实时更新，比如GPT-4训练数据目前截止时间是2023年12月。 意味着GPT-4模型不知道这个时间以后发生的事情，利用RAG技术可以实时抓取最新数据，比如进行新闻搜索，以根据最新信息提供答案。 RAG这种方式，需要了解一些开发技术。 以上两种方式对模型本身不做任何改变。 微调（Fine-tuning） 微调指的是在预训练的大模型基础上，通过进一步的训练来适应特定的任务或数据集的过程。 当预训练模型需要应用于具体的、特定的任务（如特定领域的文本分类、情感分析等），但这些任务的训练数据量较小，直接使用预训练模型无法达到最佳效果。微调就是通过在特定任务的数据上继续训练模型，使模型更好地适应这些数据的特征。 微调需要新的信息、时间、算力来进行训练，如果你需要模型更好的理解某些特定主题，微调会很划算。就像是教模型成为新的领域专家。经过微调后，模型可以为你提供更准确、更接近你所需内容的答案。 微调这种方式，改变了大模型的某些参数。 预训练（Pre-training） 预训练是语言模型学习的初始阶段。预训练时，需要海量未标记的文本数据，比如GPT-3使用了45TB（万亿字节）的数据，以无监督学习的方法对模型进行初始训练。预训练目标是捕捉和学习语言、图像或其他类型数据的内在结构和特征。 预训练模型通常基于深度神经网络，如循环神经网络（RNN）、长短期记忆网络（LSTM）、Transformer等，这些架构能够处理序列数据并捕捉长距离依赖关系。 预训练的结果是一个通用的模型，它对语言有一个基本的理解，但还没有针对任何特定任务进行优化。 有报道称，OpenAI 的 GPT-4 和 Google 的 Gemini Ultra 的训练成本预计分别约为 7800 万美元和 1.91 亿美元。 预训练这种方式，是极少数公司在做的，绝大多数公司可以基于开源模型做微调。 各种方式对比如下图： 
| 
