ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;font-size: 14px;letter-spacing: 0.5px;text-align: start;background-color: rgb(255, 255, 255);white-space-collapse: preserve !important;word-break: break-word !important;">分享两篇论文
ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;font-size: 14px;letter-spacing: 0.5px;text-align: start;background-color: rgb(255, 255, 255);white-space-collapse: preserve !important;word-break: break-word !important;">1.《Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity》ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">（ACL 2022 outstanding paper）ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">1.1 太长不看版ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">样本顺序影响结果ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">1.2 仔细说明版ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">样本顺序指的是在训练机器学习模型时，输入样本的排列方式。在大多数传统的监督学习场景中，模型会被训练在大量标记好的数据上，样本的顺序通常被认为是无关紧要的，因为模型通过梯度下降等优化算法学习数据中的模式，理论上不会受到样本顺序的影响。ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">然而，在**少量样本学习（few-shot learning）或上下文学习（in-context learning）**的设置中，样本顺序变得非常重要。在这些设置中，模型不是通过梯度下降来调整参数，而是通过观察少量的示例来生成预测。这些示例被用作上下文或提示（prompts），直接引导模型对新的输入做出反应。因此，即使是相同的几个样本，如果它们的顺序不同，也可能导致模型做出完全不同的预测。ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">例如，假设我们有一个分类任务，需要模型识别文本的情感倾向（积极或消极）。如果我们提供给模型两个示例：一个积极和一个消极的评论，那么这两个示例的顺序可能会影响模型对新评论情感的判断。如果模型先看到消极的评论，它可能会对后续的评论倾向于预测消极的结果，反之亦然。ingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif;font-size: 15px;letter-spacing: normal;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">论文中，作者们通过实验发现，在少量样本学习中，样本顺序会让预训练语言模型的性能在SOTA和随机猜之间波动。他们进一步提出了一种方法，通过构建人工开发集并使用熵统计量来识别出性能较好的样本顺序，也即构建更好的prompt，从而提高了模型的预测准确性和鲁棒性
2. 《Calibrate Before Use: Improving Few-Shot Performance of Language Models》2.1 太长不看版 GPT-3，虽然可以在某种程度上实现zero/few shot learning，但performance非常不稳定，尤其是在三个方面受影响：prompt的格式、few shot的训练样本，训练样本的顺序。 GPT-3总是倾向于预测出常见的label、倾向于预测离prompt结尾最近的样本label、倾向于预测一些常见的词（majority label bias, recency bias, and common token bias） 2.2 仔细说明版 一个prompt通常包含三个部分：整体格式、几个训练样本、训练样本的排列。 整体格式，或者说模板，就是任务说明和训练样本/测试样本的占位符。训练样本，就是few-shot中的shot。训练样本的排列，指的是训练样本在prompt中的顺序。为什么说这种排列很重要，因为语言模型更新隐层的时候，是从左到右的方式。 实验显示GPT3非常依赖训练样本的选择和顺序。顺序甚至比样本的选择更重要。不同的顺序可能会让精度从54.3%变化到93.4%. 往prompt里增加训练样本并不会减少这种偏差。有时甚至加的样本越多，acc越低。这种偏差在更大的模型中也可能会很高。也即这种偏差在不同参数量的模型、各种任务均有出现。 什么导致了这种高偏差？ 多数标签偏见（majority label bias）：倾向于预测在prompt中频繁出现的标签。所以从0-shot到1-shot往往会观察到掉点现象，因为模型倾向于重复1-shot的label。这种偏见在生成任务中也会发生。 临近偏见（recency bias）：倾向于重复prompt末尾的答案。比如prompt中的四个例子的label顺序是 PPNN，模型将高度偏好预测负样本。这种临近偏见甚至比多数标签偏见更影响结果。比如PPPN会导致90%的预测是负样本。 常见标记偏见（common token bias）：倾向于在其预训练数据中频繁出现的答案。
|
