聊聊大模型采样策略

贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。

在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。

Greedy search

Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。

缺点：

1. 由于每次都是寻找概率最高的词，因此很有可能会错过当前是低概率词后面的高概率词。即，只考虑当前的局部最优，而没有从整体的角度来考虑。

Beam search

Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。

从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。

缺点：

1. 还是会产生局部最优问题。
2. 在某些需要多样性的应用场景中，Beam Search可能会生成较为相似的答案，因为它倾向于选择评分最高的候选答案，这可能导致答案的多样性不足。

维特比算法能做到全局最优。

top-k采样

Top-K采样限制在一定数量要考虑的tokens。

在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。

top-p采样

Top-p采样限制在一定概率质量内的tokens。

temperature

其作用如下：

1. 温度不是采样策略，而是softmax函数的参数，该函数是网络的最后一层。
2. 温度影响概率分布的形状。
3. 高温使token分布概率更加接近，也就是概率较低的token可能会出现。这使得输出更加“有创意”或随机。
4. 低温通过放大概率差异使模型更加“确定”。这使得输出更具确定性。