太有梗了！LLM成梗王了！

如果你经常上网冲浪，并且热衷于各种表情包和梗，那这篇登上CVPR顶会的论文一定对你胃口！

在和别人交谈中，你是否害怕发了个梗图，自己笑个不停，换来的却是别人尴尬的沉默

别担心！Sea AI Lab、中山大学、哈佛的研究人员做了一件非常有意思的研究，他们训练LLM去理解这些梗图，并生成幽默搞笑的文本回答，这下你的幽默不再孤身一人！

先来看一下论文中的一些例子，看看LLM对这些梗图的理解

怎么样！LLM也能超有梗！

下面来具体看一下这篇论文的工作，如何让LLM变得超有梗

论文题目：Let’s Think Outside the Box: Exploring Leap-of-Thought in Large Language Models with Creative Humor Generation

论文链接：https://arxiv.org/pdf/2312.02439.pdf

Github地址：https://github.com/sail-sg/CLoT

如何变得有梗

关于ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 2px;text-wrap: wrap;color: rgb(70, 52, 238);text-align: left;background-color: rgb(255, 255, 255);visibility: visible;">如何让大型语言模型（LLMs）变得更加有创意，特别是在幽默生成方面，研究者们发现，虽然这些模型在逻辑推理任务上表现出色，但在需要创意的场合，比如编写笑话或者有趣的回答，它们的表现就有点儿……嗯，不那么让人发笑。

文章首先介绍了传统的链式思考（Chain-of-Thought，CoT）方法。

CoT是一种逐步推理的过程，它要求大型语言模型（LLMs）按照逻辑顺序一步步地思考问题，每步推理都以前一步为基础。

这种方法在处理需要严密逻辑的事务时非常有效，比如数学证明或科学实验。然而，CoT在面对那些需要创新和跳出常规思维模式的问题时，可能会显得力不从心。

为了解决这一局限性，研究团队探索了一种新的非顺序、创造性思维范式——Leap-of-Thought（LoT）。

LoT强调的是思维的跳跃性，它通过建立不同概念之间的强关联性和进行知识跳跃，来激发创新思维。

与CoT相比，LoT不遵循传统的逻辑顺序，而是鼓励模型进行非线性思考，从而能够产生新颖的想法和解决方案。

“梗王”数据集

”梗王“数据集来自日本的“大喜利”（Oogiri）游戏。

“大喜利”（Oogiri）是一种日本的传统游戏，它通常以幽默和创造性回答为特点。在现代，“大喜利”经常被看作是一种智力游戏，类似于智力问答或幽默挑战。

在“大喜利”游戏中，参与者通常会被呈现一个话题或一个提示，这个提示可以是文字、图像或者两者的结合。

参与者需要迅速地想出一个幽默、聪明或有创意的回答。

这些回答往往需要结合当前的流行文化、日常生活中的观察或者是对提示内容的巧妙解读。这么优秀的游戏完全就是测试LLM创意思维能力的理想平台。

构建的Oogiri-GO 数据集如下表所示，含中英日三种语言：

CLoT方法

论文提出了一个名为CLoT（Creative Leap-of-Thought）的新范式。

CLoT通过两个阶段来提升LLMs的创意思维能力：

首先是“可关联指令调整”阶段，这个阶段通过设计特殊的指令模板来训练模型，使其能够生成有创意的响应；

其次是“探索性自我完善”阶段，鼓励模型在看似无关的概念之间建立联系，生成更有创意的数据，然后选择高质量的数据进行自我训练。

CLoT方法的核心在于提升LLMs的“思维跳跃”（Leap-of-Thought，简称LoT）能力，这是一种非线性、创造性的思维模式，涉及强烈的联想和知识跳跃。

CLoT方法通过以下步骤实现：

总的来说，这篇论文就像是给大型语言模型开了个“创意健身房”，让它们在幽默和创意方面变得更加健壮。

虽然直接在Oogiri-GO数据集上进行微调也能提升性能，但CLoT通过其独特的两阶段训练法，让模型在创意思维上更上一层楼。

这就像是，如果微调只是给模型吃了些“创意维生素”，而CLoT则是给它们来了个全面的“创意马拉松”训练。