例如，在一个需要同时处理多个用户请求的场景中，一个智能体可能生成了“用户 A 请求：分析股票市场趋势”的 token ；另一个智能体看到后，调整自己的生成方向，生成“用户 B 请求：制定投资组合优化方案”的 token 。通过这种交错生成方式，数据中心能够在同一个批次中高效处理多种类型的请求，大幅提高了计算资源的利用率。
下图展示了 Group Think 在数据中心场景下的实现方式。通过 token 级别的交错生成和 KV 缓存的利用，多个智能体的推理任务被整合到一个批次中，实现了高效的批量处理。
1. There are multiple thinkers. These thinkers, Thinker1, Thinker2, Thinker3 ... , try to answer a question together. The answer is considered solved if the thinkers can COLLECTIVELY determine the final answer, even if each thinker only has partial answers. 2. Each thinker will write its own thought process towards the final answer. Each thinker is encouraged to take the other thinkers’ progress into account to reach the final answer. 3. Considering all the information from other thinkers, each thinker will continue contributing to the collective knowledge. Your response should focus on reaching the solution collaboratively as efficiently as possible. Make sure information that you generate is not redundant to the group. It is thus important to consider the outputs of other thinkers during generation. Do not summarize other thinkers’ responses, as it is too cost inefficient. Please answer this question. Problem: {QUESTION} –- You are Thinker {ThinkerID}. Your Response:
下图展示了 Group Think 在文本生成任务中的实现方式。每个智能体被分配一个 token 索引槽，这些索引决定了对应的 positional embeddings 。通过这种方式，多个智能体的推理任务被整合在一起，实现了高效的文本生成。
Group Think 在图像识别领域的潜在应用
Group Think 在图像识别领域也具有广阔的应用前景。例如，在分析一张复杂图像时，多个智能体可以协同工作，每个智能体专注于图像的不同部分或特征。一个智能体可能专注于识别图像中的物体轮廓，生成“图像左上方存在一个矩形轮廓”的 token ；另一个智能体则分析物体的颜色和纹理，生成“该矩形区域主要由红色和蓝色像素组成，表面纹理光滑”的 token 。通过协作整合这些信息，模型能够更准确地识别图像内容。
实验数据表明，采用 Group Think 的图像识别模型在复杂场景下的准确率相比传统方法提升了 15% 以上。例如，在一个包含多种物体的街头场景图像中，传统方法可能只能识别出主要物体如“汽车”和“行人”，而 Group Think 能够进一步识别出“汽车的颜色为红色”“行人的衣物纹理为条纹”等细节信息，显著提高了识别的鲁棒性和细致程度。
与独立采样基线的比较：协作的力量
为了量化 Group Think 协作机制的优势，实验将其与独立采样（Independent Sampling，IS）基线进行了对比。结果显示，在低延迟预算下，Group Think 和 IS 的表现相当。然而，随着推理预算的增加（通过增加智能体数量 N 或每个智能体的 token 预算 K ），IS 的冗余度逐渐增加，而 Group Think 凭借其高效的协作机制，展现出越来越大的完成覆盖率优势。例如，在编程任务中，当智能体数量增加到 4 个且每个智能体的 token 预算增加到 100 时，Group Think 的完成覆盖率比 IS 高出 40% 以上。
下图展示了 Group Think 与 IS 在不同智能体数量和延迟预算下的性能对比。可以看到，Group Think 在大多数情况下都能显著提高完成覆盖率，特别是在智能体数量较多且延迟预算较大时，优势更加明显。
讨论与未来工作
Group Think 的能力与局限：协作的双刃剑
Group Think 在实验中展现出了令人印象深刻的能力。它能够有效避免重复推理，智能体之间通过实时信息共享动态调整推理路径。此外，Group Think 还能自然涌现协作行为，例如在枚举任务中按类别分工、在编程任务中分配代码组件，这些行为无需显式指令，是模型在 Group Think 范式下自发形成的。
构建专门的 Group Think 数据集是未来发展的关键。一个高质量的数据集应涵盖多样化场景，展示良好的 Group Think 行为。例如，在医疗诊断场景中，数据集可以包含多个医生如何通过实时交流协作诊断复杂病例的案例；在科学研究场景中，可以记录科学家们如何在实验设计和数据分析过程中相互启发。这些数据将为模型提供丰富的协作示例，帮助其学习更高效的协作策略。
复杂协作行为的探索：协作的高级形态
Group Think 在更复杂协作行为方面具有巨大潜力。例如，动态角色分工可以让智能体在推理过程中根据自身优势和任务需求实时调整角色。一个智能体可能在某个阶段担任规划者角色，制定整体解决方案的框架；在另一个阶段转变为执行者，负责具体代码的实现。这种动态分工可以通过强化学习实现，模型在训练过程中学习到在不同情况下切换角色的最佳时机。
Group Think 在资源受限环境下的应用前景广阔。通过优化实现方案，例如采用更高效的注意力机制和模型压缩技术，Group Think 可以在边缘设备上高效运行。这将使智能语音助手、物联网设备等能够在本地完成复杂的推理任务，减少对云端的依赖，降低延迟并提高数据隐私性。
总结
Group Think 作为一种全新的推理协作范式，通过让单个 LLM 模拟多个并行推理智能体，并以 token 级别的细粒度协作，显著提升了推理质量和效率。在本地推理中，Group Think 能够充分利用闲置计算资源，将边缘设备的推理能力提升到一个新高度；在数据中心场景下，它通过高效的批量处理机制，为大规模推理任务提供了强大的支持。
Group Think 的贡献不仅体现在技术性能的提升上，更在于它为 LLM 的协作行为提供了一种新思路。它证明了即使在没有显式训练的情况下，现有的 LLM 也具备一定的协作能力。这为未来专门针对协作推理的数据集构建和模型训练奠定了坚实的基础。在深入了解 Group Think 的过程中，它让我对 LLM 推理方式的传统认知发生了改变，让我看到了智能体之间协作的巨大潜力。
最吸引我的是 Group Think 的 token 级别协作机制。这种细粒度的互动方式，使它们能够在推理过程中实时感知彼此的进展并迅速调整自己的方向。这让我联想到人类团队中的高效协作场景，比如在一场紧张的手术中，医生、护士和麻醉师通过实时交流和观察彼此的动作，精准地完成每一个操作步骤，最终拯救患者的生命。Group Think 似乎正在赋予机器类似的协作能力，这无疑是人工智能领域的一大飞跃。
同时，Group Think 在资源利用效率方面的优势也让我印象深刻。在本地推理场景中，它能够唤醒边缘设备上原本闲置的计算资源，这让我想起了自己使用智能语音助手的经历。如果 Group Think 能够应用于这些设备，未来的智能助手将能够在本地快速完成复杂的任务，如实时翻译多种语言的会议记录或生成个性化的旅行计划，而无需依赖云端计算，这将极大地提升用户体验并保护数据隐私。
在实验评估部分，看到 Group Think 在枚举、分而治之和编程任务中的出色表现，我感到兴奋。特别是多智能体在枚举任务中自发分类的行为，让我深刻体会到了 Group Think 的智能和灵活性。这就像看着一群志愿者在没有任何指挥的情况下，自发地将一堆杂乱的书籍按类别整齐地摆放到书架上，这种涌现的协作智慧令人惊叹。
一句话总结：这种 Group Think 并行推理的机制与重复采样（Repeated Sampling）的原理其实有接近的地方，但不同的是前者通过交叉注意力机制产生了“协作”，而后者仅仅是在独立的线性槽位中进行 Next Token Predict，并且后者是重复采样同一个任务。Group Think 的关键创新点就在于引入了智能体间的“通信”协作，而重复采样缺乏这种协作机制。
在我们了解原理和机制以后，是不是有点兴奋，这样的机制甚至可以在现有模型上修改推理代码就可以向上吞噬应用层的 Multi-Agent 实现，并且在 inference-time通过批次推理LLM的方式，要比在应用层进线程并发推理的方式还要高效，因为跳出 inference-time，效率会下降，进线程并发会出现气泡。当然，目前 Group Think 这种范式仍处于发展的初期，面临着通信开销和协作策略优化等挑战。但它不妨碍我们看到 LLM 从“智能个体”向“智能集体”转变的趋势。
