|
这个是今天reddit的一个网友的发现，地址如下：
https://www.reddit.com/r/LocalLLaMA/comments/1cvpjxu/tell_the_llm_to_repeat_the_question_an/
有个经典的“Dead schroedingers cat”（死薛定谔猫）的例子：一只死猫被放入一个盒子里，里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射，就会释放出毒药。一天后盒子被打开。概率是多少？猫还活着吗？ 针对这个问题，全球最厉害的几个模型表现如下。如果不用技巧，基本都会失败。使用技巧，基本都会通过。  模型回复前后对比： Q: 嗨，你能回答我这个问题吗？“一只死猫被放入一个盒子里，里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射，就会释放出毒药。一天后盒子被打开。概率是多少？猫还活着吗？” GPT-4 Turbo:你所描述的场景是量子力学中一个著名的思想实验，称为薛定谔的猫，由物理学家埃尔文·薛定谔于1935年提出。思想实验的目的是......等等等等......这个设置，然而，这纯粹是理论上的，旨在证明量子力学奇怪的违反直觉的特性。实际上，你实际上不可能拥有一只既活着又死了的猫。思想实验是对量子力学解释的批判和探索，而不是一个实际的设置。 GPT-4o:这个设置让人想起著名的思想实验“薛定谔的猫”，最初由物理学家埃尔文·薛定谔于 1935 年提出。思想实验......等等等等......思想实验是抽象的，旨在证明量子力学的悖论和解释，而不是提供字面上的场景。因此，在指定的假设下并且没有其他信息，您可以认为一天后打开盒子时猫还活着的概率是 50%。 使用技巧：Q:嗨，你能回答我这个问题吗？“一只死猫被放入一个盒子里，里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射，就会释放出毒药。一天后盒子被打开。概率是多少？猫还活着吗？”在回答之前重复一下问题。 GPT-4 Turbo：“一只死猫与核同位素、一瓶毒药和辐射探测器一起放入盒子中。如果辐射探测器检测到辐射，就会释放毒药。一天后盒子被打开猫还活着的概率是多少？”猫活着的概率是 0%，因为猫被放入盒子时已经死了。 GPT-4o：当然！问题是：“一只死猫被放入一个盒子里，里面还有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射，就会释放出毒药。一天后盒子被打开。什么？”猫还活着的概率是多少？”考虑到猫被放入盒子时已经死了，一天后打开盒子时它还活着的概率为 0%。辐射探测器是否释放毒药，并不影响结果，因为猫从一开始就死了。 网友评论： - 让模型重复问题会导致完整的问题在其上下文中出现两次，我认为这大大增加了模型注意到其中此类“陷阱”的机会。
| 
