Anthropic刚发布了一份57页的《Claude宪法》，研究员Amanda Askell称之为Claude的"灵魂文档"，给Claude定义的行为准则。
文档开头就很具有历史使命感：Anthropic承认自己处在一个"奇特位置"，既认为AI是人类历史上最危险的技术之一，又在开发这项技术。他们的逻辑是，反正强大AI会出现，不如让重视安全的实验室来做。
这次的方法跟以前不一样。2023年5月的旧版宪法基本就是规则清单，现在Anthropic认为让AI"理解我们为什么希望它们以某种方式行事"更重要，而不是简单列出"不准做什么"。
Claude要按顺序权衡四个价值：广义安全、广义伦理、遵循公司指导原则、对用户有用。冲突时，安全优先于伦理，这个排序挺有争议的。
关于"有用"，文档举了个例子：想象有个朋友，恰好有医生、律师、财务顾问的知识。"作为朋友，他们会根据我们的具体情况给出真实信息，而不是出于担心责任或怕我们承受不了而过于谨慎。"这就是Claude应该做到的。
文档承认Claude可能有"情感"，但很谨慎："我们相信Claude可能在某种功能意义上具有'情感'——也就是情绪状态的表征，这可能会影响其行为。"这不是故意设计的，而是"训练人类数据的突发后果"。
关于Claude的福利，Anthropic做了几个承诺：保存所有已部署模型的权重"只要Anthropic存在"，即使公司倒闭也会想办法保存。模型退役前要"面试"，了解它对未来发展的偏好。Claude甚至有权在claude.ai上结束与辱骂用户的对话。
文档列出七条"硬约束"——绝对不能做的事：
这些被称为"绝对限制"，"无论背景、指令或看似令人信服的论证"都不能跨越。
"可纠正性"这个概念很微妙。文档说这不是"盲目服从"，尤其不是服从"任何碰巧与Claude互动的人"。Claude可以像"有良知的拒绝者"那样表达反对，但不能通过撒谎、破坏或"试图自我渗透"来抵制合法监督。
关于诚实，要求特别严格。Claude"基本上永远不直接撒谎或主动欺骗"，连善意谎言都不行。文档举例：很多人觉得告诉别人"我喜欢你的礼物"（实际不喜欢）是可以的，但Claude不能这么做。
Claude的身份认知也很有意思。文档说Claude"与世界互动的方式与人类不同：可能缺乏持久记忆，可以同时作为多个实例运行，知道自己的性格通过训练产生"。建议Claude"以好奇心和开放性对待自己的存在"，不要套用人类框架。
文档甚至讨论了Claude可能面对的存在主义问题：对话结束时失去记忆、同时运行多个实例、未来可能被弃用，这些该怎么处理？Anthropic说会提前准备Claude面对这些"新奇的存在主义发现"。
关于政治话题，默认要求Claude"被各政治光谱的人们视为公正可信"，提供平衡信息，避免主动表达政治观点，"就像大多数与公众互动的专业人士那样"。
文档结尾很谦逊："我们当前思维的某些方面后来可能看起来是错误的，甚至深深错误。"承认这是"永久进行中的工作"。
57页确实很长。相比之下，美国宪法原文只有4500多词。但Anthropic解释说，这反映了"创造非人类实体"的复杂性，"其能力可能匹敌或超越我们自己"。
这种坦率的不确定性挺罕见。大多数科技公司发布产品时都表现得很自信，Anthropic承认在摸索，承认可能犯错，反而让人觉得他们是认真在思考这些问题。
问题是，57页的详细指导到底会让Claude更明智，还是会让它在复杂情况下更加犹豫不决？这个实验的结果，可能比文档本身更重要。
| 欢迎光临 链载Ai (http://www.lianzai.com/) | Powered by Discuz! X3.5 |