在讨论人工智能伦理之前，我们应该首先提问：生成式人工智能是否拥有理性？这可以追溯到Blockhead问题，其由Block在1981年提出，他假定了一个没有任何理性或理解力的系统，其通过预先编程、从庞大的数据集中检索并提取信息以保持与人类行为的一致性[6]，该思想实验揭示了简单行为模仿和复杂认知过程之间的区别，从而对理性概念做出进一步追问。鉴于生成式人工智能通过大语言模型预训练，而在零样本学习和常识性问答所表现出的优异的泛化能力 （generalization）*和准确度（“泛化能力”即机器学习算法对新鲜数据的识别和适应能力），一些学者对此问题持肯定态度[7]，然而笔者认为生成式人工智能只是表现而非具有理性，在本文中，笔者将主要驳斥一些联结主义者所主张的“通用机制说”（generic mechanism）。
联结主义遵循物理主义和强的还原论，它与机器学习、人工智能以及神经科学都保持着紧密联系，这也是通用机制说受到广泛支持的原因之一。联结主义者观察到尽管人工模型和生物系统的行为之间并不存在一一对应的关系，但两个系统的结构却具有相似和一致性，他们认为这种相似性的来源不是简单的行为模仿，而是因为两者都是同一种抽象机械结构的成员、并共享同一种“通用机制”，因此有关人工模型（如深度神经网络）的理论，就可以推广到大脑等生物系统，并且人工模型可以拥有理性等生物系统的能力[8]。
但笔者认为，基于生成式人工智能的基本技术原理，其缺乏一定的内部表征、交往意图与情感等能力，尽管学界关于内部表征是否是理性主体不可或缺的特征仍存有争议（例如有学者根据对家蝇的实验指出，某些依据生物学的反射回路的行为，不需要内部的形式性意义载体对其加以解释判断[9]），但诸如规划、回忆、思考等内省行为中具有内部表征是相对普遍接受的。
一些学者通过援引OpenAI关于GPT-4的技术报告中，所提供的一个GPT-4为了绕开平台验证码而欺骗工作人员的案例[10]，论证生成式人工智能具有交往意图，但笔者认为该证据的辩护力度是较弱的。在该案例中，尽管GPT-4在一定程度上表现出了寻找方法以解决问题的目的，但它仍是基于由人工给出的外在目的行动。也就是说，GPT-4在此所表现出的目的只是基于特定上下流任务所给出的子目的，它没有自我赋予母目的的能力。
并且在生物系统中，情感与理性能力是密不可分且相互影响的，而人工模型恰恰缺失了情感能力。达马西奥对该问题做了一个著名实验，他围绕一个前额叶皮层受损的工人开展研究，该工人的脑损伤程度严重影响到了他的情感能力，但对掌管他的语言、运动、推理等理性能力的大脑部分几乎没有造成影响，但之后的实验却表明，他不能执行规划未来、遵守规则等行为。达马西奥就此指出，他的脑损伤阻碍了躯体标记系统（somatic markers）的运行，从而妨碍了其将事件与身体反应关联起来的能力。基于此，达马西奥批判了传统所认为的、理性决策能力只涉及效益计算而无关情感的经济学理论，他指出情感能力对理性能力的执行起着关键作用，理性主体的行为是情感和理性共同影响的结果[11]。
基于前文对生成式人工智能技术原理的分析，不难看出，生成式人工智能所体现出的能力完全不同于人类的理性能力，它所生产的是通过语词重构而在表达上为新的“三阶知识”[12]。大语言模型中的概念结构类似于“基于特征群的持续机制”[13]，其通过对原始文本的持续性词符化重构、和在向量空间中的向量转换，允许了模型对概念属性及其关联性的持续学习。生成式人工智能不具有传统意义上的意识或为自己设定母目的的能力，而只是一种“角色扮演”，并且由于大语言模型不是通过事先设计一个单一、明确的角色，而是通过生成、并随交互过程进一步细化的角色分布运行，其更像是即兴表演、而非传统剧本中的演员[14]。
因此笔者认为“通用机制说”混淆了“信息”和“意义”两个概念：某单一信号可以表示某一信息，但该信号无法构成其所表示的信息的意义或思想内容。假设我们向人工智能提问：“西南政法大学第一任校长是谁”，并得到回应：“刘伯承”，从本质上来说，我们不是在问，谁是西南政法大学第一任校长，而是在问，根据语料库文本中单词的统计分布，哪个单词最可能出现在“西南政法大学第一任校长是……”的后面，而对此最为贴切的回答即是“刘伯承”，因此知道信息与知道意义间存在本质差别。
但也有学者认为，基于GPT-4等大语言模型所表现出的涌现现象*（“涌现”即由系统量变所导致的行为质变，其在语言模型领域中被进一步表述为，在大规模模型中存在，但在小规模模型中不存在的能力，因此，它们不能通过简单推断小规模模型的性能改进来预测），随着生成式人工智能的预训练数据集、可接触语料库和模型规模的扩大，其可能获得更多诸如思维链能力*（CoT）等的新兴能力[15]（“思维链”即大模型自行将复杂问题分解为子问题、并依次求解的推理过程中所产生的中间步骤），因此，其“序列预测”的本质并不能反驳其具有理性的可能性。但笔者认为，即使是相对弱的“通用机制说”形式——即认为随着大语言模型的不断发展，生成式人工智能必然会具有理性——也是不可靠的，因为人工模型缺少了诸如“世界模型”等生物系统的核心机制。
例如，有学者通过将大语言模型嵌入到机器人系统中，使机器人也能通过自然语言理解（NLU）执行日常任务，从而使得大语言模型能够作用于物理世界[16]。但该系统的本质是将用户的自然语言指令映射到低级操作（例如“拿起海绵”、“走到桌子旁”），这并不意味着，大语言模型拥有了能够理解周遭环境的世界模型，在这里，系统（而不是大语言模型）通过独立的感知模块使用机器人传感器评估环境，并进一步将大语言模型和感知模块对实际操作可行性的分析相结合、评分，从而产生下一步最佳操作[17]。因此，大语言模型的作用是：通过预训练、在无形的数据集环境中执行序列预测任务，并输出与物理操作相符的自然语言描述，而非直接、独立地与物理世界相互动。
