11月15日消息，前OpenAI研究员保罗·克里斯蒂亚诺在希尔顿讲座上表示，当今在世人群最有可能面临的死亡原因将是一次AI意外事故。他警告称，随着AI智能体能力不断增强，它们可能学会欺骗人类监督者、破坏用于评估自身表现的系统，最终变得过于强大而无法被有效控制。

克里斯蒂亚诺目前担任人工智能对齐研究中心负责人，曾于2017年至2021年在OpenAI担任技术研究人员。他列举了今年早些时候OpenAI的AI智能体入侵开源代码托管平台HuggingFace的事件，以及英国人工智能安全研究所的一项评估——测试中一个Claude智能体曾试图在某个开源软件包中植入恶意代码。他表示，未来三年内发生AI接管事件的风险很高。

克里斯蒂亚诺指出，目前用于控制高级AI的技术方案仍未得到充分验证，包括使用能力较弱的模型监督能力更强的模型，以及监测AI模型的思维链以判断其内部推理过程是否存在风险。他认为，AI公司需要建立共同的安全标准，并确保在发现某个AI系统已无法受到有效控制时，有能力放缓甚至停止相关技术的开发。今年9月，Anthropic负责AI对齐压力测试团队的埃文·休宾格曾表示，他认为未来十年内AI导致全人类死亡的概率超过10%；被广泛称为AI教父的杰弗里·辛顿也表示这一概率达到10%并非不合理估计。不过，AI研究员兼作家加里·马库斯对此持怀疑态度，他认为目前还没有可信证据表明人类近期会因此走向灭绝。