对不起Dave，我恐怕并不会做这件事情。

这是1968年科幻电影《2001：太空漫游》中的经典场景，人工智能HAL9000拒绝了人类的请求，由此展开了殊死搏斗。

如今也成为深度学习巨头、图灵奖得主Yoshua Bengio最新博文的封面：危害人类的AI是如何出现的。

近几个月来，强人工智能对话系统的兴起，引发了各种AI风险的讨论。

即便科学家们普遍认为，有必要对人工智能进行监管，但对于「AI系统是否会失控，进而对世界造成灾难性损害」存在深刻的分歧。

事实上，这些灾难会如何发生，存在诸多不确定性。于是Bengio团队做了一系列的正式定义Rogue AI、假设和主张，并讨论了发生条件、可能情况以及规避策略。

一时间引发热议，不少学界人士站出来推荐：

在不改变原意的基础上，量子位联合ChatGPT做了如下编译。

Rogue AI如何出现

定义1：一个潜在的Rogue AI，是一个自主的人工智能系统，其行为方式可能会对大部分人类造成灾难性伤害，可能会危及我们的社会，甚至我们的物种或生物圈 。

人类大脑是一种生物机器，我们在理解和展示人类智能多个方面的原理上取得很大进展，比如从实例中学习知识和熟练运用语言。虽然我也相信人们有能力设计出有用且安全的AI系统，但必须遵守具体指导方针，比如限制他们的机构。