人工智能的话题，最近因谷歌公司一场商业炒作“围棋人机大战”而再次大热起来。各种不同的看法纷纷表达，其中既有天真糊涂的想法，也有居心难测的说法。为了厘清思路，有必要就下面五点进行认真思考。

　　一、“老虎还小”不构成养虎的理由

　　当人们表达对人工智能将来失控或危害人类的担忧时，经常见到人工智能业界人士，或是对科学技术盲目崇拜、盲目乐观的科学主义人士出来说：人工智能目前还很初级很弱小，所以不必忧虑云云。这种说法常见于媒体，其实背后暗含着荒谬的逻辑。

　　我们担心老虎吃人，所以有“养虎遗患”的成语，怎么能用“老虎还小”作为养虎的理由呢？要说服人们同意养虎，必须论证“老虎不会吃人”。人们担忧的是人工智能未来对人类的危害，要打消这个担忧，就必须论证“人工智能不会危害人类”，而不能将“人工智能还很初级”作为理由。

　　先不忙取笑这条荒谬的理由，因为许多人工智能的业界大佬和知名人物，都曾向公众说过这条理由。当史蒂芬·霍金、比尔·盖茨和伊隆·马斯克这样的智者领衔呼吁世人警惕人工智能的盲目研发时，一名业界知名人物就拿这条理由来反驳，还说这三人是“愚蠢的”。这就有点蛮横了。

　　如果我们无法论证“人工智能不会危害人类”，那就有必要重新考虑目前是否应该发展人工智能。

　　二、“人造的东西不可能超过人”是盲目信念

　　当然，人工智能通常都是智商比较高的人玩的。智力上的荣誉感，会使他们中的许多人羞于用“老虎还小”来说服人们同意养虎，他们知道应该论证“老虎不会吃人”，就是论证“人工智能不会危害人类”。而进行这样的论证时常用的理由之一，就是“人造的东西不可能超过人”。尽管这条理由其实也不能带来多少智力上的荣誉，因为很多非专业的公众也是这么想的。

　　但是，有谁给出过关于“人造的东西不可能超过人”这一论断令人信服的论证吗？从来没有。事实上，这一论断只是一个盲目的信念。这个信念实际上是在坚信：造物主一定比所造之物高明。这样的信念显然和宗教情怀有关。但是到了人工智能的争议中，那些理应最具无神论精神的科学主义者，却不假思索地从宗教信念中寻求思想资源。

　　而且，这个信念明显违背常识。一个简单的常识是，父母可不可以视为孩子的造物主？如果可以（至少在相当程度上可以），那孩子超过父母的情形，难道我们没见过吗？

　　三、“人工智能未必服从人类设定的道德标准”，没有足够的论证

　　比起前面两条理由来，“人类可以设定人工智能的道德标准”这条理由看起来相对比较专业，至少不会给玩人工智能的高智商人士直接带来羞愧感。这一条也是论证“人工智能不会危害人类”时常用的理由。

　　但是，有谁给出过关于“人工智能必然会服从人类设定的道德标准”这一论断令人信服的论证吗？同样从来没有。

　　更不幸的是，这一条也明显违背常识。一个明显的常识是：人类无法避免自己的一部分后代学坏。这样的例子日常生活中天天都在上演：父母从孩子记事起就灌输诚信、仁爱、友好、慷慨、勇敢等美德。这些难道不等于对人工智能的“记忆植入”和道德设定吗？可是，仍然有孩子无可救药地学坏了。在这一过程中，父母设定的道德标准、学校进行的规训矫正，都无法制止他。

　　学坏的孩子当然已经严重危害过一部分人类，比如这些坏人的刑事犯罪。但是，为何他们尚未统治全人类或危害人类整体呢？那是因为他们毕竟只是凡人，能力有限。然而，人工智能追求的是什么境界？不弄出“超人”来，个别科学家肯罢手吗？

　　四、“拔掉电源”未来未必可行

　　有的专业人士将人工智能分为四个级别：1、没有学习能力（智能程度也可以相当高）；2、具有固定的学习能力，而且习得的技能会趋于一个定值；3、具有固定的学习能力，技能增长没有极限，但因为它的学习能力是事先设定的，所以被认为不会成长为超级人工智能；4、具有无限的学习能力，可以成长为超级人工智能。

　　专业人士安慰说，此次与李世石对战的“阿尔法围棋”只是第2级的人工智能，第4级的人工智能还远远没有问世。其实，这里除了前面已经讨论过的“老虎还小”之谬，还有更大的危险存在。

　　专业人士在试图打消公众对人工智能的忧虑时，经常提到一个说法：我们可以拔掉电源。这个说法，当对人工智能的想象停留在个体机器人阶段时，也许是成立的。更一般的说法可以是，只要人工智能还依赖有形的伺服机构才能实施行动，那我们也许还可以拔掉电源。但现实情形是，人工智能一旦与互联网结合，借用高度发达的定制、物流、快递等社会服务，几乎可以完全摆脱对所有伺服机构的依赖。这一点不仅在大量幻想作品中已经反复上演，而且在现实生活中也可以顺利实施了。当人工智能只是一个网上幽灵时，没有机体，没有形态，还谈什么拔掉电源呢？

　　以前阿西莫夫——提出“机器人三定律”的人——曾论证过个体机器人智能的物理极限，那有一定道理，但他那个时代没有互联网。如今，我们必须特别关注人工智能和互联网的结合，即使就个体机器人而言，这种结合也将快速突破智能的物理极限。就无形的人工智能而言，还有更大的危险性，一旦和互联网结合，上述1、2、3、4级人工智能之间的界限还能不能存在？如果居心叵测的人工智能研发者，有意突破这些界限，社会如何监控？人工智能进化成超级人工智能可能只需弹指一挥间，到时人类将措手不及，完全无法掌控。

　　五、“发展科学”也可能“唤出恶魔”

　　这是一个带有终极性质的问题。我们必须想清楚：究竟为什么需要人工智能？

　　工厂生产线需要更多工人吗？社会服务需要更多人手吗？需要人工智能为我们开车吗？需要人工智能为我们做手术吗？这些都是在想象人工智能应用前景时经常被提到的，但是都没有仔细推敲过。对于这些工作而言，人工智能真是必不可少的吗？

　　科学技术和资本结合之后的特征之一，就是为资本增值服务。科学家很少会坦白地说出来这一点。他们总是对公众说，是为了“发展科学”。仿佛“发展科学”就是终极目的，为了“发展科学”，一切别的事情，哪怕是人类的安危，都不必考虑了。

　　当然，还有另外的需求，如利用人工智能打赢战争，这就和利用核武器打赢战争一样。马斯克认为人工智能会“唤出恶魔”，比核武器对人类的威胁还大；霍金则断言：“彻底开发人工智能可能导致人类灭亡。”他们的话值得深思。田松教授有名言曰：“警惕科学！警惕科学家！”在人工智能问题上，真该三复斯言。

　　今天，我们即使不得不研发人工智能，也应该抱着和美国当年搞“曼哈顿工程”，或我们当年搞“两弹一星”类似的心态来进行。更理想的局面，则是各大国坐下来谈判，签署一个禁止或至少限制研发人工智能的国际协议，这才是人类之福。（作者为上海交通大学科学史与科学文化研究院院长、讲席教授，本文原题为《警惕人工智能的五条论纲》）