最近，“人机大战”引起世人关注，人工智能发展引发的忧虑和争论开始从学术圈进入公众视野。要将这些思考引向深入，而不是停留于盲目乐观或意气用事上，就需要拓宽视阈、厘清思路，特别是要善用底线思维来把握问题。我们可以从近期威胁、远期威胁和终极威胁三个层面来分析无限制发展人工智能可能带来的后果，为思考人工智能问题提供一种视角。

　　近期威胁的一个表现是人工智能开始大批量取代蓝领工人和下层白领。这一点在发达国家的制造业中已表现得相当明显，我国一些工厂也正在用工业人工智能取代工人。从经济效益角度看，工业人工智能成本的下降已经使“取代”变得有利可图。蓝领工人和下层白领因为被工业人工智能取代而大批失业，当然不是社会之福。“汽车的出现没有让马车夫找不到新工作”只是以往的经验，这一次也许并非如此：大批蓝领工人和下层白领陆续失业，如果到达某个临界点，社会就有可能发生动荡。发展人工智能，必须充分考虑这一问题。

　　近期威胁的另一个表现是军用人工智能的研发。近来，史蒂芬·霍金、比尔·盖茨和伊隆·马斯克等人共同呼吁世人警惕人工智能的盲目研发，特别要警惕军事用途人工智能的研发，认为这有可能产生比原子弹更可怕的武器。这一方面是因为军用人工智能有可能直接操控武器，一旦失控，后果难以设想；另一方面，即使没有失控，研发出这类更冷酷更高效的杀人武器，从根本上说也绝非人类之福。

　　人工智能的远期威胁中，最容易想到的就是它们可能的反叛。这一点很容易理解，《黑客帝国》《未来战士》等科幻影片中对此已做过大量设想。人工智能业界和一些盲目乐观的人士，经常用“人工智能还很初级”之类的说法来安慰公众，但这样的理由是站不住脚的，“老虎还小”不能成为养虎的理由。在这个问题上，“人造的东西不可能超过人”“可以为人工智能设立道德标准”之类的信念也是软弱无力的。因此，在发展人工智能时，我们对这一威胁一定要保持足够的警惕。

　　人工智能的终极威胁更加发人深省。这种威胁并非建立在人工智能反叛的假定之上，而是恰恰相反。阿西莫夫最为人知的是他提出的“机器人三定律”，但他另一个更重要的观点却少有人注意：所有依赖人工智能的文明都终将灭亡。他给出的理由之一是：“一个完全依赖机器人的社会，由于极度单调无趣，或者说得更玄一点，失去了生存的意志，终究会变得孱弱、衰颓、没落而奄奄一息。”这个看法是很有见地的。

　　这里排除了人工智能反叛人类的可能，假定人工智能如我们所希望的那样，为人类承担了越来越多的工作。但是，结果会如何呢？正如有的媒体所说的：“未来机器人，也许能胜任任何工作”。如果“任何工作”都让人工智能承担，人类是不是就会变成整天混吃等死的寄生虫呢？如果真是这样，用不了多少时间，人类的机能和智力都将迅速退化，我们的人生就将变得毫无意义，这对人类来说是一种更为可怕的威胁。

　　不怕一万，就怕万一。凡事要从最坏处做准备，努力争取最好的结果。认识到人工智能有近期、远期和终极三重威胁，要求我们在发展人工智能时必须慎重，不应盲目。树立底线思维，正是为了“为之于未有，治之于未乱”。在人工智能发展上首先要做好风险管控，这样发展起来的人工智能才是人类之福。（作者为上海交通大学科学史与科学文化研究院院长）