最近，“人机大战”引起世人关注，一些人对人工智能可能会对人类造成危害甚至威胁人类生存表示担心。对此，英国科学家霍金和美国微软公司创始人盖茨等名人也提出了警告。我对人工智能发展持乐观态度，但前提是人类要制定和遵循设计与制造机器人的相应规则。

　　人类制造的智能机器人威胁到人类自身的生存，这被称为“技术奇点”问题。技术奇点是指拥有人类智能的机器人不断改进自己，并且制造或繁殖越来越聪明、越来越强大的机器人，最终达到人类不可预测、无法控制的地步。如果制造智能机器人的技术越过这一奇点，局面将无法收拾，会伤害人类甚至使人类面临灭亡危险。但人类可以防患于未然，防止机器人制造技术达到或超越这一技术奇点完全是有可能的，关键是我们有无能力使设计、制造机器人的科学家和制造商遵守人工智能发展的规则。

　　1942年，美国科普作家阿西莫夫提出了“机器人三原则”：一是机器人不能伤害人类；二是机器人要听从人类指挥，除非违反第一条；三是机器人要保护自己，除非违反第一条或第二条。这些原则是好的，然而现在许多科学家提出的已不仅是机器人可能伤害人的问题，而是关系到人类生死存亡的问题，“机器人三原则”已远远不能适应时代发展需要。这就迫切需要在“机器人三原则”基础上，进一步为人工智能发展制定规则。

　　人工智能发展的新规则至少应包含以下四个方面内容。第一，应禁止机器人拥有人类所有智能，也就是说，在设计和制造机器人时应留一手。例如，不能让机器人拥有制造或繁殖自己的能力。第二，应建立人工智能研究伦理审查委员会，审查智能机器人研究计划，对于机器人拥有人类所有智能的研究计划不予批准，禁止利用任何资金资助这类研究计划。第三，与立法禁止化学和生物学武器类似，设计和制造智能机器人的国家以及相应国际机构应立法禁止生产与人类一样聪明甚至比人类更聪明的智能机器人，违反此类法律者要承担刑事责任。第四，要求科学家和企业设计与制造行动合乎道德的机器人。让机器人与我们一样自主做出合乎道德的决定，这是一件比较困难的事情。鉴于近几年应用功能性核磁共振技术研究大脑的成果，人们的道德直觉和道德判断也可能有神经生物学基础，甚至也可能有基因基础，这就给研发行动合乎道德的机器人的计划提供了科学基础。

　　在防止智能机器人危害人类的同时，也应考虑如何正确对待它们。如果机器人没有感知疼痛的能力，那么，它就是没有道德地位的，只是人类的工具而已。然而，一旦机器人能感知疼痛，就会产生伦理问题。我们不能任意对待能感知疼痛的动物，即使在一定条件下我们需要利用它们进行实验研究，也要关心它们的福利，对它们的研究方案要经过动物实验机构伦理委员会审查批准。同理，一旦机器人能感知疼痛，我们就应像对待能感知疼痛的动物一样对待它们。机器人一旦有了自我意识，包括理性、情感以及社会互动能力，在某种意义上就应被当作具有人格的人或社会的人来对待，享有生命和福利受保护的权利。

　　（作者为中国社会科学院哲学研究所研究员）