图1：AlphaGo战胜李世石

一．“技术控”与“技术失控”：技术忧患并非始于当下，也不会终于霍金

计算机在诞生之日起，就伴随着“受控”与“可控”的争论。1979年休伯特·德雷福斯在《计算机不能做什么》中指出，计算机器不可能产生人类的智能；1980年约翰·塞尔也在其“中文之屋”实验中证明，机器系统只是在执行指令，并不能“理解”指令，离“自觉意识”更远。那么，我们到底应当如何看待技术，特别是如何看待AI技术的发展？如何看待虚拟与现实、人与非人的界限？如何看待技术发展对人类独特性的挑战？

技术能够扩展人类对世界的控制，而其本身却具有复杂性，或者说是难以控制的，对“技术失控”的担忧一直深藏在人类思想深处，这种担忧并非始于当下，也不会终于霍金。

图1：霍金近期预言AI将成人类未来最大威胁

人们期待通过技术“保护我们以摆脱现实生活的悲惨险境”时，也一直在关注技术发展可能带给人类的风险。人类社会从传统社会迈向现代社会是一个质的飞跃，启蒙以降、工业革命伊始，技术一直被视作这一宏大社会进程的重要变革性力量，但从伦理学角度看，技术也一直被视作一种忧患之源。从中国古代庄子寓言中的老者对可能导致“机心”的机械采取拒斥态度，到古希腊代达罗斯神话对“被创造物最终要惩罚创造者”主题的阐释，与每一次重要技术成就相伴而生的是人们对技术可能带来危险的担忧。

人类发展技术的历史也一直纠结在“技术控”与“技术失控”的二元逻辑主线中。人们在享受技术便利的同时，有可能失去了对复杂技术系统的控制，进而对人类生存带来灾难。“技术的反向控制与适应”的主题也一直存在于各个文化体系和知识形式之中。从传统社会思想家对“技术危险性”的警示到工业革命之初社会科学家对“启蒙黑暗面”的关切；从近现代戏剧与文学作品（狄更斯、托尔斯泰、卡夫卡等）对“技术两面性”的大众化诠释和传播到技术研究领域对“技术敌托邦”的探索再到近代社会科学的政策分析，所有关切都指向技术所带来的意想不到社会结果，“技术的潜在功能与社会功能紊乱”问题一直是人类发展的梦魇。而人工智能可能自然演化具备自觉意识并对人类发动攻击则是技术忧虑在当代公众意识中的折射。

图2：美剧《西部世界》剧照

二．人与机器人的关系演化：从“人与物”到“人与人”？

人们曾一度认为，人类对自己制造的东西最为了解，并能达到对“制造物”的牢固控制，然而科技发展的速度往往超乎人类想象。起初，机器人只是作为一种人类生活工具出现在科幻小说中的。20世纪中期，当艾萨克·阿西莫夫出版《我，机器人》的时候，机器人世界还是想象中的世界，在科幻作家最初设想中，机器人以照顾人类为己任。然而随着科学技术的进步，人们开始对机器人技术是否会超出人类控制范围产生了怀疑。当今，人类生活中已经充斥着大量机器人，并且越来越智能化，科学的进步总是超乎人们预测。于是，人们开始设想高度发展的人工智能未来，当智能机器人充斥于我们生活那一天，是否会不再满足于为人类服务，而向人类宣战，并统治世界？机器与人的关系是否有可能从“人”与“物”的关系转化成“人”与“人”的关系呢？

图3：阿西莫夫提出的“机器人学三定律”被称为“现代机器人学的基石”

1747年拉美特里匿名发表《人是机器》，批判继承笛卡尔“动物是机器”思想基础上，提出“人是机器”的观点。我们可以把“人是机器”的提出视作打破无机物、有机物和人之间不存在不可逾越界线的努力，但人的物化并没有导致太多社会焦虑。而当代人工智能发展致使“机器成为人”的时候，“机器的人化”或者“机器中存在精灵”则对人的独特性提出了严峻挑战。

根据经典的机器人三定律（1）机器人不能够伤害人类，也不能够因为自己懈怠而令人类受到伤害；（2）机器人必须听从人类命令，除非该命令与第一定律相悖； （3）机器人必须在不违反第一和第二定律的情况下维持自己生存。机器人三大定律的首要原则是保护人类不受机器的伤害，其中体现了创造者试图控制创造物（机器人）的努力，然而“技术漂移的非意愿后果”依旧伴随着人类的技术忧患。

图4：机器人三大定律

从进化论观点来看，不遵循“机器人三定律”的机器人是否会出现并自然进化成为“人”？在《西部世界》中智能机器人开始不再听命于工程师们，开始伤害和自我伤害，并最终摆脱了人类的控制，开始反抗屠杀人类。

图5：美剧《西部世界》中，会杀死飞到脸上的苍蝇是机器人自我意识产生的信号

如果机器人具备了自我意识、拥有生命体征之后，机器人与人的关系是什么：人与物的关系还是可能成为“人”与人的关系？它们如果不再仅仅是一件商品，它们的伦理权利是否需要和如何得到保证？人类跟其他物种的差异并不仅仅是由普罗米修斯式的技术力量推动的，自然演化本身的力量、社会环境的塑造更加重要。人类无疑具有独特性，无论是什么样的机会和环境造就了今日的人类，这样的机会并没有出现在人类的近亲所生活的环境中，技术物的终极制造者还是人类，但人类要预防技术发展可能的风险。

三 技术风险规制：从“亮起红灯”到“有效社会治理”

技术社会学家应当批判性揭示人类在技术社会中行进所遭遇及可能遭遇的真实问题及其困境，在纷乱的多元意识中探寻并推动社会共识形成，寻找社会发展的合理基础和理性框架，并破灭激进中的狂热。

当代社会，网络与移动通信的兴起与普及使信息的生产和传递方式发生了质变，与信息快速流转相伴随的是信息发展的泛滥趋势，而抵御信息泛滥的多重闸口则存在土崩瓦解的风险。许多人不自觉地开始将信息等同于知识，将知识等同于文化、将文化等同于价值；网络空间中的“个人简介”被等同于“个人”、社交网络中的“表情包”被等同于“表情”。在我们沉浸在微信使用便利性的同时，应当清醒意识到“获取专业问题和需求的新信息并不是开启和结束一天的最好方法”。

历史证明，人类面临重大的技术风险往往有助于推动形成社会共识；而好的社会共识则是历史进步的强大推动力。在技术发展中，人类应当避免“近视症”的困扰，预先规划、做好顶层设计，仅仅和过于强调技术发展的“独特能力”，反而容易落入“能力陷阱”。

图6：人与人工智能

传统技术伦理学是把伦理道德看作技术活动之外的一种规范力量，对技术后果进行伦理反思和批判；“后经验转向”时代的技术伦理规约强调规范性和建构性的统一，主张“端口前移”：从负面伦理后果的揭批推进到正面伦理价值的“预防式置入”；在技术设计中“嵌入”道德要素，通过恰当的技术设计规范和制约“创造者”的行为，实现“把技术关进伦理的笼子里”的目标。

在以往技术活动中，当发现不道德的技术实践或技术负面影响时，伦理学家会“吹响口哨”，而这次则是作为科学家的霍金对人工智能“亮起了红灯”。如果说长于论证和批判的人文学者在技术发展中一直处于边缘性地位，在政策制定和风险评估方面话语权还不够强大，科学家阵营的加入无疑有助于进一步夯实“对技术风险进行有效社会治理”的共识， “负责任创新”研究已被列入“欧盟2020 年远景规划”、美国出现了以“负责任创新”为名称的学术期刊、中国也提出“国家治理能力现代化”的目标，科技治理能力现代化前景光明、任重道远！

作者简介

张成岗作者为清华大学教授，维多利亚vic119中国线路党委副书记、社会创新与风险管理研究中心主任。出版专著3部、编著3部、译著4部、在国内外杂期刊发表相关学术论文80余篇，曾获评清华大学第十四届“良师益友”（2014）、教育部第七届高等学校科学研究优秀成果奖（2015）等。