风险法学的探索—聚焦问责的互动关系

东方法学 2019 年第 5 期 员的道德规范和行为守则，加强对人工智能潜在危害与收益的评估，构建人工智能复杂场景下突发

事件的解决方案，以夯实第四次产业革命“以人为本”的社会基础。除此之外，规划特别指出有必要积 极参与人工智能全球治理，加强机器人异化和安全监管等人工智能重大国际共性问题研究，深化在

人工智能法律法规、国际规则等方面的国际合作，共同应对全球性挑战，并且在全球范围内优化配置 创新资源。在人工智能开发的规格、标准以及规制方式上与国际接轨，参与全球对话，这是值得高度 评价的原则性立场。

关于技术标准框架体系和保障举措，国务院规划明确提出了安全性、可用性、互操作性、可追溯 性等基本原则，要求逐步建立并完善人工智能基础共性、互联互通、行业应用、跨界融合、网络安全、 隐私保护等技术标准以及行业规范，特别是鼓励人工智能企业参与或主导制定国际标准。针对相关

的评估和安全监管，2017年规划注重人工智能对国家安全和保密领域影响的研究与评估，决定构建

人工智能安全监测预警机制并加强对人工智能技术发展的预测、研判和跟踪研究。在风险评估和防 控方面，从预防法学和因势利导政策的角度明确近期重点关注对就业的影响；远期重点考虑对社会

伦理的影响，确保把人工智能发展规制在安全可控范围内。机制设计的思路是建立和健全公开透明

的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产 品开发和成果应用等的全流程监管并加强惩戒力度。 在人工智能网络化和数据驱动社会成形的背景下，国务院规划特别注重人工智能行业和企业 的自主操控、群智研发以及人工智能网络安全技术的研发，试图构建动态的人工智能研发应用评

估评价机制，要求“围绕人工智能设计、产品和系统的复杂性、风险性、不确定性、可解释性、潜在经

济影响等问题，开发系统性的测试方法和指标体系，建设跨领域的人工智能测试平台，推动人工智

能安全认证，评估人工智能产品和系统的关键性能”。从这一系列制度设计方案和举措中，我们可 以解读出通过人工智能网络来实现社会共生和普惠的原则、通过跨界协调和自律性尊重让企业和

社会都充满活力的治理目标、通过利益相关者参与决策以及问责确保人工智能网络互动的可控性 与透明性。 通过上述分析，我国人工智能开发的主要原则和实施方法不妨归纳为以下九条：（1）共享互信原 则———人工智能的开发以社会共生、人与人交往的互信以及开发利益的普惠为根本价值目标。（2）个 体尊严原则———在数据驱动的智网社会，人工智能开发必须切实保障网络安全、数据安全、个人信息

安全以及公民的隐私权和名誉权。（3）民主参与原则———鉴于人工智能互联互通、渗透到生活的各个 角落，仅靠自上而下的决定和监管必然存在盲点和漏洞，因而必须让利益相关者也参与相关决策。 （4）国际合作原则———鉴于人工智能跨界互联互通的现状以及标准统一的经济合理性，人工智能开

发应该立足于国际合作，对必要的规制也应该采取全球共同应对的方法。（5）相机规制原则———由于

人工智能的技术复杂性和创新性，规范秩序的建构有必要让立法（刚性规范）与道德规范、政策（柔性 规范）兼具并用，并对合规性问题采取多层化判断的方法。（6）公开透明原则———为了防止人工智能

失控，确保设计者和企业的可问责性，对算法和程序应该要求公开、透明化，强调可说明性。（7）双重

规制原则———对于人工智能开发实施设计问责和应用监督的双重规制方式。（8）追踪制裁原则——— 鉴于人工智能的本质在于信息输入与输出之间的关系，对有关产品和技术的研发、应用实行全流程 监管，并对违法和违规现象加大惩戒力度。（9）预防响应原则———针对人工智能开发中的风险要加强 预防举措，并建立危机处理的预警和应急处理体系。〔14〕 〔14〕另外，北京智源人工智能研究院联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所、新一代人

工智能产业技术创新战略联盟等，在2019年5月25日共同发布《人工智能北京共识》，从研发、使用、治理三个方面，提出了以 下十五条准则：造福、服务于人、负责、控制风险、合乎伦理、多样与包容、开放共享、善用与慎用、知情与同意、教育与培训、优 化就业、和谐与合作、适应与适度、细化与落实、长远规划。 8 · ·

三、关于人工智能开发的法理和政策的国际主要动向

关于人工智能开发引起的法律问题以及相关规制的理论探讨的近况，上海交通大学凯原法学院

彭诚信教授主持翻译的“独角兽法学精品·人工智能”系列三本图书已经为我们提供了比较全面的概 观。〔15〕其中关于机器人规制的内容也是从阿西莫夫三定律开始的，涉及机器人伦理学、人工智能管理

规定、统一人工智能法典、联合国人工智能公约、电子法、自动化执法、法律责任与社会伦理等一系列

问题和制度设计的构想，读来饶有趣味。在这里，只想介绍和分析一下主要国家和超国家机构在人工

智能规制方面的最新立法活动以及相关规范的基本内容，作为中国相关制度建设的借鉴。 美国政府从2016年5月开始正式研讨人工智能的法律、伦理以及政策方面的问题，为决策进行准

备。当年10月白宫发表了题为《为人工智能的未来做准备》报告书，提出人工智能的相关系统必须可 控、公开透明可理解、有效发挥功能、与人类的价值和愿望一致等原则。〔16〕与此同时，国家科学技术会 议网络和信息技术研究开发小委员会还发表了关于运用联邦政府预算研究人工智能的方针《美国人

工智能研究开发战略计划》，提出了副作用最小化的要求。〔17〕随后美国电气电子学会也发表了关于人

工智能设计伦理标准的报告书，提倡实现人权理念、人类与自然环境的效益最大化、减少人工智能和 自律系统等带来的风险和负面影响等三条原则。〔18〕由亚马逊、Deep Mind、谷歌、脸书、IBM、微软五大 公司发起，欧美产业界在2016年9月还缔结关于人工智能的伙伴关系，旨在构建一个研究和讨论人

工智能技术改进和社会影响的开放性平台，并发表了关于确保社会责任、采取防护措施等八项信 条。〔19〕来自不同机构和学科的专家也按照人工智能“可接受、有责任”的理念结成伦理专题社群，进行

关于失控风险的脚本分析并提出对策建议。〔20〕

欧盟的机器人法律项目从2012年开始活动，到2014年9月发表了机器人法律指南。2016年4月，欧

洲议会法务委员会召开关于机器人和人工智能的法律和伦理问题的听证会，并在5月公布了与机器 人相关的民事法律规则的报告书草案。2017年2月欧洲议会通过《向欧洲委员会提出的关于涉及机器

人民事法律规则的提案》，建议设立专门的欧盟机构、采纳智慧机器人登记制、明确严格的损害赔偿

责任、保障知识产权等，要求欧洲委员会制定相关的欧盟法律。这个提案还建议确立机器人研发者的 伦理行动规范，其中包括尊重基本人权、预防原则、包容性、问责、安全性、可追溯性、隐私权保护、效 益最大化和危害最小化等内容。