您现在的位置是：首页 > 科技IT > 正文

科技IT

徐钢｜法律如何监管人工智能？

admin2023-09-19科技IT2169

徐钢

同济大学法学院副院长、副教授，上海市人工智能社会治理协同创新中心秘书长

要目

一、法律监管人工智能的出发点：风险预防二、人工智能法律监管的实践：比较与启示三、我国人工智能立法的若干思考

人工智能具有技术属性和社会属性高度融合的特征。它在赋能各行业各领域的同时，也带来了许多潜在风险。因此各国都高度重视人工智能伦理与治理问题。2023年4月28日习近平总书记在主持中共中央政治局会议时指出，“要重视通用人工智能发展，营造创新生态，重视防范风险。”通过法律监管防范风险是人工智能治理的路径之一。2023年8月15日，我国《生成式人工智能服务管理暂行办法》正式施行，成为全球首部针对生成式人工智能的专门立法。同时，国务院将制定《人工智能法》列入2023年度立法工作计划，预备提请全国人大常委会审议。随着人工智能大模型的迅速发展，民众对加强人工智能法律监管也具有较强的期望。

一、法律监管人工智能的出发点：风险预防

法律监管人工智能的出发点是什么，即为什么要监管？我们认为，监管的主要出发点或目的是“风险预防”。风险是指特定时间内某种特定危害发生的可能性，或者某种行为引发特定危害的可能性。“风险”不同于“危险”“危害”或“损害”，其具有发生的不确定性、危害的系统性、因果关系的模糊性等特点。因此，对于现代社会某些高度复杂的科学技术，不能仅在损害结果发生后进行事后补救，而需要对造成风险的源头进行事前预防。人工智能特别是大模型参数体量巨大、可解释性不足、产生的影响面广，因此对其潜在风险需要事前研判和防范。

在法律上，将人工智能的“危害”定性为“风险”具有特殊的意义。这意味着立法者将采取一套“基于风险的监管方法”，政府将在实际损害发生之前提前干预和预防。这与传统上“损害结果发生”的法律责任归责模式存在很大区别。正因为风险监管是对“未来可能发生的、不确定的损害”的一种预防性措施，所以各方存在极大的争论也在所难免，这需要在科学判断与政治衡量、理性精神与民主考量相结合的基础上作出妥善的制度安排。可以说，“人工智能法”在本质上是“人工智能安全法”。

就人工智能可能产生的风险而言，学界和产业界已有很多讨论，例如侵犯隐私、偏见与歧视、伪造与虚假信息等等。我们认为，这些风险大体可以分成三类。

第一类是“技术风险”，即人工智能本身在技术和功能层面的风险。例如数据投毒、模型后门、数据泄露等。对于技术风险，法律并非是合适的解决路径，更有赖于技术标准或评测认证。法律不调整技术，而是调整技术的应用。其上市后如果出了问题，可以视为交付的标的物存在瑕疵，研发、提供或使用各方可以通过安全性约定来处理，也可以通过产品质量法来配置责任。

第二类是“社会风险”，即人工智能对个人、社会或国家造成的风险。例如侵害隐私、生成虚假信息、国家意识形态和军事安全等。随着人工智能在各行业各领域的逐步应用，这些风险会不断增多。造成这些风险的主体很难确定，受到损害的主体非常分散，风险本身也在不断演化。因此其是法律监管的重点也是难点。需要行政监管提前介入，事前预防，通过识别和评估风险的严重程度、发生频率和可能造成风险的主体类型分类施策。

第三类是“认知风险”，即人工智能对个人认知层面造成的风险。例如算法沉迷、信息茧房、群体极化等，这是对人类自主性的侵害。认知风险与其他风险相比有三个值得关注的区别：一是主观无形，其发生的场所是人的脑子，很难发现和识别；二是影响长久，尤其是对青少年认知能力和偏好态度的影响，将塑造他们成年以后的认知和决策；三是事关根本，其短期内看不到立竿见影，长期内却在塑造和影响下一代人。对此，我国现行的一些规章已经有所关注。例如《生成式人工智能服务管理暂行规定》第10条要求人工智能服务的提供者“采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务”。对于认知风险具体如何有效防范和监管，值得重视和深入研究。

二、人工智能法律监管的实践：比较与启示

近年来，世界各国和地区在开展人工智能技术竞争的同时，也在人工智能治理方面抢占制度上的话语权和制高点。“技术+规则”成为各国人工智能发展的核心竞争力。人工智能的治理生态包括战略规划、伦理原则、政策规范、技术标准、法律法规等。当前，人工智能立法正在进入快车道，希望通过法律规定为人工智能发展划定安全底线。

欧盟对于人工智能立法非常积极。2023年6月14日，欧洲议会以压倒性结果通过了《人工智能法案》，有望于今年年底前正式获批。除了《人工智能法案》，欧盟与人工智能直接相关的立法还有《数据法案》《人工智能责任指令》提案和《产品责任指令》提案。欧盟《人工智能法案》是全球首部人工智能综合立法，其有几个重要的特点：（1）它是一部综合性立法，而不是针对特定人工智能应用领域的立法，其试图把所有人工智能系统都纳入监管范围。（2）采用“基于风险的进路”，法案将人工智能风险分为不可接受的风险、高风险、有限风险以及极小风险四级，对每一级风险采取不同的监管要求。其中对高风险人工智能规定了从入市前到入市后的全流程风险管理措施。（3）引进监管沙盒等机制以管控风险和促进创新。总的来说，欧盟采取的是“硬法”的监管手段，给行业自律留下的空间非常小。这也引起了业界的担忧，认为过于严格的监管会增加企业成本、妨碍人工智能产业发展。

与欧盟不同，美国没有统一的人工智能联邦立法。美国当前对人工智能的监管方式主要是白宫出台宏观政策与蓝图，联邦机构各部门将其纳入各自现有的管理职责当中。短期内，美国对人工智能监管的重点问题是如何让现有的法律适用于人工智能技术，而不是制定新的专门性法律。白宫及联邦机构发布的多项政策指南或框架多为自愿性的软法，不具有法律强制性，如《人工智能应用监管指南》《人工智能权利法案蓝图》《人工智能风险管理框架》等。美国人工智能的监管主要依赖企业和行业自律。例如前些天微软、谷歌和亚马逊等七家领先企业在白宫达成自律承诺就是一个最近的典型例子。就立法而言，在联邦层面，近年来国会议员提出了诸多人工智能监管的相关议案，例如2023年6月参议院多数党领袖查克·舒默推出了“人工智能安全创新”框架，强烈支持在人工智能领域进行全面立法。但总体来看人工智能立法进程仍处于早期阶段，由于其权力架构与政治竞争，未来制定统一立法的可能性也比较小。

我国人工智能立法正在稳步推进。《新一代人工智能发展规划》提出，“到2025年初步建立人工智能法律法规，到2030年建成更加完善的人工智能法律法规。”目前我国人工智能立法呈现出“小步快跑”的特点，主要针对人工智能应用场景和功能进行了专门性立法。例如国家互联网信息办公室牵头制定了一系列部门规章，包括《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人脸识别技术应用安全管理规定》（征求意见稿）等。在地方立法上，深圳和上海制定了《深圳经济特区人工智能产业促进条例》和《上海市促进人工智能产业发展条例》的地方性法规。从现有的立法来看，我国对人工智能的法律监管基本上是介于欧盟和美国之间，坚持发展和安全并重，把人工智能创新和发展置于重要地位；在监管方式上，实行包容审慎和分类分级监管。下一步，制定统一的人工智能法已被列入国务院2023年立法工作计划，预备提请全国人大常委会审议。

从上述三个国家和地区的人工智能立法情况来看，我们可以得到几点启示：

第一，人工智能的监管有多种模式，既有硬法也有软法，既有他律也有自律，法律监管只是其中的一种路径。即使是作为硬法的法律监管，也会根据人工智能的不同风险和应用场景采取不同的监管方式和强度。

第二，人工智能立法背后往往有本国或地区的战略考量，如欧盟通过制定人工智能法试图以规则优势弥补技术落后，发挥“布鲁塞尔效应”，谋求人工智能监管的全球标准，从而向世界各国输出其价值观。同时通过确定长臂管辖，限制美国科技巨头在欧盟的不正当竞争，防止美国的“数字帝国主义”。

第三，人工智能的法律监管必然会增加企业成本，但无序发展也会产生其他无法量化的社会成本。人工智能的风险除了客观上被描述之外，还受到社会民众主观心理认知的影响，一次重大的人工智能应用事故可能导致民众对其失去信任，从而影响该技术的推广应用与研发。政府的介入可以建立消费者对人工智能产品的信任，进而增强其市场的领导地位。这也是为什么美国OpenAI等公司呼吁政府监管的原因——本质上是让政府为企业人工智能产品的安全向消费者进行背书。因此，我们不能将人工智能监管与阻碍创新划等号、将发展与监管对立起来，关键是要通过监管促进发展。

第四，我国制定人工智能法，一方面通过立法确立在国际上的地位，形成人工智能治理规则的中国标准；另一方面通过适度监管，明确人工智能发展的法律底线，给国内外企业一个定心丸，也给消费者一个定心丸。事实上，对于科技创新企业来讲，最担忧的并不是政府监管的严格与宽松，而是监管处于灰色地带，政府对研发和应用的态度不明、政策不定、底线不清将影响企业的投资和投入。通过立法明确监管措施，具有稳定性与预期性，有利于人工智能的长期发展。

三、我国人工智能立法的若干思考

当前，我国制定《人工智能法》已列入国务院2023年的立法工作计划。总体上，我国人工智能技术发展仍处于初级阶段，人工智能治理应为技术创新留下空间，秉持发展与安全平衡、硬法与软法结合、他律和自律协同、张弛有度、刚柔并济的原则。

第一，包容审慎的监管原则

“不发展是最大的不安全”已基本成为共识，因此要平衡好发展与安全的关系，采取包容审慎的监管思路。根据最近几年的研究和实践，包容审慎通过以下具体机制来实现：一是暂缓干预市场，二是开放决策程序，三是建立容错机制，四是推动尽职免责，五是建立试点机制。近年来的新兴领域立法很多都体现了这些机制中的一种或者多种。其中试点机制，也就是人工智能“沙盒监管”，目前在美国、欧盟、英国等很多国家和地区进展比较顺利，我国在多个领域（如金融、汽车安全、智能网联汽车等）也都有比较多的实践和经验，在人工智能立法中值得吸纳。

同时，对于人工智能创新的支持和促进，不应停留于宣示性规定，而应当有实实在在的“干货”，包括赋予权利、减轻义务、减免责任、放松管制、提供服务等规定和措施。

第二，分类分级的监管思路

人工智能的应用领域广泛，产生的风险种类及程度也不同，因此需要分类分级进行监管，不同的风险级别，不同的主体要去履行不同的预防义务，相应承担不同程度的责任，不可“一刀切”。对于风险的分类分级，欧盟《人工智能法案》采用了“四分法”，包括：不可接受风险、高风险、有限风险、极小风险，每个风险类别都有相应的应用场景和监管措施。我国有专家建议采用“负面清单管理制度”对人工智能进行风险管理，即负面清单内的研发、提供活动采取许可机制，实行事前监管；负面清单外的研发、提供活动则采取备案机制，实行事后监管。

我们建议可以采用高风险、中风险、低风险的“三分法”。欧盟的“四分法”对企业合规压力较大，且“不可接受风险”中应用场景的判断标准也非常模糊。负面清单制度本质上是“二分法”，其有利于降低企业成本，但缺乏缓冲地带。我国其他立法中关于风险分类管理时普遍采用高、中、低风险的“三分法”，例如《生物安全法》《医疗器械监督管理条例》等，对应的监管措施也比较成熟，值得借鉴。同时，为了适应人工智能技术的快速迭代、应用领域的不断拓展，具体的风险分类分级标准及名录可授权国务院有关部门制定、动态调整并公布。

第三，高效协调的监管机构

谁来监管？是统一监管还是分行业监管？这是法律监管立法中需要规定的内容。欧盟《人工智能法案》采用的是统一监管思路，其将设立“欧洲人工智能委员会”来监督实施规定，同时要求各成员国指定一个国家监管机构。如前所述，美国目前采取的是分行业由各联邦机构按现有职责分别监管，对于是否创设全新的专门监管机构存在较大争议。我国有专家建议设立“国家人工智能办公室”作为主管机关，统筹负责全国范围内人工智能发展与管理工作，以避免“九龙治水”的困境。

我们认为，人工智能可赋能各行业各领域，由统一的部门进行监管难度较大，需要分行业分领域由各部门监管，同时明确统筹协调机构。从当前已经施行的《生成式人工智能服务管理暂行办法》等部门规章来看，其由多个国务院有关部门联合制定，这也表明该事项涉及多个国务院部门职权范围。我们建议，人工智能的监管机构可以与《网络安全法》和《数据安全法》保持一致，即由国家网信部门负责统筹协调人工智能安全和相关监管工作，相关主管部门在各自职责范围内承担本行业本领域人工智能监管工作。

第四，多样化的受监管主体

当前，我国《生成式人工智能服务管理暂行办法》等相关规章中主要规定了人工智能的“提供者、使用者”，将“研发者”排除在监管范围之外，即只要未向境内公众提供服务，相关的技术研发活动就不在调整范围之内。那么，今后人工智能法中是否要规定“研发者”？我们认为，应当规定“研发者”这一重要主体，即仅从事算法设计、数据标注、模型训练、测试部署等研究和开发活动而并未对社会公众提供服务的主体。研发过程中算法设计、模型训练等环节如果使用了有毒数据，将直接影响其上市后的对外服务，如生成内容存在偏见与歧视、暴力等有害信息。因此需要在研发过程中提前进行预防。

同时，我们也必须注意，法律的调整对象是社会关系，在研发过程往往未发生具体的社会关系，因此对于研发者的研究与开发活动不应规定过多义务和要求，以避免限制人工智能技术创新。其主要遵守科技伦理准则和内部风险管理要求，对相关的法律责任也可适当豁免。

第五，不同强度的监管方式

立法者应当按照风险级别、主体类型和应用场景，设定不同强度的监管方式，相关主体承担不同梯度的义务。

对于低风险的应用，可以适度监管或者不监管，主要由企业自己或者市场第三方进行风险评估，加强内部风险管理，其适用场景应是最广泛的。风险评估与管理是各个国家和地区普遍采用的一种方式，其评估内容主要包括数据的来源、收集方式、平衡程度和来源合规性，以及模型的来源和一些简明扼要的技术事实。

对于中风险的应用，可以进行常规监管，采用备案公示的措施。这在现有的算法推荐备案中已经采用，可以保留。备案公示事实上蕴含了很多其他额外要求，包括提交自评估报告，接受社会公众监督，备案机关所作的简单的附带性审查，通过信息真实准确的承诺而保留了事后追责的可能性。

对于高风险的应用，需要进行严格监管，进行全生命周期的监管，事前可以设置行政许可，即事前进行风险识别和评估，经申请许可后才能投入使用，同时在事中事后进行监测跟踪，发生问题了要及时补救和处置。对该类型的措施应当是少数的。

第六，科学设计主体责任

法律责任是行为主体违反法定义务后所承担的不利后果。这里既包括对人工智能法规定义务的违反，也包括对其他法律规定义务的违反，例如数据安全法、刑法等。从法律责任的类型来看，在投入使用前，主要是未履行风险预防方面的法定义务，需承担行政责任；投入使用后，现有的很多法律都能适用，可适用传统的损害结果的归责原则，如给他人造成损害则承担民事责任，违反其他行政法律义务的承担行政责任，如利用人工智能行为构成犯罪，比如利用生成式人工智能诈骗财物，应追究刑事责任。

那么，不同主体之间，比如研发者、提供者和使用者之间，按照什么样的方式承担责任，是各自有所区分还是包含连带责任？以何种方式连带，过错还是无过错？这些问题尚需要研究。人工智能的整个供应链和价值链都非常复杂，怎么在不同主体之间进行分配，需要在深入研究技术和产业发展实践的基础上科学设置。

第七，与相关法律规定的衔接

人工智能包含数据、算法、模型、算力等要素，对于其中的部分要素我国已有相应的立法。同时，人工智能在各行业各领域应用时，又会涉及与该行业领域方面的现有法律发生交叉重叠。因此，如何衔接好与现有相关法律规定的关系是立法者需要考虑问题。对此主要包括三个层面：一是处理好与现有部门规章的关系。应涵盖现有部门规章中的相关内容，例如《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》等，尽量保持一致性，将实践中比较成熟有效的规定上升为法律，存在问题的做法予以调整。二是处理好与同级别的人工智能相关要素立法的关系，例如《数据安全法》《个人信息保护法》等，如果其他法律已经有所规定，无需再重复规定，可以用转介条款进行衔接。三是处理好与传统行业领域的法律的关系，例如《著作权法》《反垄断法》《刑法》等，如果人工智能是作为工具、手段或方法的，本质上并未改变原有法律的调整对象，那么可适用传统法律的规定，人工智能法可以不再作具体规定。

责任编辑：王健郭骏