海外投资安全信息2023年第七十四期（总第二百一十四期）

欧盟《人工智能法案》主要监管及激励措施评述

【2023147】

【预警保护伞】

欧盟《人工智能法案》（以下简称“《AI法案》”）以风险为进路，将人工智能（以下简称“AI”）系统分为不可接受的风险、高风险、有限风险以及极低风险四类。针对每一类AI系统，《AI法案》采取了不同的监管策略，并配以具体的制度使得监管可执行落地。具体而言，针对不可接受风险的AI系统，欧盟禁止任何企业或个人部署。针对高风险AI系统，欧盟允许相关主体在履行事前评估等义务后投放市场或投入使用，并进行事中、事后的持续监测。针对有限风险的AI系统，欧盟虽然不要求相应主体履行事前评估等义务，但其仍需遵循相应的透明度义务。针对极低风险AI系统，相应主体则可依据自由意志部署和使用。

总体而言，AI系统的监管不能以牺牲或放弃AI技术发展为代价。实践中，为了向市场提供符合规定的高风险AI系统，企业一般需要承担极高的费用或负担，而中小企业基于其财力、市场份额、能力等的多重限制，可能无法实现相应的要求。因此《AI法案》还提出了AI监管沙盒等策略，鼓励各企业尤其是中小企业的发展和创新。

自欧盟2021年《AI法案》提案起，其解释备忘录即对法案的监管思路进行了整体性描述，其中提到，“本提案对AI提出了平衡、相称的横向监管方法”，仅限于“与AI相关的风险和问题的最低必要要求”。并且，“建立了一个以明确界定的基于风险的监管方法为基础的相称的监管制度……同时，法律框架包括灵活的机制，使其能够随着技术的发展和有关新情况的出现而动态调整。”可以看出，欧盟《AI法案》的监管思路是以横向监管为基础，风险规制为主要方式，同时兼顾监管与发展的动态平衡，具体而言：

1. 横向监管为基础

目前，在AI监管的相关法律文件中，主要存在“横向”监管与“纵向”监管两种主要方式。在横向监管方式中，监管机构将创建一个全面的法规，以尽可能涵盖AI可能产生的各方面影响；在纵向监管方式中，政策制定者采取“定制”的方法，针对不同应用或类型的AI制定不同的法规。[1]欧盟《AI法案》则采用横向监管模式，具体而言，该法案以风险分级的方式将所有AI系统纳入监管范围（特殊AI系统除外），并允许监管机构随着AI的发展不断将新的应用领域纳入现有的风险类别，而没有针对特定AI应用领域制定具体的法律规范。风险分级方式使法案整体处于相对灵活的状态，既能够保持横向监管方式具有的统一性和协调性，同时，相对灵活的分类标准也弥补了传统横向监管方式下对具体的AI应用场景针对性不高的问题，兼具法律的确定性与灵活性，使得相关监管措施更易落地。

2. 风险规制为主要方式

欧盟《AI法案》采用分类分级的风险规制路径，在规定统一监管框架的基础上，识别和评估AI系统可能引发的风险。法案将AI系统分成四个风险级别，分别是不可接受的风险、高风险、有限风险和极低风险，每个风险类别都有相应的应用场景和监管措施，具体分类情形如下表所示：

（点击查看大图）

以上，不同风险级别的AI系统对应不同的监管措施，风险等级越高意味着监管措施越严。灵活的分类方式基本涵盖了目前所有涉及的AI系统，并且该框架允许随着AI技术的发展不断更新和补充。该分类方法结合了不同应用场景的具体情况并对应设置针对性的监管措施，一方面避免笼统规范化的合规义务带来的规制失焦问题，另一方面，也为存在多种风险的复杂场景提供了较为清晰的解决思路，例如可以通过风险分级方式对应复杂场景中的不同类型的风险。但是，过于严格的风险分级方式也有可能对AI的创新发展造成一定限制，例如存在一些新兴的AI系统可能会被归类于高风险从而影响人们对于新兴AI技术探索的情形。

但是，我们理解，实践中各行业企业在某一具体场景中可能不仅适用一个AI系统，而是采取多AI系统耦合的方式，共同为客户提供服务。共同参与某个具体场景的多AI系统可能分属于不同的风险级别，此时，有必要为有机结合共同对外提供服务的AI系统重新划定风险级别。具体而言，当较高风险与较低风险的AI系统同时存在时，可以采用“就高不就低”的原则，对风险进行较严的监管规制。

3. 兼顾监管与发展的动态平衡

法案同时引入了多种灵活措施和例外情形用于促进AI技术的开发创新，在保障监管要求的同时，兼顾AI技术的发展。具体而言，《AI法案》三个版本均提到AI监管沙盒，该措施可以保障企业在一个“安全空间”内测试创新性的AI系统，从而实现AI系统的开发、测试和验证。另外，法案也注重对知识产权的保护，例如2023年《AI法案》折衷草案序言第（79）条规定：“国家监督机构应将获得的任何信息，包括源代码、软件和数据(如适用)，作为机密信息处理，并尊重欧盟关于保护知识产权和商业秘密的相关法律。”2023年《AI法案》折衷草案序言第（83）条规定：“参与本条例应用的所有各方应以透明和公开为目标，同时尊重在执行任务时获得的信息和数据的保密性，制定技术和组织措施，以保护其活动中获得的信息的安全和保密性，包括知识产权和公共及国家安全利益。”保护知识产权即为保护创新，保护创新是推动发展进步的重要动力，由此可以看出，《AI法案》力图在完善监管措施的同时，基于对个人基本权利的保障，推动实现在AI技术可信赖和AI技术发展之间的动态平衡。

1. 高风险人工智能系统的主要监管制度

欧盟《AI法案》采取统一监管策略，主要体现在以下三个方面：责任主体统一监管、各行业统一监管以及AI系统全生命周期统一监管。

首先，在各责任主体统一监管方面，《AI法案》将在AI供应链的各个层面为相关主体施加一系列义务，包括AI系统的提供者、部署者、进口商和分销商。

（点击查看大图）

下文将主要讨论《AI法案》为高风险AI系统提供者在AI系统全生命周期各阶段设置的义务。依据《AI法案》对提供者的义务履行时间限制，我们将提供者在《AI法案》框架下应履行的合规义务细分为提供者将高风险AI系统投放市场前、投放市场时以及投放市场后三个阶段。

由于篇幅所限，在下文中我们将重点介绍高风险AI系统提供者在全生命周期各阶段的重难点合规要求。

（1）投放市场前

基于《AI法案》的整体性要求，一方面，投放市场或投入使用的高风险AI系统需遵循一定的技术处理要求，例如在开发设计时需配置系统运行日志的功能。另一方面，高风险AI系统提供者自身在将相关系统投放市场前，也需履行一定的合规义务，从而为判断AI系统是否符合相关规定的要求，以及提供者证明自身是否合规提供可行的路径。

1）确保高风险AI系统符合相关技术要求的义务

《AI法案》第二章规定了投放市场或投入使用的高风险AI系统应具备的要件，可进一步细化为基于风险动态变化形成的风险管理体系需求，基于核实验证目的形成的技术文档需求，以及基于减少数据训练引发的算法偏见与歧视等问题形成的数据质量需求。而《AI法案》第三章则规定，在相关系统投入使用前，提供者需确保其提供的高风险AI系统已具有上述能力或履行相关要求。

·风险管理体系需求

《AI法案》三次的修订和调整中，具备全生命周期的风险管理体系并进行定期审查与更新始终是《AI法案》要求高风险AI系统具备的能力。

高风险AI系统具备风险管理体系的能力是欧盟《AI法案》采取以风险为进路的治理思路的题中应有之义。一方面，AI系统和传统产品不同，基于自我学习、算法更新等原因，其始终处于动态发展、变化的过程。另一方面，在技术上可能无法完全消除基于研发、部署、使用AI系统引发的算法歧视、偏见等问题，需要通过管理体系来进一步降低风险。此外，“算法黑箱”也在一定程度上使得AI系统对人类的影响存在相当的不确定性和不稳定性。基于风险平衡的视角，并非全部的风险提供者均需采取措施予以解决，其仅需对存在的重大风险进行评估并处理，最终将重大风险控制在可接受的范围内。

严格意义上，风险管理体系是贯穿高风险AI系统全生命周期的技术要求，高风险AI系统提供者不仅需在设计、研发阶段即采取措施确保系统可识别未来的风险，还需在AI系统上市后持续进行风险识别与判断，确保已投入市场的高风险AI系统对个人的基本权利所可能引发的风险始终处于可控制的范围之内。但是，依据2023年《AI法案》折衷草案第16条第（a）款，提供者应在高风险AI系统投放市场前，即已确保AI系统具有《AI法案》第二章为AI系统设置的要求。

目前，我国算法与AI领域的治理规范已有类似于风险管理体系的要求。具体而言，《互联网信息服务算法推荐管理规定》（以下简称“《算法推荐管理规定》）第八条规定，算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等。但是，《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》尚未规定前述的定期审核、评估义务。我们理解，定期审核等系列义务虽然并不完全等同于欧盟《AI法案》所述的风险管理体系，但这两者本质上均涉及AI系统提供者定期对AI系统可能引发的风险进行识别与评估，从而采取针对性措施予以解决。有鉴于此，在未来立法中，我国可进一步要求设置AI系统及算法的风险管理体系，确保动态发展的AI系统与算法对我国网络安全、数据安全以及个人信息保护的影响始终处于可被接受的范围内。

·训练数据质量要求

训练数据的重要性不言而喻，诸如提高训练数据质量真实性、准确性、多样性的要求不仅在《AI法案》的三个版本中均进行了规定，在我国已经发布的《生成式人工智能服务管理暂行办法》中也有体现。具体而言，AI系统依托数据的喂养而训练和优化，训练数据的偏差将镜像地体现在AI系统的运作中。为了避免AI系统的算法歧视和偏差，提高训练数据的质量具有极其重要的意义。例如，预期在律师行业协助律师进行文件翻译的生成式AI服务，如在训练AI时仅是为其提供文学行业的语料，由于法律英语具备相当的专有词汇和用法，因此可能导致生成内容出现一定的偏差。

我国《生成式人工智能服务管理暂行办法》第七条以行为为导向，要求生成式AI服务提供者“提高训练数据治理，增强训练数据的真实性、准确性、客观性、多样性”。《AI法案》对训练数据的质量要求则存在不同的维度，除了应采取适当措施，发现、防止可能存在的偏见问题，2023年《AI法案》折衷草案还进一步要求数据具有相关性、充分的代表性，在考虑到预期目的的情况下尽可能地完整，并在高风险AI系统的预期目的或可预见的使用范围内考虑到其特定的环境或场景因素等。

和2021年《AI法案》提案相比，2023年《AI法案》折衷草案的数据治理要求的亮点如下：

■ 新增技术可行性

2021年《AI法案》提案一经发布即引起社会公众热议，对于研发AI系统相关的企业而言，数据治理要求将使得企业承担极高的负担。最终，在2023年《AI法案》折衷草案中，第十条新增了技术可行性的说明，即利用数据训练高风险AI系统时，只要依据相应的市场或应用范围在技术上可行，则应采取相应的质量要求。

■ 新增偏见考虑

《AI法案》对AI系统进行风险分类的核心目的在于，维护个人的健康、安全和基本权利等。基于此，2023年《AI法案》折衷草案第10条第2款第（f）项，新增偏见考量要求，即研发者在选择训练数据时，应当考虑到对个人健康、安全和基本权利产生的负面影响或导致欧盟法律所禁止的歧视或偏见。《生成式人工智能服务管理暂行办法》虽然并未在数据质量要求一条中规定类似的偏见考量义务，但其在第四条明确规定，“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止民族、信仰、国别、地域、性别、年龄、职业、健康等歧视”。

通过中欧相关条款对比，我们理解，虽然我国和欧盟均意识到训练数据的偏见将对AI系统产生实质影响，但基于歧视偏见的范围等，我们不排除可能存在具体的差异。此种差异本质上是基于各国对AI系统监管的合法利益考量差异而形成，并反映在具体的AI系统监管措施之中。

■ 明确充分性要求

2021年《AI法案》提案中，其第十条仅规定训练数据需具有相关性、代表性、没有错误以及完整的。虽然这一条款旨在提高训练数据质量从而提高高风险AI系统的服务质量，但是实践企业和欧盟成员国均有代表反应，这一要求可能过于严苛，且缺乏一定的实践意义。例如，丹麦等国代表均认为，没有错误的完美数据是不存在的。

有鉴于此，为提高数据质量条款的适用性，2023年《AI法案》折衷草案进一步调整表述，补充了“充分的代表性”，“适当的错误审查”以及“在考虑到预期目的的情况下尽可能地完整”，在一定程度上解决了企业在实践中适用数据质量条款的现实障碍。尤其是针对完整性，2023年《AI法案》折衷草案明确规定完整性需考虑训练数据的预期目的也即训练高风险AI系统的预期目的，一方面有助于提高AI系统在预期使用领域的效能，另一方面可以减少提供者为了实现训练数据的完整性，从而过多地使用不必要的数据。

相较而言，我国《生成式人工智能服务管理暂行办法》虽然相对其征求意见稿而言，已从以“结果为导向”调整至“以行为为导向”，但是，我们理解，网信等监管部门仍可基于实践情况，进一步明确训练数据“真实性、准确性、客观性、多样性”的具体含义，避免歧义，并指导、帮助相关企业开展训练数据处理活动。我们一定程度上同意数据不可能在各个角度上完美，但考虑到训练数据可能会影响人工智能系统的判断从而放大数据的不完美性，企业不仅应当在选取预训练数据集时考虑更多的因素，而且应当在后续训练中持续不断的对训练数据的真实性、准确性等进行核查，尽可能的降低其对人工智能系统判断的影响。

■ 强化个人信息保护要求

2023年《AI法案》折衷草案第10条第5款在2021年《AI法案》提案的基础上，进一步强化了个人信息（欧盟《通用数据保护条例》称之为“个人数据”）的保护要求，并提出采取适当的技术和组织措施从而保障训练数据涉及的个人信息的安全性等要求。

无论是《AI法案》还是《生成式人工智能服务管理暂行办法》，其均规定个人信息的处理需遵循相应的法律要求，具体如《通用数据保护条例》和《个人信息保护法》。但依据实践经验，企业在利用涉及个人信息的训练数据时，可能存在较多障碍，具体而言，相关主体主张无需取得个人信息主体同意而处理个人信息的“例外”合法性基础的空间有限，但获取海量个人信息主体的同意似乎又缺乏可行路径。如企业认为确有利用个人信息进行AI训练、优化的必要，可考虑选择经匿名化处理的个人信息作为替代方案。除匿名化及知情同意以外，各国监管部门应当就人工智能训练是否可以合理使用已公开个人信息给予更明确的指导。我们理解，对于已公开的个人信息无限制地用于人工智能训练可能会引发比如个人信息主体权利侵害，公开互联网平台不正当竞争等社会问题，但如果对训练数据的使用从技术和自我管理约束中，能够做到不标识个人信息主体或者对公开数据源予以成本补偿等，可能也是促成人工智能训练数据发展与安全平衡的方式之一。

·技术文档与运行日志要求

2023年《AI法案》折衷草案第11条和第12条规定，高风险AI系统在投入市场前即应制定技术文档，并设计具有自动记录运行日志的能力。一方面，制定技术文档并保持更新的目的在于证明高风险AI系统符合《AI法案》第二章的要求；另一方面，日志记录能力能确保高风险AI系统在生命周期具有一定程度的额可追溯性，并能识别特定的活动。

（点击查看大图）

为每个高风险AI系统配置技术文档与日志自动记录能力，无论是对AI系统提供者，还是高风险AI系统的主管监管部门而言，均具有积极意义。一方面，系统提供者可通过技术文档和自动记录的运行日志，自证其在高风险AI系统投入市场前，已履行完毕相关合规要求例如构建风险管理系统的要求。另一方面，技术文档也可为监管部门提供所有必要的信息，从而协助其判断特定的高风险AI系统是否符合评估要求。

我们理解，制定技术文档有助于AI相关企业构建完善的内部合规体系，明确识别已采取的合规措施与《AI法案》规定之间存在的差异。我国《生成式人工智能服务管理暂行办法》第十九条虽然规定提供者应配合主管部门的监督检查，并“按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明”，和技术文档涉及的为监管部门提供必要信息的功能有相似之处。但是，其本质上是对监管部门偶发的监管活动进行响应的要求。如AI企业期待寻求长期稳定、可持续的发展，在设计、完善内部合规制度体系时，可考虑将制定描述AI系统相关情况（包含AI系统的整体情况，研发、开发环节具体情况，以及投入市场后的更新情况等内容）的文件纳入企业内部合规制度体系当中，不仅有助于企业快速、高效应对监管部门的检查，还有利于企业自证合规。

2）构建质量管理体系的义务

根据2023年《AI法案》折衷草案，高风险AI系统提供者应建立、实施质量管理体系。具体而言，如下表所示，该版法案第17条第（1）款规定提供者应通过书面文件的形式（如政策、程序或指令等）系统有序地记录其检测和验证程序、适用的技术规范、数据管理体系、风险管理体系、系统投放市场后监测机制、事故和故障报告、监管配合、问责框架等。