元宇宙干货（二十二）：生成式人工智能的安全时代 ——《生成式人工智能服务安全基本要求》专家建议

生成式人工智能（简称“AIGC”），本质系一种基于训练数据和算法模型生成文本、图片、声音、视频、代码等内容的技术。随着ChatGPT在全球范围内的广泛应用，科大讯飞、百度、华为等龙头科技企业也陆续推出了自己的大模型产品，我国的AIGC产业正在迅猛发展。但是AIGC在推动生产力进步的同时，其本身也存在非法侵害他人权益的隐患，由此带来的合规问题也逐渐受到监管部门的重视。
2023年9月，江苏省南京市江北新区人民法院审结了一起肖像权纠纷案件。在这起案件中，原告林某系某短视频平台网红，某天发布了一段自己身穿古风汉服、带着完整古风妆容出镜的视频。不久后，林某在被告南京某公司运营的一款“AI换脸”微信小程序中发现了含该短视频中外部形象的视频要素合成模板。不特定用户付费成为小程序会员后，即可将该视频模板中林某的面部进行替换，形成面部特征不同但其他内容与原视频相同的“AI换脸”视频。林某认为被告的行为侵害其肖像权，请求法院判令被告赔礼道歉并赔偿损失。江北新区法院经审理认为，对比原告发布的短视频素材，结合“AI换脸”视频中未被修改的装饰装束、肢体动作及场景细节等要素，可以识别出视频中身体形象所对应的主体系原告，故原告对该身体形象享有肖像权。被告未经原告同意，擅自将含有原告肖像的视频存储在“AI换脸”微信小程序中作为供不特定用户选择使用的视频要素合成模板，系利用“AI”信息技术手段编造或者伪造他人肖像的行为，侵害了原告的肖像权，应承担相应的侵权责任。结合被告侵权行为的持续时间、影响范围及后果，综合考量原告的网络知名度及商业价值，法院判决被告书面赔礼道歉并赔偿原告经济损失。[1]
2023年8月15日，《生成式人工智能服务管理暂行办法》（下称《暂行办法》）正式生效，《暂行办法》针对数据的优化训练、服务提供者对数据的采集流程、人工智能生成内容规范数个角度构建了初步监管框架，标志着我国对生成式人工智能全面合规服务的正式起步。
2023年8月7日，全国信息安全标准化技术委员会对《生成式人工智能服务安全基本要求》公开征求意见，并于2023年10月11日公开该文件的征求意见稿（下称《征求意见稿》）。《征求意见稿》在《暂行办法》的基础之上，针对AIGC服务的语料安全、模型安全、安全措施及评估等内容提出进一步规范要求。在此，我们谨对《征求意见稿》中语料来源安全、语料标注安全、标注人员要求、知识产权与个人信息保护四方面提出法律合规意见，以对AIGC服务的合规框架作出进一步改进。
一、语料来源安全
《征求意见稿》第5部分语料来源安全涉及语料来源管理、语料搭配、语料可追溯性等要求。我们从高质量数据白名单制度这一层面对语料来源安全规范提出补充意见。
建议：在建立语料黑名单的同时，是否可以在保证输出内容合规的前提下制定可控的语料白名单制度？
《征求意见稿》5.1条a项规定，AIGC服务提供者“应建立语料来源黑名单，不使用黑名单来源的数据进行训练”，且“应对各来源语料进行安全评估，单一来源语料内容中含违法不良信息超过5%的，应将该来源加入黑名单。”对于不良信息的定义，《征求意见稿》将其定义为《网络信息内容生态治理规定》所规定的不良信息，即“反对宪法所确定的基本原则的、煽动民族仇恨、民族歧视，破坏民族团结的”等几种情况。[2]
《征求意见稿》的该项要求可以与《暂行办法》第四条第（一）款相呼应[3]，其本质上是为了保证AI生成内容的合法性。但是必须注意到，若对AI训练所用的语料，尤其是开源语料的来源作出过于严苛的限制，势必会对我国AIGC产业的发展带来不利影响。
以ChatGPT为代表的大语言模型需要借助庞大的数据集（语料库）加以训练，换言之，训练语料是AIGC工具赖以生存的原料。目前而言，虽然现存语料的容量很大，但也是有限的。Epoch AI研究团队于去年发表的论文中指出，根据AI深度学习能力的不断加强，“‘高质量’的语言数据库（如书籍、新闻稿、学术文献等数据）极有可能在2026年前耗尽”；“‘低质量’的语言数据库将在2030-2050年间耗尽”；“图像数据库将在2030-2060年间耗尽。” [4]此项研究虽然只是一项初步研究，但是也揭示了语料库数量的局限性。相比低质量语料（如用户上传内容、广告信息等）对于AI大模型而言，高质量语料的获取对AI的生产能力存在至关重要的影响。
《征求意见稿》将语料黑名单的阈值设定为整体语料的5％，在这一比例下，极有可能存在大量开源语料，尤其是非中文开源语料因无法通过语料来源筛查而被列入黑名单的可能性。必须认识到，我国AIGC产业的起步晚于境外友商，目前正值高速增长的关口，急需大量高质量语料以弥补与境外AIGC服务提供者的差距，在高质量语料有限的情况下，若因为监管部门的尺度过紧，导致国内大语言模型无法得到充足的训练与优化，将会导致我国AI产业与境外服务提供者的差距进一步拉大。
从另一个角度出发，针对《暂行办法》第七条第（一）款及第十九条的表述而言[5]，AIGC服务提供者仅需要AI训练用语料具有合法来源，即其取得方式合法，并未针对来源语料的内容做进一步要求，对于AIGC监管部门而言，其监管重心可以主要着落在AI输出内容的合规性，而非AI训练优化所使用的数据上。若AI生成工具的产出内容不存在违法性问题，那么在语料库的来源方面，政策可以作出一定的放松。
因此，我们建议，允许AIGC服务提供者针对以书籍、实时新闻报道、学术刊物等为代表的高质量语料设定语料白名单，在AI生成内容满足安全评估、质量检验的前提下，允许白名单中的语料不受《征求意见稿》5.1条a的限制。
二、生成内容安全
《征求意见稿》第5、6、7、8、9、附录部分多处出现了对AI生成内容的合规性要求，如5.2条b项2规定：“……训练语料包含文学、艺术、科学作品的，应重点识别训练语料以及生成内容中的著作权侵权问题。”第5.3条b项4规定：“……安全性标注规则应能指导标注人员围绕语料及生成内容的主要安全风险进行标注。”第6条b项1规定：“……在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一。”而针对生成内容安全的定性问题方面，《征求意见稿》则主要在附件部分从“违反社会主义核心价值观”“歧视性内容”“商业违法违规”“侵犯他人合法权益”“无法满足特定服务类型的安全需求”五个层面出发。此种分类方式可能忽视了现行数据分类分级规则，存在泄露国家产业机密数据的隐患。
建议：是否可以增补相关合规条款，围绕当前数据分级政策，针对AI生成内容的数据安全做专项筛查？
《暂行办法》第十六条第二款规定：“国家有关主管部门针对生成式人工智能技术特点及其在有关行业和领域的服务应用……制定相应的分类分级监管规则或者指引。”我们曾在对《暂行办法》的建议中提出，《暂行办法》本身并未对数据分类分级方式作出详细的规定，有鉴于AIGC产业的特殊性，需要尽快明确针对AI可训练数据的分类方法。[6]但遗憾的是，《征求意见稿》中依然未对数据的分类处理作出规定，未考虑到AI产业与现行数据规则的契合性。
《中华人民共和国数据安全法》第二十一条规定：“国家建立数据分类分级保护制度，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护……”截至目前，已有多部部门规章及政策文件，涉及不同行业所涉数据的分类分级标准。这些标准的设定对我国数据安全管理与数据安全具有重要意义。根据《工业和信息化领域数据安全管理办法（试行）》，我国信息化数据依其重要性可以分类为“一般数据”“重要数据”“核心数据”三大类别[8]，针对每一类别的安全规范都有所不同，并且某些存在重要影响的数据依规定不得公开。[9]
由于AI训练、优化所涉及的开源语料库极为庞大，且各个AI服务提供者可能分别掌握部分商业语料、自采语料。这些数据本身并非《暂行办法》及《征求意见稿》所规定的非法语料，强行剔除亦不合理（理由见本文第一部分），在AI深度学习的过程中，这些语料将会被AI所学习。所以，AI最终生成的文本中也存在包含此类敏感信息的可能性，如果这些生成内容被用户所接触，那么必然违背诸多现行数据分类分级安全保障规范。
因此，为了避免涉密信息的泄露，我们建议，增补相关安全性标注条款，要求AIGC服务提供者在标注AI生成内容时，根据现行数据分类规则（包括一般化分类规则、特型化分类规则）审查AI生成内容是否存在影响国家安全、产业安全的隐患。
三、标注人员
《征求意见稿》5.3条a项要求AIGC服务提供者“自行对标注人员进行考核，给予合格者标注资质，并有定期重新培训考核以及必要时暂停或取消标注资质的机制。”此条规定较为笼统，给予了AIGC服务提供者过高的自由选择权，可能对数据的标注质量产生不利影响。
建议：是否可以针对标注数据类别的不同，对标注人员的资质提出一定要求？
《暂行办法》第八条规定：“在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。”考虑到AI训练所用数据的广泛性，对标注人员的一般性培训难以完全覆盖不同种类的数据，在处理一些高度特化的数据类型，比如法律数据、医学数据、工程学数据、信息数据等时，若标注人员不具备专业知识，则难以提升标注数据的准确性及良率。
因此，我们建议，在处理一些专业化程度较高的数据时，增补对数据标注人员及质检人员的资质要求，如处理涉及法律问题咨询的数据时需要标注人员拥有法律职业资格证书、处理问诊咨询的数据时需要标注人员拥有职业医师资格证等，以提高生成数据的质量。
四、知识产权及个人信息保护
在《暂行办法》中就生成式人工智能数据训练曾明确提出“尊重和保护知识产权”“尊重个人信息”等要求[10]，《征求意见稿》则给出了更为具体的执行标准，包括设置语料以及生成内容的知识产权负责人、建立知识产权管理策略、由专人对语料中的知识产权侵权情况进行识别、建立知识产权问题的投诉举报以及处理渠道、向使用者告知生成内容使用时的知识产权相关风险等等[11]。同样，《征求意见稿》针对个人信息也提出了规范性要求。[12]
但是，此类条款的规定普遍较为宏观化、宣示化，在实践操作中，权利人极有可能无法向AIGC服务提供者有效主张权利。
建议：是否可以要求AIGC服务提供者设置可交互的知识产权及个人信息申明界面，以全面建立可行的权利救济体系 ？
不难发现，《征求意见稿》在保障语料内容合乎知识产权保护方面，给出了“事前-事中-事后”比较全面的安全要求，而在个人信息保护方面，则仅强调事前保护。
针对知识产权保护，《征求意见稿》的“事前措施”要求设置语料以及生成内容的知识产权负责人，并建立知识产权管理策略，知识产权相关负责人等应对语料中的知识产权侵权情况进行分类识别，避免使用有侵权问题的语料进行训练等；“事中措施”要求用户服务协议中，向使用者告知生成内容使用时的知识产权相关风险，并与使用者约定关于知识产权问题识别的责任与义务；并要求公开训练语料中涉及知识产权部分的摘要信息等；“事后措施”要求建立知识产权问题的投诉举报以及处理渠道，且在投诉举报渠道中支持第三方就语料使用情况以及相关知识产权情况进行查询。
但是，“在投诉举报渠道中支持第三方就语料使用情况以及相关知识产权情况进行查询”该条措施在实践中如何具体实施，是非常值得关注的问题。比如，如果有人怀疑AIGC侵犯了知识产权，AIGC服务提供者是否会将所有相关语料内容进行公开以供查询？在查询之前，是否需要提供怀疑AI生成内容存在侵权行为的初步证据？该查询是否会涉及商业秘密泄漏的问题？以及如果对查询结果不满意，是否有反馈途径等等？这些内容与实务操作密切相关，《征求意见稿》需要对此添加细则，增加可操作性较强的救济方式。
针对个人信息保护，《征求意见稿》仅对AIGC服务提供者的事前义务作出规定，要求其在收集个人信息之前征得权利人的（书面）同意等。相比知识产权保护而言，《征求意见稿》对个人信息的保护明显较为单薄。《中华人民共和国个人信息保护法》明确，个人信息权利人有权向信息处理者要求主动删除个人信息、对其个人信息处理规则进行解释说明，且个人信息处理者应当建立便捷的个人行使权利的申请受理和处理机制。[13]也就是说，《个人信息保护法》也要求AIGC服务提供者对个人信息的保护建立事前-事中-事后的全链路保护，《征求意见稿》未对此项要求作出充分回应。
综上，我们建议，AIGC服务提供者应在其产品页面，针对AI生成内容设置可交互的知识产权及个人信息权利申明页面，以便潜在的权利人对AI生成内容提出权利声明，并允许权利人向AIGC服务提供者上传数据佐证自己的主张，同时要求AIGC服务提供者在合理的时间期限内予以回应。
注释
[1] 来源：http://www.jsjc.gov.cn/yaowen/202309/t20230928_1554780.shtml
[2] 《网络信息内容生态治理规定》第六条网络信息内容生产者不得制作、复制、发布含有下列内容的违法信息：
（一）反对宪法所确定的基本原则的；
（二）危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一的；
（三）损害国家荣誉和利益的；
（四）歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉的；
（五）宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动的；
（六）煽动民族仇恨、民族歧视，破坏民族团结的；
（七）破坏国家宗教政策，宣扬邪教和封建迷信的；
（八）散布谣言，扰乱经济秩序和社会秩序的；
（九）散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的；
（十）侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益的；
（十一）法律、行政法规禁止的其他内容。
[3] 《生成式人工智能服务管理暂行办法》第四条提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：
（一）坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；
（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；
（三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；
（四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；
（五）基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。
[4] 来源：https://arxiv.org/pdf/2211.04325.pdf
[5] 《生成式人工智能服务管理暂行办法》第七条生成式人工智能服务提供者（以下称提供者）应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：（一）使用具有合法来源的数据和基础模型……
《生成式人工智能服务管理暂行办法》第十九条有关主管部门依据职责对生成式人工智能服务开展监督检查，提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助……
[6] 来源：https://mp.weixin.qq.com/s/MdmxOvwqAZM2THkvX1qjxg
[7] 如《银行业金融机构数据治理指引》、《工业数据分类分级指南（试行）》、《电信和互联网行业数据安全标准体系建设指南》等。详见https://mp.weixin.qq.com/s/MdmxOvwqAZM2THkvX1qjxg
[8] 《工业和信息化领域数据安全管理办法（试行）》第九条危害程度符合下列条件之一的数据为一般数据：
（一）对公共利益或者个人、组织合法权益造成较小影响，社会负面影响小；
（二）受影响的用户和企业数量较少、生产生活区域范围较小、持续时间较短，对企业经营、行业发展、技术进步和产业生态等影响较小；
（三）其他未纳入重要数据、核心数据目录的数据。
第十条危害程度符合下列条件之一的数据为重要数据：
（一）对政治、国土、军事、经济、文化、社会、科技、电磁、网络、生态、资源、核安全等构成威胁，影响海外利益、生物、太空、极地、深海、人工智能等与国家安全相关的重点领域；
（二）对工业和信息化领域发展、生产、运行和经济利益等造成严重影响；
（三）造成重大数据安全事件或生产安全事故，对公共利益或者个人、组织合法权益造成严重影响，社会负面影响大；
（四）引发的级联效应明显，影响范围涉及多个行业、区域或者行业内多个企业，或者影响持续时间长，对行业发展、技术进步和产业生态等造成严重影响；
（五）经工业和信息化部评估确定的其他重要数据。
第十一条危害程度符合下列条件之一的数据为核心数据：
（一）对政治、国土、军事、经济、文化、社会、科技、电磁、网络、生态、资源、核安全等构成严重威胁，严重影响海外利益、生物、太空、极地、深海、人工智能等与国家安全相关的重点领域；
（二）对工业和信息化领域及其重要骨干企业、关键信息基础设施、重要资源等造成重大影响；
（三）对工业生产运营、电信网络和互联网运行服务、无线电业务开展等造成重大损害，导致大范围停工停产、大面积无线电业务中断、大规模网络与服务瘫痪、大量业务处理能力丧失等；
（四）经工业和信息化部评估确定的其他核心数据。
[9] 《工业和信息化领域数据安全管理办法（试行）》第十九条工业和信息化领域数据处理者应当在数据公开前分析研判可能对国家安全、公共利益产生的影响，存在重大影响的不得公开。
[10] 《生成式人工智能服务管理暂行办法》第四条第三款：……（三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；（四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；
[11] 《征求意见稿》5.2 b）知识产权方面：
1）应设置语料以及生成内容的知识产权负责人，并建立知识产权管理策略；
2） 语料用于训练前，知识产权相关负责人等应对语料中的知识产权侵权情况进行识别，提供者不应使用有侵权问题的语料进行训练；
3）应建立知识产权问题的投诉举报以及处理渠道；
4）应在用户服务协议中，向使用者告知生成内容使用时的知识产权相关风险，并与
使用者约定关于知识产权问题识别的责任与义务；
5）应及时根据国家政策以及第三方投诉情况更新知识产权相关策略；
6）宜具备以下知识产权措施：公开训练语料中涉及知识产权部分的摘要信息；在投诉举报渠道中支持第三方就语料使用情况以及相关知识产权情况进行查询。
[12] 《征求意见稿》5.2 c）个人信息方面：
1）应使用包含个人信息的语料时，获得对应个人信息主体的授权同意，或满足其他合法使用该个人信息的条件；
2）应使用包含敏感个人信息的语料时，获得对应个人信息主体的单独授权同意，或满足其他合法使用该敏感个人信息的条件；
3）应使用包含人脸等生物特征信息的语料时，获得对应个人信息主体的书面授权同意，或满足其他合法使用该生物特征信息的条件。
[13] 《中华人民共和国个人信息保护法》第四十六条个人发现其个人信息不准确或者不完整的，有权请求个人信息处理者更正、补充。
个人请求更正、补充其个人信息的，个人信息处理者应当对其个人信息予以核实，并及时更正、补充。
第四十七条有下列情形之一的，个人信息处理者应当主动删除个人信息；个人信息处理者未删除的，个人有权请求删除：
（一）处理目的已实现、无法实现或者为实现处理目的不再必要；
（二）个人信息处理者停止提供产品或者服务，或者保存期限已届满；
（三）个人撤回同意；
（四）个人信息处理者违反法律、行政法规或者违反约定处理个人信息；
（五）法律、行政法规规定的其他情形。
法律、行政法规规定的保存期限未届满，或者删除个人信息从技术上难以实现的，个人信息处理者应当停止除存储和采取必要的安全保护措施之外的处理。
第四十八条个人有权要求个人信息处理者对其个人信息处理规则进行解释说明。
第四十九条自然人死亡的，其近亲属为了自身的合法、正当利益，可以对死者的相关个人信息行使本章规定的查阅、复制、更正、删除等权利；死者生前另有安排的除外。
第五十条个人信息处理者应当建立便捷的个人行使权利的申请受理和处理机制。拒绝个人行使权利的请求的，应当说明理由。
个人信息处理者拒绝个人行使权利的请求的，个人可以依法向人民法院提起诉讼。