元宇宙之“深度合成”——解读《互联网信息服务深度合成管理规定（征求意见稿）》

引言
元宇宙是近期非常火爆的话题，也是植德尤为关注的领域。元宇宙空间中尤为重要的一个技术环节就是“深度合成”，将虚拟和实体进行虚实结合，丰富虚拟空间的内容，降低制作时间和成本，为更加多元化的传播提供可能性。可以说，“深度合成”技术是元宇宙发展过程中必不可少的支撑性技术。
一、什么是“深度合成”技术
1. 由来
2017年，一位名叫“Deepfakes”的用户在美国Reddit网站上分享了篡改人脸的视频，后该用户在代码开源平台GitHub上公开了实现该技术的源代码，引发了技术爱好者的广泛关注与讨论。
2. 场景举例
随着深度合成技术的发展，应用场景也不断出现和丰富，越来越多的机构使用深度合成技术提升原有产品或发布新的产品，比如虚拟偶像、AI换脸、定制表情、声音复制、音乐合成、类人创作等，具体分为以下领域：
（1）文本
2017年，清华大学自然语言处理与社会人文计算实验室发布人工智能诗歌写作系统“九歌”。“九歌”采用最新的深度合成及学习技术，结合多个为诗歌生产专门设计的模型，基于超过80万首人类诗人创作的诗歌进行训练学习，具有多模态输入、多体裁、多风格、人机交互创作模式等特点，能根据用户输入的关键词，自动创作出不同风格的五言和七言绝句。
（2）声音
“离线语音合成”技术，通过合成语音为用户提供语音导航服务；通过手机或音箱收听小说或新闻时，为用户提供不同发音人的播读功能；使用智能硬件时，用户与机器人之间进行语音信息交互。
（3）图像及视频
“定制表情”，使用者可以通过手机摄像头捕捉人的脸部表情，通过一系列面部数据和表情数据训练算法，即时转为手机可用的表情包，同时借助人工智能技术自主学习识别和建模。
3. 定义
国家互联网信息办公室于2022年1月28号发布了《互联网信息服务深度合成管理规定（征求意见稿）》（“征求意见稿”或“规定”）第二条，将“深度合成”定义为：
本规定所称深度合成技术，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括但不限于：
（一）篇章生成、文本风格转换、问答对话等对文本内容进行生成或者编辑的技术；
（二）文本转语音、语音转换、语音属性编辑等对语音内容进行生成或者编辑的技术；
（三）音乐生成、场景声编辑等对非语音内容进行生成或者编辑的技术；
（四）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等对图像、视频内容中人脸等生物特征进行生成或者编辑的技术；
（五）图像增强、图像修复等对图像、视频内容中非生物特征进行编辑的技术；
（六）三维重建等对虚拟场景进行生成或者编辑的技术。
二、“深度合成”风险

随着深度合成技术开放开源、深度合成产品和服务的增多，深度合成内容制作门槛越来越低，实现了技术的“平民化”，不法分子可轻易伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。“深度合成”技术使得人们对互联网上的信息内容的真假更难甄别。利用深度合成技术生成的虚假信息，既可能会损害社会公共利益和国家安全，亦可能侵害企业和个人的权利。
1. 社会及国家安全风险
深度合成技术在被极端组织利用的情况下，将可能被用于生成危害社会及国家安全的内容，成为极端组织捏造政要言论的工具，用以伪造公务人员虚假视频，继而煽动他人实施破坏社会公德、扰乱社会秩序的行为；也可成为训练恐怖分子的“洗脑”教材，教唆进行恐怖活动，危害国家安全、破坏国际关系，从而威胁社会安宁。
例如，2018年4月，有技术团队制作了涉及美国前总统奥巴马的换脸视频，视频中“奥巴马”称美国现总统特朗普为“彻头彻尾的白痴”，该视频在网上已获得480余万次的浏览量；无独有偶，2018年5月，有人利用深度伪造技术制作了特朗普的视频，批评比利时环保政策等。
美国众议院情报委员会于2019年6月13日组织听证会，重点分析了深度伪造技术影响下的国家和选举安全风险，认为深度伪造技术的非法使用存在威胁美国政治秩序和选举的风险。[1]
2. 公司名誉、财产损失风险
深度合成技术可以用来生成含有欺诈性质的内容，导致企业的利益受损。2021年10月《福布斯》杂志根据发现的一份法庭文件报道：欺诈者用深度伪造语音冒充客户，电话联系某国的银行机构经理，声称公司即将进行收购，需要银行批准一笔3500万美元的转账。银行经理确认转账金额和收款账户后进行了转账。随后，这笔被窃取的资金被转移到全球各地的银行账户。[2]
深度合成技术还有可能被不法分子用于篡改行业竞争对手的高管发言内容，从而散播虚假消息，给竞争对手的企业形象带来冲击，进而造成破坏竞争公司的声誉、使其股价下跌等后果。
3. 个人名誉、财产损害风险
在深度合成技术被不法利用的情景下，个人的名誉、财产等私权利都可能成为被损害的对象。由于深度合成技术需要大量数据训练以实现更高逼真度的特性，而明星、高管、学者、政要等公众人物的图像、视频、音频资料极易通过网络获取，他们也因此成为了被恶意攻击的首选。2021年1月，艺人刘昊然被深度合成技术伪造出不雅视频在网上传播，尽管刘昊然工作室公开作出澄清和声明，但8月份该虚假视频再次在社交软件上大肆传播，给刘昊然的个人名誉造成了负面影响，刘昊然工作室发文称已向警方报案。
除了知名人士的个人权利被非法侵害，普通个人的个人权利亦有被侵害之风险。2021年5月，常州王某报警称自己被裸聊诈骗11万余元。王某表示，骗子用AI换脸技术把他的脸合成到了他人的视频上，并以此威胁其转账。2021年10月，央视《焦点访谈》栏目报道：安徽合肥警方查获一起非法利用深度合成技术，伪造他人人脸动态视频，为黑灰产业链提供注册虚拟手机卡等技术支撑的案件。[3]
总之，通过深度合成技术制造虚假视频、虚假音频进行诬陷、诽谤、诈骗、勒索等违法和侵权行为的事例已经屡见不鲜，深度伪造内容数量不断增多、危害性不断增强，迫切需要政府部门介入，进行合规监管。
三、监管机制
1. 国外立法
（1）欧盟
在应对深度伪造技术上，欧盟主要通过个人信息保护和虚假信息治理等从法律层面限制人工智能造假技术的应用。
欧盟委员会于2018年4月26日发表致欧洲议会、欧盟理事会、经济和社会委员会以及地区委员会的长篇公开信《应对线上虚假信息：欧洲方案》。该方案集中阐释了欧盟委员会面对线上虚假信息挑战的基本观点，提出改进信息来源及其生产、传播、定向投放和获得赞助方式的透明度，改善信息的多样性，提高信息的可信度，制定包容性的解决方案等原则，以实现全面防范视频、图像和文字等虚假信息，避免信息发布者违法操纵舆论等状况。[4]
2018年5月，欧盟正式实施《通用数据保护条例（GDPR）》，把个人数据置于欧盟法律保护之下，包括可能被用于制作深度伪造内容的公民图片等数据，并适用于社交媒体平台和软件公司发布的换脸软件产品等可能引发的个人隐私泄露问题。
2018年9月，欧盟发布其历史上首个《反虚假信息行为准则（CodeofPracticeonDisinformation）》，旨在加强互联网企业对平台内容的自我审查，从源头打击网络虚假内容。2020年1月，欧盟委员会发布消息称，将于年初启动对《反虚假信息行为准则》实施效果的全面评估。本次评估主要针对签署了《反虚假信息行为准则》的互联网企业，以检验社交媒体和搜索平台在打击网络谣言方面的行动力度，包括针对深度伪造等音视频文件的管控。[5]
（2）美国
2018年12月，美国参议院提出《2018年恶意伪造禁令法案》（Malicious Deep Fake Prohibition Actof 2018），对制作深度伪造内容引发犯罪和侵权行为的个人，以及明知内容为深度伪造还继续分发的社交媒体平台，进行罚款和长达两年的监禁。如果伪造内容煽动暴力、扰乱政府或选举，并造成严重后果，监禁将长达10年。
2019年6月，美国众议院提出《深度伪造责任法案》（Deepfakes Accountability Act），要求任何创建深度伪造视频媒体文件的人，必须用“不可删除的数字水印以及文本描述”来说明该媒体文件是篡改或生成的，否则将属于犯罪行为。
2019年6月，美国众议院提出的《2020财年DamonPaulNelson和MatthewYoungPollard情报授权法案》中提出，建议针对深度伪造技术的鉴别开展相关技术竞赛，以刺激鉴伪技术的研究和商业化。
2019年6月，美国两党议员分别在众议院、参议院同时提出《2019年深度伪造报告法案》（DeepfakesReport Act of 2019），明确了“数字内容伪造”的定义，规定国土安全部定期发布深度伪造技术相关报告。该法案将国土安全部作为主管协调部门，规定报告的制作由国土安全部分管科学和技术事务的副部长负责，其分管的司局也参与深度伪造技术研究，如科学技术局、网络安全司、国土安全高级研究计划局等。[6]
与联邦层面相比，美国很多州的“深度伪造”规制更为超前。目前已有一些州通过了正式法律，对“深度伪造”进行规制，比较有代表性的包括加利福尼亚州、弗吉尼亚州和得克萨斯州。
2. 国内立法
（1）《民法典》
2019年4月，十三届全国人大常委会第十次会议审议了《民法典》人格权编草案二审稿，对“AI换脸”、个人信息保护等问题作出了规范，关注深度合成技术应用过程中可能存在的肖像权侵权问题。草案规定，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权，其他人格权的许可使用和自然人声音的保护，参照适用草案的有关规定。
2020年5月，十三届全国人大三次会议表决通过了《民法典》。其中，人格权编中第一千零一十九条规定：任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。
《民法典》自2021年1月1日起施行。
（2）《网络音视频信息服务管理规定》
2019年11月，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发了《网络音视频信息服务管理规定》，针对基于深度学习、虚拟现实等新技术新应用上线具有媒体属性或者社会动员功能的音视频信息服务，作了全面细致的规定。
一是要求进行安全评估。《网络音视频信息服务管理规定》第十条规定：“网络音视频信息服务提供者基于深度学习、虚拟现实等新技术新应用上线具有媒体属性或者社会动员功能的音视频信息服务，或者调整增设相关功能的，应当按照国家有关规定开展安全评估。”
二是明确标识要求。《网络音视频信息服务管理规定》第十一条第一款规定：“网络音视频信息服务提供者和网络音视频信息服务使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识。”如果发现上述音视频无明显标识，应当立即停止传输该信息，以显著方式标识后方可继续传输该信息。
三是规范新闻信息传播。《网络音视频信息服务管理规定》第十一条第二款规定：“网络音视频信息服务提供者和网络音视频信息服务使用者不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。转载音视频新闻信息的，应当依法转载国家规定范围内的单位发布的音视频新闻信息。”
四是要求网络音视频信息服务提供者应部署应用违法违规音视频以及非真实音视频鉴别技术，《网络音视频信息服务管理规定》第十二条规定：“发现音视频信息服务使用者制作、发布、传播法律法规禁止的信息内容的，应当依法依约停止传输该信息，采取消除等处置措施，防止信息扩散，保存有关记录，向有关部门报告。”
五是建立辟谣机制。《网络音视频信息服务管理规定》第十三条规定：“发现网络音视频信息服务使用者利用基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播谣言的，应当及时采取相应的辟谣措施，并将相关信息报主管部门备案。”
《网络音视频信息服务管理规定》于2020年1月1日实施。
（3）《网络信息内容生态治理规定》
2019年12月，国家互联网信息办公室颁布《网络信息内容生态治理规定》，其中第二十三条明确规定：“网络信息内容服务使用者和网络信息内容生产者、网络信息内容服务平台不得利用深度学习、虚拟现实等新技术新应用从事法律、行政法规禁止的活动。”
《网络信息内容生态治理规定》于2020年3月1日实施。
（4）《互联网信息服务算法推荐管理规定》
2022年1月4日，国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布《互联网信息服务算法推荐管理规定》，其中第十三条规定：“算法推荐服务提供者提供互联网新闻信息服务的，应当依法取得互联网新闻信息服务许可，规范开展互联网新闻信息采编发布服务、转载服务和传播平台服务，不得生成合成虚假新闻信息，不得传播非国家规定范围内的单位发布的新闻信息。”
《互联网信息服务算法推荐管理规定》于2022年3月1日实施。
（5）《互联网信息服务深度合成管理规定（征求意见稿）》
2022年1月28日，国家网信办就《互联网信息服务深度合成管理规定（征求意见稿）》公开征求意见。
《征求意见稿》除了明确了“深度合成”的定义，更从五个方面对深度合成技术作出了监管规定。
一是明确了制定目的依据、适用范围和总体要求。明确在中华人民共和国境内应用深度合成技术提供互联网信息服务，以及为深度合成服务提供技术支持的活动，适用本规定。明确国家网信部门、地方网信部门的统筹协调和监督管理职责以及深度合成服务提供者、使用者的基本要求。鼓励相关行业组织加强行业自律。强调不得利用深度合成服务从事法律法规禁止的活动，不得制作、复制、发布、传播含有法律法规禁止内容的信息。（第一条至第六条）
二是明确了深度合成服务提供者的义务。（A）要求服务者建立健全算法机制机理审核、信息内容管理、从业人员教育培训等管理制度，具有与新技术新应用发展相适应的安全可控的技术保障措施；（B）服务者应当制定并公开管理规则和平台公约，并对使用者依法进行真实身份信息认证；（C）服务者加强内容管理，采取技术或者人工方式对输入数据和合成结果进行审核，并建立健全相关特征库；（D）加强技术管理，定期审核、评估、验证算法机制机理；(E)服务者提供涉及生物识别信息或者可能涉及国家安全、社会公共利益的模型、模板等工具的，应当自行开展安全评估，预防信息安全风险；（F）服务者应加强训练数据管理，确保数据处理正当、合法，采取必要措施保障数据和个人信息安全。（第七条至第十二条）
三是明确了深度合成信息内容标识管理制度。要求深度合成服务提供者对使用其服务所制作的深度合成信息内容，通过有效技术措施添加不影响用户使用的标识，依法保存日志信息，使深度合成信息内容可被自身识别、追溯。对生成或者显著改变信息内容的深度合成信息内容，应当使用显著方式进行标识，向社会公众有效提示信息内容的合成情况；对其他深度合成信息内容，应当提供进行显著标识的功能，并提示使用者可以自行标识。发现应该进行显著标识而未显著标识的，应当立即停止传输该信息，按规定作出显著标识后，方可继续传输。（第十三条至第十五条）
四是明确了多方服务提供者的监督管理相关要求。（A）互联网应用商店服务提供者应当对深度合成应用程序履行安全管理责任，依法依约核验安全评估、备案等情况，对违反国家有关规定的，及时采取不予上架、暂停上架或者下架等处置措施；（B）深度合成服务提供者应当建立健全辟谣机制，设置便捷有效的用户申诉和公众投诉、举报入口；应当按照有关规定履行备案手续、标明备案编号；开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，应当按照国家有关规定开展安全评估；对网信部门依法实施的监督检查，应当予以配合，并提供必要的技术、数据等支持和协助。（第十六条至第二十一条）
五是明确了法律责任、解释部门和施行日期。违反《规定》相关规定的，由国家和省、自治区、直辖市网信部门依据职责，按照《规定》和有关法律法规规章的规定予以处理。《规定》由国家互联网信息办公室负责解释。（第二十二条至第二十五条）
注释：
[1]清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、国家工业信息安全发展研究中心、北京市大数据中心，《深度合成十大趋势报告（2022）》。
[2]同上。
[3]同上
[4]李鹏飞，《各国涉Deepfake等人工智能造假技术立法概况》。
[5]同上。
[6]同上。