近日，谷歌悄悄地禁止了Colaboratory（Colab）服务上的深度伪造（Deepfake）项目。
不过，外界不知道谷歌执行这一政策是出于道德考虑还是出于对计算资源的保护。有报告称，一些用户利用该平台的免费层级，大规模创建深度伪造模型，占用了Colab大量资源。
抛开资源占用，深度伪造还有什么法律风险？该如何看待这一技术的发展和规制？
深度伪造简介
深度伪造技术（Deepfake），是一种基于深度学习的伪造技术，源于Deep Learning和Fake 的组合。它是通过生成性对抗网络（Generative Adversarial Network，GAN）、卷积神经网络（Convolutional Neural Network，CNN）以及自动变分解码器（Variational Auto-encoder，VAE）等生成模型，生成伪造文本、图片、音视频甚至即时视频等信息的技术。
其工作原理是由两个系统（一个叫生成器，一个叫鉴别器）对抗、博弈，其中生成器用来生成假视频，鉴别器判断识别该片段的真假。
深度伪造技术原理。图片来源：方艳梅：《深度伪造对人脸识别支付系统安全性的挑战与应对》，载《金融科技时代》2020年第3期。
这种博弈过程好比一个假钞团伙造假，另外有个警察组织负责识假。造假团伙造出假钞，被警察识别出后指出哪儿造得不真，于是退回重造，直到造出警察无法识别的假钞。这个过程就完成了。
生成器和鉴别器在一起相互作用，即构成生成式对抗网络，通过博弈、对抗，生成真假难辨的文本、图片、音视频等。典型的“深度合成”技术体系主要包括人脸替换、人脸再现、人脸合成、语音合成四种。
深度合成应用场景
有人会问，为什么深度伪造这么坏的技术，不直接禁了？
实际上，深度伪造技术是深度合成技术一个侧面，本身是中性技术，无所谓好坏。与传统合成技术（如常见的PS等技术）相比，深度合成技术一个突出特点在于其依托算法自主学习，伪造行为脱离了人的参与，通过人工智能的计算机程序自动完成。
跟传统的计算机合成技术一样，深度合成技术也有广泛应用场景，而且已经得到了很普遍的应用。深度合成技术在影视、娱乐、教育、艺术、旅游、科研、医疗、社交、通信等领域前景看好，潜力十足。
我个人认为，当今最热的元宇宙概念之所以频频引发争议，很多人质疑其为资本热捧的泡沫，这跟其名称和远景过于超前有关。事实上，深度合成技术是元宇宙的底层核心技术之一。也就是说，元宇宙是站在前台的那个人，而深度合成技术是背后的操盘手之一。如果站在深度合成技术和算法角度，可以更好帮助我们理解元宇宙概念。
在影视创作方面，深度合成技术可用于“复活”演员形象、模拟演员声音，渲染逼真的电影的场景。据清华大学人工智能研究院有关调查报告显示，2021年新发布的深度合成视频的数量，较2017年已增长10倍以上。影视剧《怪奇物语》使用深度合成技术，用特效将用户与演员的距离拉近，通过让用户参与互动的形式提升观影体验，就是一个成功的例子。
在艺术领域，文物行业通过深度合成技术，帮助打造沉浸式考古、探险、修复项目；深度合成技术可以塑造内容丰富、形象拟真的数字环境；AI生成完全无人参与创作的图画、声音或者动画作品，目前有些AI图画的艺术价值已经得到极高评价。Google开发的名为Disco Diffusion的系统依靠对抗生产网络，让很多不会绘画的人创作出了惊艳的作品。
Disco Diffusion生成的中国画。图片来源：@Simon_阿文
Disco Diffusion生成的机器朋克图画。图片来源：@cosmicWranglerZ
基于深度合成技术演化而来的虚拟人产业欣欣向荣，分布在多个行业，应用场景包括消费型虚拟人、工具型虚拟人、内容生产型虚拟人。他们以数字化身、虚拟偶像、虚拟客服、虚拟主播、虚拟陪伴等形式出现在人们日常工作生活中。
在电子商业领域，深度合成技术帮助用户在购买前实现“数字试穿”、“虚拟空间体验”，增强购买体验和乐趣。在旅游业，深度合成技术正在发力。据媒体报道，武夷山启动元宇宙星链计划，试图通过区块链技术，运用数字化手段和现代科技的力量，建造首个元宇宙旅游城市，打造趣味、丰富、可信的旅游城市社交生态，实现传统旅游也是数字化转型。
同时，深度合成技术给虚拟人生、媒体宣传、广告营销领域带来耳目一新的未来，应用前景高度看好，通过合成技术，用户将体验身临其境的感觉，给创作者带去无限想象力。Meta发布元宇宙平台Horizon Worlds 平台，允许用户构建自己的虚拟世界，并提供了一系列的模板和工具。
在医疗健康等社会领域，深度合成技术也给医疗人员和患者带来全新的诊疗体验和效果。
常见深度合成技术应用场景
场景 | 举例 |
影视 | 后期制作，如《阿凡达》《怪奇物语》 |
娱乐 | 网络游戏、虚拟演唱会、虚拟明星 |
教育 | AI教育、文学创作 |
艺术 | 考古、探险、藏品复现、艺术馆陈列 |
旅游 | 虚拟游玩 |
科研 | 天文学、地理勘探 |
医疗 | 医疗影像、声音模拟 |
社交 | 深度交互、虚拟空间交互 |
在今年年初国家互联网信息办公室发布的《互联网信息服务深度合成管理规定（征求意见稿）》中，以列举的方式对深度合成技术应用场景进行了分类。
《“深度合成管理”征求意见稿》第二条：
“本规定所称深度合成技术，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括但不限于：
（一）篇章生成、文本风格转换、问答对话等对文本内容进行生成或者编辑的技术；
（二）文本转语音、语音转换、语音属性编辑等对语音内容进行生成或者编辑的技术；
（三）音乐生成、场景声编辑等对非语音内容进行生成或者编辑的技术；
（四）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等对图像、视频内容中人脸等生物特征进行生成或者编辑的技术；
（五）图像增强、图像修复等对图像、视频内容中非生物特征进行编辑的技术；
（六）三维重建等对虚拟场景进行生成或者编辑的技术。”
上述六项，目前都有对应的应用领域，第一项如AI文学、新闻作品；第二项如车载导航语音播报、有声读物；第三项如虚拟演唱会；第四项如虚拟人、换脸游戏；第五项如文博虚拟展览、影视后期；第六项如元宇宙基建。
深度合成最大潜在风险：信任感丧失
与“深度合成”的中性表述不同，“深度伪造”恶名昭彰。但这并非技术之错，而是该技术被不当滥用所致。
近年来，“深度伪造”最大恶名与色情复仇（revenge porn）息息相关。不夸张地说，是色情复仇将深度伪造技术带入了大众视野。
图片来源：网络
2017年，Reddit用户通过换脸技术（深度伪造技术的一种）将一位女明星的面孔嫁接在一段色情视频中，引发关注。后来，多名女性明星遭受类似事件，通过深度伪造技术生成的人脸图像达到了真假难辨的程度。后来出现一款叫做“DeepNude”（深裸）的APP，它仅需使用者提供一张女性的照片，该软件就可以通过算法自动生成裸体照片。2019年，我国明星蔡徐坤也曾就网友发布巨量合成的鬼畜视频对某二次元网站发过律师函。
除了用于色情复仇，深度伪造一旦用于政治领域和恐怖活动领域，如制造政治谣言或虚假恐怖活动信息，将给社会秩序造成不可估量的后果。据ASI数据科学公司的一项测试，通过语音生成算法，只需要借助两小时的语料并训练五天时间，就可以模拟出一份以假乱真的特朗普向俄罗斯宣战的语音，细思恐极。
就像谷歌的创办者所言，机器学习工具可以帮助发现新的行星，但它也依旧无法摆脱被不法分子所用的魔咒。与所有先进技术一样，基于机器学习的深度伪造既可以成为造福社会的技术，也可能被应用于违法犯罪领域。
深度伪造最大的潜在危害在于其可完美地充当欺骗工具，模糊真实与虚假的边界，败坏人与人之间的信任，造成既有信用体系的崩塌，极大增加社会信任成本。
这种信任感的消失，可被称为后真相效应，即人们只相信自己相信的东西，不相信真相本身，怀疑一切真相，最终难以达成共识，破坏既有秩序。
站在证明的角度，深度伪造随着技术迭代，达到高度拟真的效果完全可能。那么，在难以找到更强大的技术去区分真假视频、音频等合成产物的时候，究竟何为法律真实，质疑者又如何鉴真，识别虚假的证据？
从法律角度，深度伪造的概括风险包括色情复仇、政治攻击、财产欺诈、伪造证件、谣言传播等方面，每一方面又对应具体的违法或犯罪行为。
各国对深度伪造的监管也是围绕这几方面入手。例如，美国弗吉尼亚州制定《反色情复仇修正法案》，对伪造色情视频恐吓威胁他人视为刑事犯罪，最高面临10个月监禁和罚款。德克萨斯州制定《关于制作欺骗性视频意图影响选举结果的刑事犯罪法案》，保障选举安全。欧盟总部《应对线上虚假信息：欧洲方案》强调了应对Deepfake技术威胁的举措。法国通过《反假新闻法》打击操纵新闻行为，遏制选举出现虚假新闻。
我国对深度合成的规制：规则层面
鉴于深度合成技术在未来元宇宙领域、社会交往、日常工作生活中的应用前景展望和风险预测，我国其实很早就注意到深度合成技术的规制问题。
鉴于篇幅问题，本文最后只从监管层面对深度合成技术的法律规范进行梳理，而对深度合成可能涉及的法律责任（民事、行政、刑事责任）另文再谈。
目前直接涉及深度合成技术的法律、法规、规范性文件和指导意见主要有：
《民法典》第1019条、1023条、1033条;
《法治社会建设实施纲要（2020~2025年）》;
《关于进一步规范网络视听节目传播秩序的通知》;
《网络音视频信息服务管理规定》;
《网络信息内容生态治理规定》;
《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》;
《互联网信息服务算法推荐管理规定》；
《互联网信息服务深度合成管理规定（征求意见稿）》。
根据上述规范、规定，在此对深度合成技术利用的禁止性规则和义务性规则做一梳理：
第一，禁止规定。
2020年12月，中共中央引发《法治社会建设实施纲要（2020~2025年）》提出，制定完善对网络直播、自媒体、知识社区问答等新媒体业态和算法推荐、深度伪造等新技术应用的规范管理办法。在抽象、宏观层面，我国从信息技术应用角度提出了一些总体的禁止要求，为深度合成等技术划出了法律红线。
民法典明确禁止利用信息技术伪造方式侵害他人肖像权，不得以电子通信等方式侵扰他人的私人生活安宁，不得侵害他人私密信息。这些禁止性手段中，从规范上涵盖了深度合成技术。
【参看：《民法典》第1019条：任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。
《民法典》第1033条：除法律另有规定或者权利人明确同意外，任何组织或者个人不得实施下列行为：
（一）以电话、短信、即时通讯工具、电子邮件、传单等方式侵扰他人的私人生活安宁；
（二）进入、拍摄、窥视他人的住宅、宾馆房间等私密空间；
（三）拍摄、窥视、窃听公开他人的私密活动;
（四）拍摄、窥视他人身体的私密部位;
（五）处理他人的私密信息;
（六）以其他方式侵害他人的隐私权。】
对深度伪造技术的应用，《互联网信息服务深度合成管理规定（征求意见稿）》第六条划出了明确的禁区，该条规定：“任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动，不得制作、复制、发布、传播含有煽动颠覆国家政权、危害国家安全和社会稳定、淫秽色情、虚假信息，以及侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益等法律法规禁止内容的信息。”
对于音视频信息服务，同样有禁止性规定。《关于进一步规范网络视听节目传播秩序的通知》明确，禁止非法抓取、剪辑改编视听节目的行为。《网络音视频信息服务管理规定》第九条规定：“任何组织和个人不得利用网络音视频信息服务以及相关信息技术从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动，不得制作、发布、传播煽动颠覆国家政权、危害政治安全和社会稳定、网络谣言、淫秽色情，以及侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益等法律法规禁止的信息内容。”
同时，《网络音视频信息服务管理规定》《互联网信息服务算法推荐管理规定》都将合成虚假新闻列入禁止规定。
第二，义务规定。
《互联网信息服务深度合成管理规定（征求意见稿）》对于深度合成服务提供者法律义务进行了全面的规定。以下是深度合成服务提供者义务清单：
1、信息安全主体责任；
2、建立管理规则、平台公约、服务协议；
3、真实身份信息认证义务；
4、内容管理义务；
①审核输入数据和合成结果；
②建立识别违法和不良深度合成信息内容的特征库；
③违法和不良信息。
5、技术管理义务：
①定期审核、评估、验证算法机制机理；
②提供具有对人脸、人声等生物识别信息或者可能涉及国家安全、社会公共利益的特殊物体、场景等非生物识别信息编辑功能的模型、模板等工具的，应当自行开展安全评估。
6、加强训练数据管理义务：
①确保数据处理合法、正当，采取必要措施保障数据安全；
②训练数据包含涉及个人信息数据的，还应当遵守个人信息保护有关规定，不得非法处理个人信息。
③提供人脸、人声等生物识别信息的显著编辑功能的，应当提示深度合成服务使用者依法告知并取得被编辑的个人信息主体的单独同意。
7、标识义务；
①一般表示：添加标识，依法保存日志信息，使发布、传播的深度合成信息内容可被自身识别、追溯。
②显著标识：包括合成文本；合成音频；人脸合成；拟真场景；其他信息内容合成。
8、对于未标识的，立即停止传输；
9、应用商店审核义务；
除上述9个义务之外，《互联网信息服务深度合成管理规定（征求意见稿）》还规定三个机制：辟谣机制（设置便捷有效的用户申诉和公众投诉、举报入口）、算法备案机制（提供服务之日起十个工作日内履行备案手续）、安全评估机制（上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，应当按照国家有关规定开展安全评估）。
值得一提的是，《网络音视频信息服务管理规定》还规定了鉴别机制。根据该规定第十二条第一款，网络音视频信息服务提供者应当加强对网络音视频信息服务使用者发布的音视频信息的管理，部署应用违法违规音视频以及非真实音视频鉴别技术，发现音视频信息服务使用者制作、发布、传播法律法规禁止的信息内容的，应当依法依约停止传输该信息，采取消除等处置措施，防止信息扩散，保存有关记录，并向网信、文化和旅游、广播电视等部门报告。
事实上，鉴别机制虽然会加重服务提供者、平台的义务，但对于防止深度伪造技术被滥用至关重要，有利于促使服务提供者和平台、监管部门共同打击深度伪造行为。
结语
在元宇宙概念、人工智能概念日渐深入人心的今天，深度合成技术不断发展，为下一代虚拟与现实交错的网络社会营造提供了更多想象空间。
网络发展需要不断健全伦理体系和法治建设，乐享技术便利的同时，需要遮蔽技术暗黑的一面。我国网络监管部门对“深度合成”、“算法”的针对性立法，为虚拟空间的技术良性发展、科技向善打开了一道门。