编者按：
生成式人工智能（Artificial Intelligence Generated Content，或称“AIGC”）近年来展现出强大的生成创造能力，通过训练模型和大量数据的学习，能够根据输入的条件，生成与之对应的各种内容，并以此解决各个不同领域中真实场景的任务，开始涌现出“智慧”，推动包容性经济增长并支持改善世界状况的科学进步，具有改变社会和人们生活的巨大潜力。然而， AI风险也以多种方式出现。本文将为读者解答人工智能核心技术所对应的主要风险，并分析中国人工智能监管现状，探索引入大模型的合规风险及应对措施。
一、人工智能的核心技术对应的主要风险
1、人工智能核心技术
“数据”“算法”“算力”为人工智能技术发挥作用的三驾马车。其中数据为算法的“燃油”，“算法”为AI的背后推手，“算力”则是人工智能的基础设施。历经三次人工智能浪潮，当前三驾马车已经实现同步突破，为人类社会发展带来无限机遇与挑战。
2、核心技术对应的监管问题
1、主要监管问题
当前我国对于三驾马车监管方向已经较为明确。
首先，数据方面，我国以《中华人民共和国国家安全法》为顶层要件，形成《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》为架构的数据保护法律体系，相关规定同样适用于人工智能技术应用层面；
其次，算法层面，其与数据既相互独立又互相结合，当前我国主要从科技伦理与算法治理两方面进行监管；
最后，算力方面，由于其涉及基础设施建设，与先进制造业企业发展、中国企业“走出去”过程中所面临的政治阻碍息息相关，因此我国着力实现云计算、芯片的本土化发展。
2、AI模型、应用场景与典型示例
①AI模型
随着人工智能技术的深入发展，AI已经实现从传统决策式模式向生成式模型迈进的转变。传统决策式/分析式AI技术路径可以按图示进行简单举例：决策式AI主要原理是针对已知数据分别求解出类别标签，区分不同类型数据，如将图像区分为猫或狗（图1，01）；而生成式AI则是分析归纳已有数据后创作新的内容，如生成逼真的猫或狗的图像（图1，02），用户能够深度参与其中生成属于自己的图像。
图 1
②决策式AI应用场景及典型示例
决策式/分析式AI主要应用于四方面：
（1）个性化推荐，包括定向广告、个性化内容推送，如商品、服务、短视频等；
（2）人脸识别，如实名认证、楼宇园区管理、城市治理等场景；
（3）自动驾驶领域，包括AI智能分析、识别路况等；
（4）风控和内容审核，如金融机构的风控系统、搜索引擎、社交、电商平台等敏感词、内容、广告的屏蔽和审核。
决策式AI在企业应用场景中，较为常见应用于定向广告，并目前已形成较为全面成熟的监管路径。即若企业定向广告推送功能涉及个人信息使用活动，则应遵循透明度原则，采用显著标识明确向用户告知个人信息使用情况，并应设计允许用户关闭定向广告推送的功能。随着个人信息保护意识的逐步提升，有关因决策式AI应用引发的个人权益保护争议案件也不断涌现。本部分以“个性化广告推荐仅能关闭6个月，知名社交平台被起诉”案（图2）为例，提示企业应在法律法规框架原则内开展产品与隐私设计活动。
图 2
③生成式AI应用场景及典型示例
生成式AI主要应用于六方面：
（1）文本生成，包括篇章生成、文本风格转化、问答对话等，如ChatGPT;
（2）图像生成，包括图像生成、增强、修复等，如Midjourney;
（3）视频生成，包括视频编辑、剪辑、生成等，如Google Imagen Video、剪映等；
（4）音频生成，包括语音生成、音乐创作等，如科大讯飞在线语音合成；
（5）跨模态，包括文本生成图片、音频视频；图像生成文本等，如谷歌Text to Speech,Stable Diffusion等；
（6）数字人物、虚拟场景，包括数字人物、游戏等虚拟场景生成或编辑，如微软小冰、招商局数字员工“招小影”。
随着ChatGPT的出现，也快速引发社会各界对于其合规与伦理风险的争议，欧盟及美国等地区已经发生相应诉讼案例。ChatGPT引发的合规和伦理风险包括：
（1）知识产权侵权，如挖掘他人作品/用户输入他人作品作为训练数据；
（2）生成和传播虚假信息，如无法核实数据来源的真实性；一本正经地胡说八道；
（3）隐私和商业秘密泄露，如用户输入隐私数据；员工输入企业商业秘密或机密信息；
（4）学术不端和作弊问题，ChatGPT因存在引导学生从事学术不端和作弊行为而遭到教育界的抵制使用，学术界明确大型语言模型不能成为作者。
二、中国人工智能监管现状
01、人工智能监管框架
2017年国务院发布《新一代人工智能发展规划》，体现了我国人工智能监管总体布局的前瞻性，文中明确提出新一代人工智能发展规划目标：
以规划目标为基础，进一步提出新一代人工智能发展规划要点：
当前我国已经形成“科技伦理+算法治理+数据安全+其他”的多维度人工智能监管框架：
02、特定行业和地区AI监管
1、行业监管
当前，自动驾驶领域、医疗器械领域、金融与司法应用等AI应用热门领域也在推行本行业人工智能行业监管要求。自动驾驶领域颁布了《关于加强智能网联汽车生产企业及产品准入管理的意见》《自动驾驶汽车运输安全服务指南（试行）》（征求意见稿）等规定；医疗器械领域颁布了《人工智能医用软件产品分类界定指导原则》《人工智能医疗器械注册审查指导原则》《人工智能医疗器械质量要求和评价》等规定；金融领域则颁布了《商业银行互联网贷款管理暂行办法》《关于规范金融机构资产管理业务的指导意见》《人工智能算法金融应用评价规范》等规定；司法应用领域制定了《最高人民法院关于规范和加强人工智能司法应用的意见》，针对各领域人工智能应用情况进行监管。
2、地区监管
随着人工智能应用的普及与深入发展，为促进本地区人工智能产业发展并进一步规范人工智能合规管理工作，各地陆续推行人工智能监管地方性法规，以上海与深圳为例，上海市于2022年10月1日起正式实施《上海市促进人工智能产业发展条例》，深圳市则于同年11月1日起正式实施《深圳经济特区人工智能产业促进条例》。
其中深圳市明确提出建立和完善政府规范、行业自律、企业自治、社会监督的人工智能治理机制：
首先，政府规范方面，设立市人工智能伦理委员会，建立AI伦理规范制度、发布实践指南、评估监督本市AI企业的伦理安全规范执行情况等。并建立AI分类分级监管机制，对于高风险AI应用，采取事前评估与风险预警机制；对于中期风险AI应用则采取事前披露与事后跟踪的监管方式。
其次，行业自律方面，深圳市已于2017年成立深圳市人工智能行业协会，截至目前，已有400余家会员单位，包括腾讯、百度等，同时陆续颁布了《人脸识别安全技术规范》《基于人工智能的未成年人不良信息审核技术要求》等团体标准；
最后，企业自治方面，深圳市要求人工智能企业应当将遵守伦理安全规范纳入本单位职业规范要求和AI从业人员培训内容；对于公共决策领域以及涉及公共利益的商业领域的算法：采取利于公众理解的方式进行算法说明；从事AI研究应用应开展伦理安全规范审查和风险评估；禁止从事违反国家安全、个人信息 保护、消费者权益保护等法律法规的AI活动。
三、引入大模型的合规风险及应对
引入大模型合规监管应以算法生命周期为基准，包括设计开发、验证确认、部署运行、维护升级、退役下线全过程。当然其中数据和内容合规风险仍然是主要监管问题，具体而言包括
01、训练数据来源的合规风险
首先训练数据应关注来源合规风险，具体按数据来源的渠道区分的主要合规风险如图3所示。
图 3
02、生成内容风险
生成内容需遵守法律、尊重社会公德和伦理道德，不得生成违法内容，防范和抵御生成不良信息；防虚假有害和歧视信息，尊重知识产权、商业道德，保守商业秘密，不得实施垄断和不正当竞争行为；尊重和不得侵害他人合法权益。因此可采取的治理措施包括：
（1）防范和抵制违法违规不良信息，包括算法打压机制、防范和抵制策略、违法和不良信息识别与发现；
（2）人工审核管理，包括对输入和结果的双重审核。
生成内容的另一个主要风险是有关可版权性，特别是AI机器生成是否满足现有版权保护的重要要素“自然人创作”，是目前的主要争议。
03、退役下线
数据风险也要贯穿大模型的整个生命周期，包括大模型退役下线也应满足如下安全要求：
（1）设置退役下线规则，如算法无法满足现实场景要求时或被其他算法替代时进行退役下线；
（2）销毁安全域外数据，数据包括训练数据、测试数据、实例数据、派生数据、特征数据、模型参数、算法输出等；
（3）销毁数据不可恢复，采取措施包括物理粉碎存储媒体、对存储媒体进行多次低级格式化、重复复写文件等；
（4）个人信息删除或匿名化，用于其他用途的应另行征得个人信息主体的授权同意。
04、合规风险管理体系搭建
随着人工智能应用监管力度的加大，企业应积极开展合规风险管理体系的搭建工作，可从组织架构、管理制度和机制、人员管理和培训以及用户权益保障四方面着手实施：
图 4
生成式人工智能（Artificial Intelligence Generated Content，或称“AIGC”）近年来展现出强大的生成创造能力，通过训练模型和大量数据的学习，能够根据输入的条件，生成与之对应的各种内容，并以此解决各个不同领域中真实场景的任务，开始涌现出“智慧”，推动包容性经济增长并支持改善世界状况的科学进步，具有改变社会和人们生活的巨大潜力。然而， AI风险也以多种方式出现。本文将为读者解答人工智能核心技术所对应的主要风险，并分析中国人工智能监管现状，探索引入大模型的合规风险及应对措施。
一、人工智能的核心技术对应的主要风险
1、人工智能核心技术
“数据”“算法”“算力”为人工智能技术发挥作用的三驾马车。其中数据为算法的“燃油”，“算法”为AI的背后推手，“算力”则是人工智能的基础设施。历经三次人工智能浪潮，当前三驾马车已经实现同步突破，为人类社会发展带来无限机遇与挑战。
2、核心技术对应的监管问题
1、主要监管问题
当前我国对于三驾马车监管方向已经较为明确。
首先，数据方面，我国以《中华人民共和国国家安全法》为顶层要件，形成《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》为架构的数据保护法律体系，相关规定同样适用于人工智能技术应用层面；
其次，算法层面，其与数据既相互独立又互相结合，当前我国主要从科技伦理与算法治理两方面进行监管；
最后，算力方面，由于其涉及基础设施建设，与先进制造业企业发展、中国企业“走出去”过程中所面临的政治阻碍息息相关，因此我国着力实现云计算、芯片的本土化发展。
2、AI模型、应用场景与典型示例
①AI模型
随着人工智能技术的深入发展，AI已经实现从传统决策式模式向生成式模型迈进的转变。传统决策式/分析式AI技术路径可以按图示进行简单举例：决策式AI主要原理是针对已知数据分别求解出类别标签，区分不同类型数据，如将图像区分为猫或狗（图1，01）；而生成式AI则是分析归纳已有数据后创作新的内容，如生成逼真的猫或狗的图像（图1，02），用户能够深度参与其中生成属于自己的图像。
图 1
②决策式AI应用场景及典型示例
决策式/分析式AI主要应用于四方面：
（1）个性化推荐，包括定向广告、个性化内容推送，如商品、服务、短视频等；
（2）人脸识别，如实名认证、楼宇园区管理、城市治理等场景；
（3）自动驾驶领域，包括AI智能分析、识别路况等；
（4）风控和内容审核，如金融机构的风控系统、搜索引擎、社交、电商平台等敏感词、内容、广告的屏蔽和审核。
决策式AI在企业应用场景中，较为常见应用于定向广告，并目前已形成较为全面成熟的监管路径。即若企业定向广告推送功能涉及个人信息使用活动，则应遵循透明度原则，采用显著标识明确向用户告知个人信息使用情况，并应设计允许用户关闭定向广告推送的功能。随着个人信息保护意识的逐步提升，有关因决策式AI应用引发的个人权益保护争议案件也不断涌现。本部分以“个性化广告推荐仅能关闭6个月，知名社交平台被起诉”案（图2）为例，提示企业应在法律法规框架原则内开展产品与隐私设计活动。
图 2
③生成式AI应用场景及典型示例
生成式AI主要应用于六方面：
（1）文本生成，包括篇章生成、文本风格转化、问答对话等，如ChatGPT;
（2）图像生成，包括图像生成、增强、修复等，如Midjourney;
（3）视频生成，包括视频编辑、剪辑、生成等，如Google Imagen Video、剪映等；
（4）音频生成，包括语音生成、音乐创作等，如科大讯飞在线语音合成；
（5）跨模态，包括文本生成图片、音频视频；图像生成文本等，如谷歌Text to Speech,Stable Diffusion等；
（6）数字人物、虚拟场景，包括数字人物、游戏等虚拟场景生成或编辑，如微软小冰、招商局数字员工“招小影”。
随着ChatGPT的出现，也快速引发社会各界对于其合规与伦理风险的争议，欧盟及美国等地区已经发生相应诉讼案例。ChatGPT引发的合规和伦理风险包括：
（1）知识产权侵权，如挖掘他人作品/用户输入他人作品作为训练数据；
（2）生成和传播虚假信息，如无法核实数据来源的真实性；一本正经地胡说八道；
（3）隐私和商业秘密泄露，如用户输入隐私数据；员工输入企业商业秘密或机密信息；
（4）学术不端和作弊问题，ChatGPT因存在引导学生从事学术不端和作弊行为而遭到教育界的抵制使用，学术界明确大型语言模型不能成为作者。
二、中国人工智能监管现状
01、人工智能监管框架
2017年国务院发布《新一代人工智能发展规划》，体现了我国人工智能监管总体布局的前瞻性，文中明确提出新一代人工智能发展规划目标：
以规划目标为基础，进一步提出新一代人工智能发展规划要点：
当前我国已经形成“科技伦理+算法治理+数据安全+其他”的多维度人工智能监管框架：
02、特定行业和地区AI监管
1、行业监管
当前，自动驾驶领域、医疗器械领域、金融与司法应用等AI应用热门领域也在推行本行业人工智能行业监管要求。自动驾驶领域颁布了《关于加强智能网联汽车生产企业及产品准入管理的意见》《自动驾驶汽车运输安全服务指南（试行）》（征求意见稿）等规定；医疗器械领域颁布了《人工智能医用软件产品分类界定指导原则》《人工智能医疗器械注册审查指导原则》《人工智能医疗器械质量要求和评价》等规定；金融领域则颁布了《商业银行互联网贷款管理暂行办法》《关于规范金融机构资产管理业务的指导意见》《人工智能算法金融应用评价规范》等规定；司法应用领域制定了《最高人民法院关于规范和加强人工智能司法应用的意见》，针对各领域人工智能应用情况进行监管。
2、地区监管
随着人工智能应用的普及与深入发展，为促进本地区人工智能产业发展并进一步规范人工智能合规管理工作，各地陆续推行人工智能监管地方性法规，以上海与深圳为例，上海市于2022年10月1日起正式实施《上海市促进人工智能产业发展条例》，深圳市则于同年11月1日起正式实施《深圳经济特区人工智能产业促进条例》。
其中深圳市明确提出建立和完善政府规范、行业自律、企业自治、社会监督的人工智能治理机制：
首先，政府规范方面，设立市人工智能伦理委员会，建立AI伦理规范制度、发布实践指南、评估监督本市AI企业的伦理安全规范执行情况等。并建立AI分类分级监管机制，对于高风险AI应用，采取事前评估与风险预警机制；对于中期风险AI应用则采取事前披露与事后跟踪的监管方式。
其次，行业自律方面，深圳市已于2017年成立深圳市人工智能行业协会，截至目前，已有400余家会员单位，包括腾讯、百度等，同时陆续颁布了《人脸识别安全技术规范》《基于人工智能的未成年人不良信息审核技术要求》等团体标准；
最后，企业自治方面，深圳市要求人工智能企业应当将遵守伦理安全规范纳入本单位职业规范要求和AI从业人员培训内容；对于公共决策领域以及涉及公共利益的商业领域的算法：采取利于公众理解的方式进行算法说明；从事AI研究应用应开展伦理安全规范审查和风险评估；禁止从事违反国家安全、个人信息 保护、消费者权益保护等法律法规的AI活动。
三、引入大模型的合规风险及应对
引入大模型合规监管应以算法生命周期为基准，包括设计开发、验证确认、部署运行、维护升级、退役下线全过程。当然其中数据和内容合规风险仍然是主要监管问题，具体而言包括
01、训练数据来源的合规风险
首先训练数据应关注来源合规风险，具体按数据来源的渠道区分的主要合规风险如图3所示。
图 3
02、生成内容风险
生成内容需遵守法律、尊重社会公德和伦理道德，不得生成违法内容，防范和抵御生成不良信息；防虚假有害和歧视信息，尊重知识产权、商业道德，保守商业秘密，不得实施垄断和不正当竞争行为；尊重和不得侵害他人合法权益。因此可采取的治理措施包括：
（1）防范和抵制违法违规不良信息，包括算法打压机制、防范和抵制策略、违法和不良信息识别与发现；
（2）人工审核管理，包括对输入和结果的双重审核。
生成内容的另一个主要风险是有关可版权性，特别是AI机器生成是否满足现有版权保护的重要要素“自然人创作”，是目前的主要争议。
03、退役下线
数据风险也要贯穿大模型的整个生命周期，包括大模型退役下线也应满足如下安全要求：
（1）设置退役下线规则，如算法无法满足现实场景要求时或被其他算法替代时进行退役下线；
（2）销毁安全域外数据，数据包括训练数据、测试数据、实例数据、派生数据、特征数据、模型参数、算法输出等；
（3）销毁数据不可恢复，采取措施包括物理粉碎存储媒体、对存储媒体进行多次低级格式化、重复复写文件等；
（4）个人信息删除或匿名化，用于其他用途的应另行征得个人信息主体的授权同意。
04、合规风险管理体系搭建
随着人工智能应用监管力度的加大，企业应积极开展合规风险管理体系的搭建工作，可从组织架构、管理制度和机制、人员管理和培训以及用户权益保障四方面着手实施：
图 4