导语
今年3月31日,意大利个人数据保护局发布新规,宣布禁止使用OpenAI旗下的聊天人工智能ChatGPT并限制OpenAI处理意大利用户信息,意大利自此成为首个官方禁用ChatGPT的西方国家。同时,以马斯克等人为代表的众多企业家及科学家联名请愿暂停更高级别的人工智能训练,以应对高阶人工智能对人类社会可能产生的影响乃至危险。自此,作为潜在最大单一市场,中国对人工智能将报以何态度成为行业人士们关心的热点。
4月11日,国家互联网信息办公室及时响应,发布了《生成式人工智能服务管理办法(征求意见稿)》(以下简称“管理办法”或“办法”),为人工智能行业监管的中国态度发出了信号。管理办法虽仍在征求意见阶段,但监管风向可窥见一二:
一、监管原则
管理办法明确,国家支持人工智能基础技术的自主创新与推广应用,同时也支持国际合作,为企业或机构下一步引入境外合作方奠定了政策基础。而有意思的是,以ChatGPT为代表的欧美人工智能至今未开放中国大陆及香港地区的服务,可预见的未来,人工智能技术的管制和数据保护,将与半导体技术出口管制一样,构成新的大国较量。
同时,我们注意到,办法提到国家鼓励优先采用安全可信的软件、工具、计算和数据资源,此虽为鼓励性规定,但是否符合“安全可信”的标准,在未来国家及地方产业政策(例如政府补贴、政府引导性基金投资政策)的实施中,一定会是重要衡量因素,下一步是否有进一步有关“安全可信”的认定标准,也将是行业关注的重点。
此次发布的征求意见稿虽是针对“人工智能”服务,但从具体内容看,我们发现,监管部门在立法层面兼顾了对技术、文化、传媒、教育方面的考量,也侧面反映出生成式人工智能对国家和社会的影响远不止技术层面,立法工作也确有必要粮草先行。
二、重要规定评析
(一)核心概念
生成式人工智能,指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。
目前世界主流的的艺术类人工智能Midjourney和Stable Diffusion及聊天写作类人工智能ChatGPT、文心一言等均属于管理办法规定的生成式人工智能范围。
(二)适用范围

图一:适用范围要件解构
“研发”和“利用”两个行为方式将工具级开发者和应用级开发者均涵盖进入了规制范围。值得注意,管理办法具备域外效力,提供服务的对象只要是“中国境内公众”,则应适用,而不论行为人位于境内或境外。
(三)基础合规义务
“法律法规”及“公序良俗”是人工智能合规要求的两把利剑。生成式人工智能具备“生成”文本、图片、声音、视频的输出能力,因而导致“意识形态”“道德”问题成为了世界各国关心人工智能问题的重中之重,无论是所谓国家安全的层面,还是话语权控制之争,都注定生成式人工智能的合规关注点远不会局限于技术本身。具体的:
1. 内容合法义务
“利用生成式人工智能生成的内容应当体现社会主义核心价值观,不得含有颠覆国家政权、推翻社会主义制度,煽动分裂国家、破坏国家统一,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情信息,虚假信息,以及可能扰乱经济秩序和社会秩序的内容”
出台仅一天,该条已引起社会热议,众多人士称其为人工智能的“政审”。该条规定其实继承和发扬了《网络安全法》对网络活动参与者的要求,合法性要求较为常规,但对于价值取向明显有更高的要求。对比《网络安全法》仅倡导“推动传播社会主义核心价值观”,本办法则要求人工智能生成的内容应当“体现社会主义核心价值观”,显现出的审查原则自然更为严格,其它同级别文件作出同类要求的多为教育、文化领域的规定,未来行业将如何通过算法及人工审核/纠偏趋近该要求、监管部门对于未能体现社会主义核心价值观的内容又如何评判和处理,我们将持续关注,拭目以待。
2. 反歧视义务
“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视”
从技术的初始设计到具体提供服务的过程中,管理办法要求研发者和提供者全周期地采取措施,防范歧视。办法中提及需防止歧视的内容包括种族、民族、信仰、国别、地域、性别、年龄、职业。从世界平权运动的成果看,实践中还需考虑对性取向、跨性别认知、财富阶层等内容的反歧视,这对开拓国际市场具有重要意义。
3. 反不正当竞争义务
“尊重知识产权、商业道德,不得利用算法、数据、平台等优势实施不公平竞争”
办法重申了《反不正当竞争法》《个人信息保护法》规定的有关义务,知识产权及商业道德的保护得到强调,“大数据杀熟”及垄断等不正当行为在人工智能的技术及应用层面均应受到禁止。
4. 内容真实性保障义务
“利用生成式人工智能生成的内容应当真实准确,采取措施防止生成虚假信息”
基于生成式人工智能的技术特点,此条极可能只能成为“指引性”条款。人工智能需依靠开发者及用户“投喂”数据,内化(但不全部存储)“认知”,再利用算法、模型等生成内容,数据的无穷、技术的局限及“真实准确”标准的客观限制,即使人类本身也无法对自己所输出内容的真实性进行客观、及时的审查,而对人工智能输出内容在“生成”的阶段作出“真实准确”的要求,我们姑且视其为人类的美好愿景吧。
无法执行的法条注定不会具有生命力,调整为及时纠偏/标识、配合调查等具体措施在防止“虚假信息”的层面应当更具可执行性。
题外话,以ChatGPT-4为代表的人工智能之所以惊艳世界,正是它自然“生长”的状态逐渐显现出“类人”的思维和输出,非人工刻意形成的“虚假”会不会是生成式人工智能的另一种智慧和美?
5. 私权利保护义务
“尊重他人合法利益,防止伤害他人身心健康,损害肖像权、名誉权和个人隐私,侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密”
此条在尊重知识产权和商业秘密保护内容上与“反不正当竞争义务”条款有重合,但前者是从经济法角度进行规制重申,本条则更多就民法层面保护私权利的角度进行强调。值得注意,“防止伤害他人身心健康”被单独提出,再次验证管理办法的目的不单纯是技术层面的规制,而是结合了文化、教育层面的考虑。
(四)责任归属
办法强调,服务提供者要承担“内容生产者的责任”及“个人信息处理者的法定责任”。
对于个人信息处理者的法定责任,可以直接定位《个人信息保护法》。而“内容生产者”对于公众来说更为生疏,可参考国家互联网信息办公室于2019年发布的《网络信息内容生态治理规定》,内容生产者的责任可概括为“七项鼓励”、“十一项不得”、“九种防范抵制”。
(五)安全评估及备案义务
按照管理办法规定,依据《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向网信部门申报安全评估,并按《互联网信息服务算法推荐管理规定》履行算法备案手续,是提供生成式人工智能相关服务的前置程序。
(六)数据来源合法性原则
提供者对于生成式人工智能产品产品的“预训练数据”及“优化训练数据”来源的合法性负责。
值得关注的是,办法规定,上述两种数据应能够保证真实性、准确性、客观性、多样性。如何进行数据筛查确保符合要求将是未来从业者的一大难题,但从实践角度考量,模型被训练后(AI本身并不当然留存训练数据)又如何追溯训练数据的合法性?如此看来,这更可能是监管落地的难题。
(七)用户实名制规则
提供生成式人工智能服务应当按照《网络安全法》规定,要求用户提供真实身份信息。
(八)防依赖及沉迷规则
提供者应公开服务适用的人群、场合、用途,采取适当措施防范用户过分依赖或沉迷生成内容。
未来监管可能对学生群体、学习/学术场景等特殊人群和用途进行防范和限制,比如为保护学生的正常学习力,禁止论文和作业用途使用;为保护人类艺术创造力,一定程度限制非商业用途的艺术创作等,随着AI的进步,立法也将得到进一步完善。
(九)禁止歧视规则
歧视问题在办法中第二次被提及,这对于生成式人工智能合规的重要性不言而喻。办法第四条中反歧视义务条款要求提供者在人工智能自身技术和规则层面采取措施,防范歧视的产生,而办法第十二条则对提供者主观可能进行的歧视性内容生成的行为进行了明确禁止。
(十)深度合成内容的标识义务
根据《互联网信息服务深度合成管理规定》,对于在提供相关深度合成服务中可能导致公众混淆或误认的,应当在合理位置、区域进行显著标识,以提示深度合成的情况,深度合成服务主要包括智能对话、合成人声、人脸替换、拟真场景生成等。
我们通过小试验,在某生成式人工智能平台发出深度合成服务的指令,截止截图时,生成内容未见相关显著标识。

图二:某人工智能平台操作截图
(十一)透明审查规则
在国家网信部门及有关部门的要求下,提供者有义务提供影响用户信任、选择的必要信息,包括数据来源、标注规则、基础算法、技术体系等。
此规定未来在实际操作中可能产生较大争议,尤其是国际合作和外企进入国内市场的情况下,透明审查,可能带来技术/商业秘密泄漏的担忧、国际法规的冲突,对该领域的国际合作产生一定的阻碍。
此等审查的尺度,也建议主管部门应当在办法中明确审查部门的保密义务和措施,以此减少企业披露信息的顾虑。
(十二)提供者的指导、审查、纠偏义务
办法还规定了提供者有义务指导用户合法合理使用服务、及时审查和纠偏用户的违法违规行为。
(十三)法律责任
“法律、行政法规没有规定的,由网信部门和有关主管部门依据职责给予警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停或者终止其利用生成式人工智能提供服务,并处一万元以上十万元以下罚款。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任”
办法中存在大量对《网络安全法》《数据安全法》《个人信息保护法》相关规定的强调和细化,监管部门有权依据此类法律法规对提供者进行处罚;同时,办法明确了其他法律法规无规定的情形下,监管部门的处罚权限。
结束语
本次国家网信办公布的《生成式人工智能服务管理办法(征求意见稿)》,从网络安全、数据安全、个人信息保护、反不正当竞争等角度对生成式人工智能行业进行了规制,符合当前历史阶段人工智能的监管需求。但人工智能给人类带来的担忧,远不止这些“类互联网”问题。
也许,人工智能发展的过程会如文艺复兴一般,带领我们走向一个更为光明的时代,但更可能,人类最终在历史上只能作为开启硅基生命时代的“钥匙”。
何时我们将真正迎来AI的挑战?或许当下一次的立法,我们已经需要参考阿西莫夫的机器人三大法则时,新时代----就真的到来了。
阿西莫夫机器人三大法则:
01机器人不得伤害人类,或看到人类受到伤害而袖手旁观;
02在不违反第一定律的前提下,机器人必须绝对服从人类给与的任何命令;
03在不违反第一定律和第二定律的前提下,机器人必须尽力保护自己。
今年3月31日,意大利个人数据保护局发布新规,宣布禁止使用OpenAI旗下的聊天人工智能ChatGPT并限制OpenAI处理意大利用户信息,意大利自此成为首个官方禁用ChatGPT的西方国家。同时,以马斯克等人为代表的众多企业家及科学家联名请愿暂停更高级别的人工智能训练,以应对高阶人工智能对人类社会可能产生的影响乃至危险。自此,作为潜在最大单一市场,中国对人工智能将报以何态度成为行业人士们关心的热点。
4月11日,国家互联网信息办公室及时响应,发布了《生成式人工智能服务管理办法(征求意见稿)》(以下简称“管理办法”或“办法”),为人工智能行业监管的中国态度发出了信号。管理办法虽仍在征求意见阶段,但监管风向可窥见一二:
一、监管原则
管理办法明确,国家支持人工智能基础技术的自主创新与推广应用,同时也支持国际合作,为企业或机构下一步引入境外合作方奠定了政策基础。而有意思的是,以ChatGPT为代表的欧美人工智能至今未开放中国大陆及香港地区的服务,可预见的未来,人工智能技术的管制和数据保护,将与半导体技术出口管制一样,构成新的大国较量。
同时,我们注意到,办法提到国家鼓励优先采用安全可信的软件、工具、计算和数据资源,此虽为鼓励性规定,但是否符合“安全可信”的标准,在未来国家及地方产业政策(例如政府补贴、政府引导性基金投资政策)的实施中,一定会是重要衡量因素,下一步是否有进一步有关“安全可信”的认定标准,也将是行业关注的重点。
此次发布的征求意见稿虽是针对“人工智能”服务,但从具体内容看,我们发现,监管部门在立法层面兼顾了对技术、文化、传媒、教育方面的考量,也侧面反映出生成式人工智能对国家和社会的影响远不止技术层面,立法工作也确有必要粮草先行。
二、重要规定评析
(一)核心概念
生成式人工智能,指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。
目前世界主流的的艺术类人工智能Midjourney和Stable Diffusion及聊天写作类人工智能ChatGPT、文心一言等均属于管理办法规定的生成式人工智能范围。
(二)适用范围

图一:适用范围要件解构
“研发”和“利用”两个行为方式将工具级开发者和应用级开发者均涵盖进入了规制范围。值得注意,管理办法具备域外效力,提供服务的对象只要是“中国境内公众”,则应适用,而不论行为人位于境内或境外。
(三)基础合规义务
“法律法规”及“公序良俗”是人工智能合规要求的两把利剑。生成式人工智能具备“生成”文本、图片、声音、视频的输出能力,因而导致“意识形态”“道德”问题成为了世界各国关心人工智能问题的重中之重,无论是所谓国家安全的层面,还是话语权控制之争,都注定生成式人工智能的合规关注点远不会局限于技术本身。具体的:
1. 内容合法义务
“利用生成式人工智能生成的内容应当体现社会主义核心价值观,不得含有颠覆国家政权、推翻社会主义制度,煽动分裂国家、破坏国家统一,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情信息,虚假信息,以及可能扰乱经济秩序和社会秩序的内容”
出台仅一天,该条已引起社会热议,众多人士称其为人工智能的“政审”。该条规定其实继承和发扬了《网络安全法》对网络活动参与者的要求,合法性要求较为常规,但对于价值取向明显有更高的要求。对比《网络安全法》仅倡导“推动传播社会主义核心价值观”,本办法则要求人工智能生成的内容应当“体现社会主义核心价值观”,显现出的审查原则自然更为严格,其它同级别文件作出同类要求的多为教育、文化领域的规定,未来行业将如何通过算法及人工审核/纠偏趋近该要求、监管部门对于未能体现社会主义核心价值观的内容又如何评判和处理,我们将持续关注,拭目以待。
2. 反歧视义务
“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视”
从技术的初始设计到具体提供服务的过程中,管理办法要求研发者和提供者全周期地采取措施,防范歧视。办法中提及需防止歧视的内容包括种族、民族、信仰、国别、地域、性别、年龄、职业。从世界平权运动的成果看,实践中还需考虑对性取向、跨性别认知、财富阶层等内容的反歧视,这对开拓国际市场具有重要意义。
3. 反不正当竞争义务
“尊重知识产权、商业道德,不得利用算法、数据、平台等优势实施不公平竞争”
办法重申了《反不正当竞争法》《个人信息保护法》规定的有关义务,知识产权及商业道德的保护得到强调,“大数据杀熟”及垄断等不正当行为在人工智能的技术及应用层面均应受到禁止。
4. 内容真实性保障义务
“利用生成式人工智能生成的内容应当真实准确,采取措施防止生成虚假信息”
基于生成式人工智能的技术特点,此条极可能只能成为“指引性”条款。人工智能需依靠开发者及用户“投喂”数据,内化(但不全部存储)“认知”,再利用算法、模型等生成内容,数据的无穷、技术的局限及“真实准确”标准的客观限制,即使人类本身也无法对自己所输出内容的真实性进行客观、及时的审查,而对人工智能输出内容在“生成”的阶段作出“真实准确”的要求,我们姑且视其为人类的美好愿景吧。
无法执行的法条注定不会具有生命力,调整为及时纠偏/标识、配合调查等具体措施在防止“虚假信息”的层面应当更具可执行性。
题外话,以ChatGPT-4为代表的人工智能之所以惊艳世界,正是它自然“生长”的状态逐渐显现出“类人”的思维和输出,非人工刻意形成的“虚假”会不会是生成式人工智能的另一种智慧和美?
5. 私权利保护义务
“尊重他人合法利益,防止伤害他人身心健康,损害肖像权、名誉权和个人隐私,侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密”
此条在尊重知识产权和商业秘密保护内容上与“反不正当竞争义务”条款有重合,但前者是从经济法角度进行规制重申,本条则更多就民法层面保护私权利的角度进行强调。值得注意,“防止伤害他人身心健康”被单独提出,再次验证管理办法的目的不单纯是技术层面的规制,而是结合了文化、教育层面的考虑。
(四)责任归属
办法强调,服务提供者要承担“内容生产者的责任”及“个人信息处理者的法定责任”。
对于个人信息处理者的法定责任,可以直接定位《个人信息保护法》。而“内容生产者”对于公众来说更为生疏,可参考国家互联网信息办公室于2019年发布的《网络信息内容生态治理规定》,内容生产者的责任可概括为“七项鼓励”、“十一项不得”、“九种防范抵制”。
(五)安全评估及备案义务
按照管理办法规定,依据《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向网信部门申报安全评估,并按《互联网信息服务算法推荐管理规定》履行算法备案手续,是提供生成式人工智能相关服务的前置程序。
(六)数据来源合法性原则
提供者对于生成式人工智能产品产品的“预训练数据”及“优化训练数据”来源的合法性负责。
值得关注的是,办法规定,上述两种数据应能够保证真实性、准确性、客观性、多样性。如何进行数据筛查确保符合要求将是未来从业者的一大难题,但从实践角度考量,模型被训练后(AI本身并不当然留存训练数据)又如何追溯训练数据的合法性?如此看来,这更可能是监管落地的难题。
(七)用户实名制规则
提供生成式人工智能服务应当按照《网络安全法》规定,要求用户提供真实身份信息。
(八)防依赖及沉迷规则
提供者应公开服务适用的人群、场合、用途,采取适当措施防范用户过分依赖或沉迷生成内容。
未来监管可能对学生群体、学习/学术场景等特殊人群和用途进行防范和限制,比如为保护学生的正常学习力,禁止论文和作业用途使用;为保护人类艺术创造力,一定程度限制非商业用途的艺术创作等,随着AI的进步,立法也将得到进一步完善。
(九)禁止歧视规则
歧视问题在办法中第二次被提及,这对于生成式人工智能合规的重要性不言而喻。办法第四条中反歧视义务条款要求提供者在人工智能自身技术和规则层面采取措施,防范歧视的产生,而办法第十二条则对提供者主观可能进行的歧视性内容生成的行为进行了明确禁止。
(十)深度合成内容的标识义务
根据《互联网信息服务深度合成管理规定》,对于在提供相关深度合成服务中可能导致公众混淆或误认的,应当在合理位置、区域进行显著标识,以提示深度合成的情况,深度合成服务主要包括智能对话、合成人声、人脸替换、拟真场景生成等。
我们通过小试验,在某生成式人工智能平台发出深度合成服务的指令,截止截图时,生成内容未见相关显著标识。

图二:某人工智能平台操作截图
(十一)透明审查规则
在国家网信部门及有关部门的要求下,提供者有义务提供影响用户信任、选择的必要信息,包括数据来源、标注规则、基础算法、技术体系等。
此规定未来在实际操作中可能产生较大争议,尤其是国际合作和外企进入国内市场的情况下,透明审查,可能带来技术/商业秘密泄漏的担忧、国际法规的冲突,对该领域的国际合作产生一定的阻碍。
此等审查的尺度,也建议主管部门应当在办法中明确审查部门的保密义务和措施,以此减少企业披露信息的顾虑。
(十二)提供者的指导、审查、纠偏义务
办法还规定了提供者有义务指导用户合法合理使用服务、及时审查和纠偏用户的违法违规行为。
(十三)法律责任
“法律、行政法规没有规定的,由网信部门和有关主管部门依据职责给予警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停或者终止其利用生成式人工智能提供服务,并处一万元以上十万元以下罚款。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任”
办法中存在大量对《网络安全法》《数据安全法》《个人信息保护法》相关规定的强调和细化,监管部门有权依据此类法律法规对提供者进行处罚;同时,办法明确了其他法律法规无规定的情形下,监管部门的处罚权限。
结束语
本次国家网信办公布的《生成式人工智能服务管理办法(征求意见稿)》,从网络安全、数据安全、个人信息保护、反不正当竞争等角度对生成式人工智能行业进行了规制,符合当前历史阶段人工智能的监管需求。但人工智能给人类带来的担忧,远不止这些“类互联网”问题。
也许,人工智能发展的过程会如文艺复兴一般,带领我们走向一个更为光明的时代,但更可能,人类最终在历史上只能作为开启硅基生命时代的“钥匙”。
何时我们将真正迎来AI的挑战?或许当下一次的立法,我们已经需要参考阿西莫夫的机器人三大法则时,新时代----就真的到来了。
阿西莫夫机器人三大法则:
01机器人不得伤害人类,或看到人类受到伤害而袖手旁观;
02在不违反第一定律的前提下,机器人必须绝对服从人类给与的任何命令;
03在不违反第一定律和第二定律的前提下,机器人必须尽力保护自己。
