生成式人工智能大模型应用涉及的刑事风险与应对

来源:华商律师事务所

文章摘要
摘要 生成式人工智能大模型的快速落地在赋能产业发展的同时,也衍生出一系列刑事风险,正如樊崇义教授所指出的,人工智能时代的刑事法学理论亟需创新,以应对技术带来的全新挑战[1]。

摘要
生成式人工智能大模型的快速落地在赋能产业发展的同时,也衍生出一系列刑事风险,正如樊崇义教授所指出的,人工智能时代的刑事法学理论亟需创新,以应对技术带来的全新挑战[1]。此类风险的本质可归结为数据风险,从司法实务与理论研究来看,当前大模型应用的刑事风险已覆盖全流程,且可被类型化为工具型、目标型、疏忽型与衍生型四类核心样态[2],同时也可从内源性、外源性的维度展开剖析[3]。现有规制模式存在罪名适用不确定性、归责困境等问题,难以应对实务中的复杂情况。对此,应以数据犯罪规制模式为核心,通过解释论完善现有数据犯罪的适用规则,同时结合阶梯式的规制体系、多元主体的责任划分,实现全生命周期、分类分级的规制,以此实现对大模型刑事风险的精准防控,兼顾技术发展与法益保护。
一、生成式大模型应用中刑事风险的实务具象
生成式人工智能大模型的技术逻辑围绕数据的输入、运算与输出展开,与之对应,其刑事风险也贯穿这一全流程。马永强教授指出,生成式人工智能的现实风险可被类型化为工具型风险、目标型风险、疏忽型风险与衍生型风险四种核心样态,这一类型化划分精准覆盖了当前大模型应用中的各类不法场景[4]。与此同时,陈伟教授则从风险来源的维度,将其划分为内源性刑事风险与外源性刑事风险,前者是模型自身运行所衍生的风险,后者则是外界主体利用模型所诱发的风险,二者共同构成了大模型刑事风险的完整图景[5]。
根据数据类型的差异,生成式大模型在输入阶段的数据风险还可进一步细化为国家数据、政务数据与个人数据三类场景,对应不同的刑事风险样态[6]。
首先是国家数据场景下的国家安全类刑事风险。以ChatGPT为代表的域外生成式大模型,其技术框架源于域外,在数据收集与处理过程中可能对我国国家数据进行深度挖掘与分析,甚至可能成为意识形态渗透的载体。此类行为若涉及对国家秘密数据的非法获取与传输,将可能触犯非法获取国家秘密罪、为境外窃取、刺探、收买、非法提供国家秘密、情报罪等危害国家安全类罪名,对我国数据主权与国家安全造成严重威胁。正如刘艳红教授所指出的,生成式人工智能对国家数据的攫取,可能通过数据出境的路径危害国家安全,这一风险在当前的大模型应用中尤为突出。
其次是政务数据场景下的行政监管相关刑事风险。政务数据作为数字政府建设的核心资源,其开放与利用有着严格的法定流程。但生成式大模型为了优化输出结果,可能在未获得授权的情况下违规获取、利用政务数据,此类行为若涉及对政务系统中存储数据的非法侵入与获取,将构成非法获取计算机信息系统数据罪;若政务工作人员违规向大模型研发者提供未公开的政务数据,还可能触及滥用职权罪、玩忽职守罪等渎职类罪名,破坏政务数据的管理秩序。
最后是个人数据场景下的更为复杂的权利侵害风险。除了传统的非法获取公民个人信息所触犯的侵犯公民个人信息罪之外,生成式大模型对个人数据的过度挖掘与不合理加工,还会衍生出更多刑事风险。例如,大模型可能基于个人数据生成虚假的个人信息,进而引发网络暴力,此类行为若情节严重,将可能构成侮辱罪、诽谤罪;同时,大模型为了“自圆其说”对个人数据进行编造,生成似是而非的虚假信息,还可能触犯编造、故意传播虚假信息罪,正如域外出现的用户诱导ChatGPT“越狱”生成违规内容的案例,此类行为一旦造成严重的传播后果,就会进入刑法规制的范畴。
在输入阶段,大模型的训练与运行依赖海量数据的获取,这一过程中极易出现非法获取数据、提供犯罪工具的风险,这正是典型的工具型风险的体现。浙江绍兴侦破的全国首例利用人工智能打码平台侵犯公民个人信息案就是典型,犯罪分子训练AI模型识别图片验证码,以此绕过账户安全登录保护,为网络黑产提供犯罪工具,该行为已经触及了《刑法》中的提供侵入、非法控制计算机信息系统程序、工具罪的规制范畴。此类AI工具本质上就是专门用于绕过计算机信息系统安全防护的程序,其为非法获取数据、侵入系统提供了技术支持,完全符合该罪名中“专门用于侵入、非法控制计算机信息系统的程序、工具”的构成要件[7]。除此之外,部分研发者在训练大模型时,非法爬取、获取他人的公民个人信息、商业秘密数据,也会触犯侵犯公民个人信息罪、侵犯商业秘密罪等罪名,而这些行为的本质都是对数据的非法获取。
在运算阶段,大模型对数据的处理过程中,存在数据投毒、非法篡改数据的风险,这属于外源性风险的典型表现。部分第三方行为人利用大模型的防护漏洞,向训练数据中注入恶意、虚假的数据,也就是所谓的“模型投毒”,以此篡改大模型的输出结果,或者植入广告内容。此类行为如果造成了严重后果,可能构成破坏计算机信息系统罪,因为其非法修改了大模型的语料数据,破坏了数据的完整性与真实性。同时,部分研发者在运算过程中,非法对脱敏后的个人数据进行聚合、重新识别,以此恢复出可识别到特定个人的信息,这一行为本质上是对数据的非法处理,也会触及数据犯罪的规制范畴。
除了数据投毒这类外源性的恶意行为之外,大模型运算阶段还存在算法偏见所衍生的内源性刑事风险。生成式大模型采用的“机器学习+人工标注”的技术模式,不可避免地会将人类的偏好与偏见注入算法之中,这种算法偏见不仅会导致输出结果的不公,还可能引发严重的刑事风险。例如,带有偏见的算法可能生成针对特定群体的歧视性、煽动性内容,若此类内容被广泛传播,将可能触犯煽动民族仇恨、民族歧视罪、煽动实施恐怖活动罪等罪名;同时,若算法偏见被应用于司法、行政执法等公权力领域,导致案件处理结果出现重大偏差,造成冤假错案,还可能引发相关的渎职类犯罪的追责问题。刘艳红教授指出,算法偏见的产生既包括训练阶段的先天性偏见,也包括大模型自我学习阶段的后天性偏见,此类风险具有隐蔽性与扩散性,若不加以规制,极易演变为现实的法益侵害[8]。
在输出阶段,大模型生成内容的环节,已经出现了多起刑事案例,涵盖了侵犯著作权、制作淫秽物品牟利等多个罪名,这正是内源性风险的现实体现。北京首起利用AI侵犯著作权刑事案件中,罗某某等人利用AI软件篡改网络原创作品,制成拼图销售牟利27万余元,最终被法院以侵犯著作权罪定罪处罚。在知识产权相关的刑事风险层面,生成式大模型的特殊属性也带来了新的挑战。传统的侵犯著作权罪的适用面临着训练行为是否属于“复制发行”的争议,而这一问题的根源在于生成式AI生成物与训练数据之间的复杂关系。而AlienChat涉黄案中,开发者开发的AI伴侣模型,能够与用户进行淫秽聊天,最终被以制作淫秽物品牟利罪判处有期徒刑,该案中,AI生成的淫秽聊天内容,已经被认定为淫秽物品,开发者的行为构成了制作、传播淫秽物品的犯罪。除此之外,还有部分大模型会生成虚假信息、煽动性内容,进而可能触犯编造、故意传播虚假信息罪、煽动类犯罪等,而这些风险的根源,都在于输入阶段的非法数据,以及运算阶段的非法数据处理,最终通过输出阶段传导为现实的法益侵害。
二、现有规制模式的实务适用困境
当前针对大模型刑事风险的规制方案,主要分为解释论与立法论两类,但在实务适用中均存在一定的困境。解释论的方案主张适用现有的罪名进行规制,但面临着罪名适用的不确定性,以及构成要件的适配难题。例如,针对大模型训练中的未经许可使用他人作品的行为,有观点主张适用侵犯著作权罪,但该罪要求“复制发行”的行为,而大模型的训练过程是对数据的学习、提取特征,是否属于“复制发行”存在争议,同时,责任主体的认定、因果关系的证明也存在难题。
因果关系的归责困境,正是当前规制中的核心难题之一。陈伟教授指出,传统的因果关系理论在应对大模型的刑事风险时已经呈现出明显的乏力,算法黑箱的存在,使得危害结果与行为之间的引起与被引起关系难以被清晰识别,这就需要重塑原因力理论,以此来解决归责的难题[9]。而顾伟教授也指出,大模型生态中的多元主体,包括基础模型研发者、接入方、终端用户,其责任划分的模糊性,也导致了归责的困境,尤其是接入方的审查义务边界不清,导致了责任的真空[10]。
再如,针对提供恶意AI工具的行为,适用提供侵入、非法控制计算机信息系统程序、工具罪时,也存在一定的适用难题。该罪要求程序是“专门”用于非法侵入、控制的程序,而部分AI工具本身具有中立性,比如打码平台的AI技术,也可以用于合法的验证码识别场景,此时如何区分中立的技术帮助与犯罪帮助,成为实务中的难点。同时,该罪的入罪标准要求“情节严重”,而针对AI工具的情节严重的认定,现有的司法解释并未明确,导致实务中裁判标准不统一。
而立法论的方案,主张增设专门的人工智能犯罪,比如滥用人工智能罪、人工智能产品事故罪等,但此类方案过于超前,在当前大模型技术仍处于快速发展的阶段,贸然增设新罪,可能会抑制技术的创新,同时,此类罪名的规制范围过于模糊,容易出现口袋罪的问题,而且,大部分大模型的刑事风险,本质上都可以归结为数据风险,现有的数据犯罪已经可以进行规制,无需重复立法[11]。除此之外,现有的数据犯罪本身也存在一定的缺陷,比如非法获取计算机信息系统数据罪仅规制获取行为,无法规制处理、滥用数据的行为,而破坏计算机信息系统罪的第二款,又被限制为必须影响系统运行,导致大量的非法处理数据的行为无法被规制,这也导致了实务中的处罚漏洞。
三、实务导向的应对路径:数据犯罪规制模式的落地
针对大模型的刑事风险,本质上是数据风险,因此,应当构建以数据犯罪为核心的规制模式,以此解决实务中的规制困境,实现精准防控。首先,在刑法观念层面,应当秉持樊崇义教授所倡导的阶梯式规制理念,坚守刑法谦抑原则,建立行政法、民法、刑法的阶梯式规制体系,将行政监管、民事赔偿作为前置防线,只有当其他法律手段无法有效规制时,刑法才审慎介入,以此避免过度规制抑制技术创新[12]。
其次,在解释论层面,应当重塑数据犯罪的法益,确立数据管理秩序的双层法益,实现数据犯罪的独立性规制。将破坏计算机信息系统罪的第二款,以及非法获取计算机信息系统数据罪,定位为独立的数据犯罪,不再依附于计算机信息系统的安全,也就是说,只要行为人非法获取、处理、破坏数据,情节严重的,就可以构成犯罪,无需证明其影响了计算机信息系统的运行,以此填补实务中的处罚漏洞,比如针对模型投毒、非法处理个人数据的行为,就可以直接适用数据犯罪进行规制,无需再证明其影响了系统的正常运行[13]。同时,针对因果关系的归责难题,应当借鉴陈伟教授的观点,重塑原因力理论,拓宽原因力的接受主体范围,将行为关联纳入原因力的判断范畴,以此解决算法黑箱下的归责困境[14]。
再者,应当实现数据犯罪的全生命周期规制,覆盖大模型的输入、运算、输出全流程,同时厘清多元主体的责任边界。顾伟教授指出,大模型生态中的接入方,应当履行相应的审查义务,包括上游模型审查、外部数据源审查、用户端审查,以此防控风险。在输入阶段,规制非法获取数据的行为,适用非法获取计算机信息系统数据罪,针对提供恶意AI工具的行为,明确提供侵入、非法控制计算机信息系统程序、工具罪的适用标准,区分中立技术与犯罪帮助,对于明知他人用于犯罪而提供AI工具的,依法定罪处罚,比如绍兴的打码平台案,就可以直接适用该罪进行规制。在运算阶段,规制非法处理数据的行为,将非法修改、聚合、滥用数据的行为,纳入到破坏计算机信息系统罪的第二款的规制范围,针对数据投毒的行为,只要造成了数据的完整性破坏,情节严重的,就可以定罪。在运算阶段的规制中,还应当引入技管结合的治理理念,针对算法偏见的风险,构建自动化、生态化、全流程的动态监管体系。一方面,在大模型投入应用之前,对算法模型进行实质审查,消除先天性的算法偏见,统一人工标注的规范标准,避免人为的偏见注入算法之中;另一方面,针对大模型自我学习过程中产生的后天性算法偏见,建立实时的动态监管机制,通过自动化的监控系统,及时发现并纠正算法偏见,同时构建多主体参与的生态化监管网络,融合行政监管、平台自律与行业规范,实现对算法风险的全方位防控,以此防范算法偏见所衍生的刑事风险。在输出阶段,针对生成侵权、淫秽、虚假内容的行为,结合前端的罪名进行规制,同时追溯数据处理的源头,以数据犯罪进行整体的防控,实现全流程的风险管控。
最后,应当实现数据犯罪的分类分级规制,根据数据的风险等级,设置不同的处罚标准。针对大模型处理的数据,分为一般数据、重要数据与核心数据,针对不同类型的数据,设置不同的入罪标准,比如针对公民个人信息、金融数据等核心数据,降低入罪门槛,而针对一般的公开数据,提高入罪标准,以此实现精准规制,避免过度规制抑制技术创新。同时,完善情节严重的认定标准,针对AI工具、数据处理行为,明确新的情节严重的情形,比如提供AI工具被用于犯罪的次数、违法所得的数额,以此统一实务中的裁判标准。这一分类分级的规制思路,也与生成式AI数据风险的类型化治理相契合。针对国家数据,应当基于总体国家安全观构建穿透式的分级监管机制,严格审查国家数据向大模型开放的合规性,默认核心国家数据不得为域外大模型所使用,从源头防范危害国家安全的刑事风险;针对政务数据,应当明确政务数据开放的边界,建立政务数据向大模型开放的事前报备与审核机制,规范政务数据的利用模式,避免违规利用政务数据引发的行政监管类犯罪;针对个人数据,应当落实最小比例原则,限制大模型对个人数据的处理深度,禁止过度挖掘个人数据的潜在信息,以此防范侵犯公民个人信息以及衍生的网络暴力等刑事风险。在立法论层面,应当推动数据犯罪的立法完善,增设非法处理数据罪,构建阶梯化的罪名体系,以此覆盖大模型中的非法处理数据的行为,彻底解决现有数据犯罪的弊端。
综上,生成式人工智能大模型的刑事风险,本质上是数据风险,通过构建数据犯罪规制模式,结合多元主体的责任划分、阶梯式的规制体系,能够有效应对实务中的规制困境,实现对全流程风险的精准防控,在保障数据安全、法益保护的同时,为大模型技术的健康发展提供良好的法律环境。
参考文献:



  1. 樊崇义等:《人工智能时代刑事法学理论创新与实务应对专题(一)》,《法治与经济》2026年第1期。
    2.马永强:《生成式人工智能犯罪的理解视域与刑法应对》,《国家检察官学院学报》2025年第6期。

  2. 陈伟、向珉希:《生成式人工智能刑事风险下的原因力理论重塑》,《重庆大学学报(社会科学版)》网络首发,2026年3月25日。
    4.马永强:《生成式人工智能犯罪的理解视域与刑法应对》,《国家检察官学院学报》2025年第6期。

  3. 陈伟、向珉希:《生成式人工智能刑事风险下的原因力理论重塑》,《重庆大学学报(社会科学版)》网络首发,2026年3月25日。

  4. 刘艳红:《生成式人工智能的三大安全风险及法律规制——以ChatGPT为例》,《东方法学》2023 年第4 期。

  5. 顾伟、周响:《生成式人工智能大模型接入方的审查义务与刑事责任》,《人民检察》2025年第22期。
    8.刘艳红:《生成式人工智能的三大安全风险及法律规制——以ChatGPT为例》,《东方法学》2023 年第4 期。
    9.陈伟、向珉希:《生成式人工智能刑事风险下的原因力理论重塑》,《重庆大学学报(社会科学版)》网络首发,2026年3月25日。

  6. 顾伟、周响:《生成式人工智能大模型接入方的审查义务与刑事责任》,《人民检察》2025年第22期。

  7. 张学彬:《大模型刑事风险的数据犯罪规制模式》,《北京理工大学学报(社会科学版)》网络首发论文,2026年3月26日。
    12.樊崇义等:《人工智能时代刑事法学理论创新与实务应对专题(一)》,《法治与经济》2026年第1期。
    13.张学彬:《大模型刑事风险的数据犯罪规制模式》,《北京理工大学学报(社会科学版)》网络首发论文,2026年3月26日。

  8. 陈伟、向珉希:《生成式人工智能刑事风险下的原因力理论重塑》,《重庆大学学报(社会科学版)》网络首发,2026年3月25日。

技术驱动法律,专业成就未来