专栏
导读
自Open AI掀起生成式人工智能的狂潮以来，大模型在各行各业的应用日益广泛，成为推动企业创新与新质生产力发展的重要力量。与此同时，合规挑战亦如影随形。在此背景下，我们推出系列“GEN AI 合规 FAQs”。
每期，我们都将聚焦企业应用Gen AI相关的核心话题，从产品备案到训练数据集构建，从电信业务许可到内容安全管理，从数据安全保护到知识产权风险应对……全方位覆盖不同合规领域及应用场景，以期帮助Gen AI应用企业妥善应对潜在的法律风险。
本期为“GEN AI 合规 FAQs”第七期“大模型生成内容应用于业务中的潜在风险识别与管理”。
注：专栏配图均由AI生成
近年来，企业对生成式AI的关注度和应用热情持续攀升，不断寻求在业务中使用Gen AI生成内容以优化产出、提升效率的机会。然而，由于企业的商业经营背景或职业性质，不同场景使用Gen AI生成内容可能面临不同风险，对此，本期FAQ将围绕当前实践中探讨AI应用较为频繁的企业业务场景，对业务中使用大模型生成内容的潜在风险进行讨论。
Q1:企业在对外营销场景中使用Gen AI生成内容，有哪些潜在风险？
A：企业在对外营销过程中有着大量的图文、音视频等多模态内容设计、制作和投放需求，许多企业正在将Gen AI这一工具积极融入营销策略中。我们理解企业在对外营销过程中使用Gen AI生成内容，需注意如下潜在风险：
第一，著作权侵权风险。一方面，在我国的司法实践中，已确立了大模型生成物可版权性的判断标准，他人利用大模型生成的内容可能构成作品从而受到著作权保护，企业未经授权直接使用可能侵犯他人著作权；另一方面，对于企业员工为完成工作任务使用第三方大模型生成的内容，生成的文案或图片本身也可能因与现有作品构成实质性相似而侵犯现有作品的著作权。当前我国法院已有Gen AI服务提供方生成内容被认定侵犯他人作品著作权的裁判案例[1] ，如企业将此等侵权内容用于实体物料制作、网络物料传播，也可能涉及进一步的侵权行为。
第二，未经授权使用肖像、声音等人格权侵权风险。第三方大模型可能在训练数据中使用了他人的肖像、声音等语料，从而生成了侵犯他人肖像、声音等人格权的内容，如企业在商业场景中使用此等侵权内容，例如网络传播、配文改编等，将带来潜在被诉风险。
第三，使用虚假、错误信息引发广告违规风险。当前第三方大模型的数据质量仍需提升，大量训练数据融合也极易导致数据偏差，现阶段的Gen AI技术缺乏对信息或数据来源真实性的辨别，甚至可能为充分实现用户需求而杜撰虚假信息或强行关联本身无关的信息。
我国《广告法》第4条规定，广告主应对广告内容的真实性负责。在当前网络营销内容成规模“快餐化”的背景下，第三方大模型生成的营销内容可能涉及虚假、错误的信息或引用不真实数据等，企业如不加辨别在对外营销中使用此等内容可能引发广告违规风险并承担有关责任。
Q2: 在智能客服场景中，Gen AI生成的回复内容可能引发哪些风险？
A：通过接入第三方大模型打造的智能客服是当前炙手可热的企业AI应用产品，智能客服能够通过自然语言处理技术实现自动化应答，但AI现存技术缺陷及智能客服交互引导的场景特性可能为企业带来如下风险：
第一，误导性回复引发消费者权益有关投诉或纠纷风险。作为企业对客交流渠道，智能客服可能因训练数据偏差或语义理解错误，生成与产品或服务事实不符的回复（如错误的产品功能承诺、误导性操作指引），导致违反《消费者权益保护法》第20条（经营者应向消费者提供真实、全面的信息）及《广告法》第4条（禁止虚假宣传）。若用户基于误导性回复进行交易并遭受损失，除消费者投诉外，企业还可能面临民事纠纷与赔偿。
第二，过度索要或被诱导提供个人信息或敏感数据，导致侵犯隐私及个人信息风险。智能客服在运行过程中，可能由于原本的对话设计漏洞发生过度索要用户个人信息的情形，也可能被诱导提供模型记忆训练数据中的个人信息或敏感数据，或不当调用特定功能接口获取数据，导致用户交易记录、身份证号等数据泄露，从而引发侵犯隐私及个人信息的合规风险。
第三，带有歧视、偏见或不符合社会价值观的回复内容引发企业的负面社会舆论风险。Gen AI可能因训练数据中原本带有的历史偏见（如性别、地域歧视）生成不符合社会价值观的回复，此类内容可能引发公众谴责，引发负面舆论，损害企业商誉。
Q3: 在产品设计场景中使用Gen AI辅助生成，有哪些潜在风险？
A：当前大模型技术也在积极探寻如何应用于代码生成、工业设计、包装创意等环节，辅助企业的产品开发、设计。以企业在产品开发中使用Gen AI生成代码为例，此等生成代码中可能包含受开源协议（如GPL、BSD、MIT等）约束的代码片段，此时企业可能因未履行开源协议义务（如权利及免责声明、开放衍生代码）而构成违约。此外，如企业在产品设计中使用Gen AI生成的产品设计图，该等设计图可能与现有专利设计构成实质性相似，从而引发侵犯专利权的风险。由此，企业使用Gen AI生成内容辅助产品设计时，应谨慎对生成内容进行知识产权筛查，包括代码协议扫描、专利库比对等。
Q4:金融、法律、医疗等专业领域使用Gen AI生成内容有哪些特殊风险？
A：除特定业务场景外，在金融、法律、医疗等专业领域，如未加审查使用Gen AI生成内容还可能引发特殊监管风险，或需承担特定的职业责任。
在金融行业，Gen AI技术在营销、投顾、风险管理、财务分析及预测等方面均存在应用空间，但这些应用场景同时面临着强监管限制。首先，以营销为例，金融产品的宣传营销往往涉及特殊的持牌要求及行为规范，如2019年人行等发布《关于进一步规范金融营销宣传行为的通知》，要求不得非法或超范围开展金融营销宣传活动，不得以欺诈或引人误解的方式对金融产品或金融服务进行营销宣传等。使用Gen AI生成内容可能会加大出现营销合规问题的风险，包括但不限于引用不真实、不准确的数据和资料；隐瞒限制条件；对资产管理产品未来效果、收益或相关情况作出保证性承诺，明示或暗示保本、无风险或保收益等。其次，近年来投研领域也出现了不少AI应用成果，但使用Gen AI技术生成的研报在专业性上尚不能完全依赖，数据质量不足及推理不准确的内容可能会对关键决策产生误导，引发相关的业务风险。此外，使用Gen AI进行的风控决策可能遭遇黑箱问题的困扰而无法探寻决策过程，从而可能侵犯金融消费者的知情权等合法权益。
在法律、医疗等专业性较强的行业，Gen AI生成内容中的“AI幻觉”现象可能会严重影响从业人员执业过程中的专业性，不仅会影响人们在社会生活中的关键决策，同时也会带来特定的职业责任。AI幻觉（AI Hallucinations）是指AI能输出看似合理且连贯的信息，但这些信息与已知数据或现实不完全符合的现象。据公开报道，2023年2月，在美国纽约南区联邦地区法院的“马塔诉阿维安卡公司案”（Mata v. Avianca, Inc.）中，两名律师及其律所因提交了ChatGPT虚构的司法意见而受到法院制裁。其中一名律师在对案涉规则不熟悉且无法通过律所电脑访问联邦判例数据库的情况下，使用ChatGPT输入需检索内容并生成了符合目的的案例引文，虽然他本人无法检索到其中的部分案例，但他相信了ChatGPT内容的可靠性，认为这些案件只是尚未公布或是不在其可访问的数据库中。在面临质疑时，ChatGPT还“自信地”确认了案例真实性并生成了案情摘要，声称可以在专业法律数据库中找到。涉事律所和律师最终被处以5000美元的罚款[2]。 “AI幻觉”问题现阶段无法被根治，且可能会是语言模型的固有缺陷[3]。因此专业领域的从业人员对Gen AI生成内容仍需仔细甄别和审慎使用。
Q5: 对于管控在业务中使用Gen AI生成内容的风险有哪些一般性建议？
A：对于所识别的前述风险，我们建议企业整体上采取风险管理的思路，审慎对待Gen AI生成内容在业务场景中的使用，区分不同应用场景的风险大小采取不同程度的干预措施，明确特定场景中AI工具的合理定位，对于高风险领域需人工介入或禁止使用Gen AI生成内容，必要时可建立AI使用的制度规范。同时，企业也应防范员工个人擅自在业务中使用Gen AI生成内容的风险，建立适当的审核机制，采取生成内容检测、关键词过滤等技术措施，并积极开展员工培训，帮助员工了解行为风险和边界。
此外，《人工智能生成合成内容标识办法》将自今年9月1日起正式实施。根据该办法第10条，如使用社交平台等网络信息内容传播服务发布Gen AI生成内容，应当主动声明并使用服务提供者提供的标识功能进行标识；如希望获取没有添加显式标识的生成合成内容，建议在明确用户协议中提及的标识义务和使用责任后向Gen AI服务提供者申请获得。企业应为此明确相关运营人员使用和发布Gen AI生成内容的行为规范，履行合规义务。
Q6: 对于专业领域使用Gen AI生成内容的特殊风险还有哪些建议？
A：正是由于Gen AI的技术局限性及其在专业领域、关键决策中应用的突出风险，当前市面上的主流大模型产品均在用户协议中对于模型生成内容的用途进行显著说明，提示用户不得将输出内容作为专业建议，例如DeepSeek在用户协议中特别指出：“当您在使用本服务咨询医疗、法律、金融及其他专业问题时，请注意本服务不构成任何建议或承诺，不代表任何专业领域的意见。”大模型产品的此等风险提示及有关免责声明值得企业在应用Gen AI生成内容时给予关注。
DeepSeek用户协议（生效日期：2025年1月20日）
豆包用户协议（生效日期：2025年3月5日）
Kimi用户协议（生效日期：2025年4月28日）
[注]
[1] 广州互联网法院(2024)粤0192民初113号判决、杭州互联网法院(2024)浙0192民初1587号判决。
[2] 姚立：《生成式人工智能ChatGPT编造法律案例的风险与启示——评2023年美国“马塔诉阿维安卡公司案”》，载《新兴权利》集刊2024年第2卷（人工智能背景下的新兴权利研究文集）。
[3] Adam Tauman Kalai, Santosh S. Vempala, Calibrated Language Models Must Hallucinate, arXiv:2311.14648.
导读
自Open AI掀起生成式人工智能的狂潮以来，大模型在各行各业的应用日益广泛，成为推动企业创新与新质生产力发展的重要力量。与此同时，合规挑战亦如影随形。在此背景下，我们推出系列“GEN AI 合规 FAQs”。
每期，我们都将聚焦企业应用Gen AI相关的核心话题，从产品备案到训练数据集构建，从电信业务许可到内容安全管理，从数据安全保护到知识产权风险应对……全方位覆盖不同合规领域及应用场景，以期帮助Gen AI应用企业妥善应对潜在的法律风险。
本期为“GEN AI 合规 FAQs”第七期“大模型生成内容应用于业务中的潜在风险识别与管理”。
注：专栏配图均由AI生成
近年来，企业对生成式AI的关注度和应用热情持续攀升，不断寻求在业务中使用Gen AI生成内容以优化产出、提升效率的机会。然而，由于企业的商业经营背景或职业性质，不同场景使用Gen AI生成内容可能面临不同风险，对此，本期FAQ将围绕当前实践中探讨AI应用较为频繁的企业业务场景，对业务中使用大模型生成内容的潜在风险进行讨论。
Q1:企业在对外营销场景中使用Gen AI生成内容，有哪些潜在风险？
A：企业在对外营销过程中有着大量的图文、音视频等多模态内容设计、制作和投放需求，许多企业正在将Gen AI这一工具积极融入营销策略中。我们理解企业在对外营销过程中使用Gen AI生成内容，需注意如下潜在风险：
第一，著作权侵权风险。一方面，在我国的司法实践中，已确立了大模型生成物可版权性的判断标准，他人利用大模型生成的内容可能构成作品从而受到著作权保护，企业未经授权直接使用可能侵犯他人著作权；另一方面，对于企业员工为完成工作任务使用第三方大模型生成的内容，生成的文案或图片本身也可能因与现有作品构成实质性相似而侵犯现有作品的著作权。当前我国法院已有Gen AI服务提供方生成内容被认定侵犯他人作品著作权的裁判案例[1] ，如企业将此等侵权内容用于实体物料制作、网络物料传播，也可能涉及进一步的侵权行为。
第二，未经授权使用肖像、声音等人格权侵权风险。第三方大模型可能在训练数据中使用了他人的肖像、声音等语料，从而生成了侵犯他人肖像、声音等人格权的内容，如企业在商业场景中使用此等侵权内容，例如网络传播、配文改编等，将带来潜在被诉风险。
第三，使用虚假、错误信息引发广告违规风险。当前第三方大模型的数据质量仍需提升，大量训练数据融合也极易导致数据偏差，现阶段的Gen AI技术缺乏对信息或数据来源真实性的辨别，甚至可能为充分实现用户需求而杜撰虚假信息或强行关联本身无关的信息。
我国《广告法》第4条规定，广告主应对广告内容的真实性负责。在当前网络营销内容成规模“快餐化”的背景下，第三方大模型生成的营销内容可能涉及虚假、错误的信息或引用不真实数据等，企业如不加辨别在对外营销中使用此等内容可能引发广告违规风险并承担有关责任。
Q2: 在智能客服场景中，Gen AI生成的回复内容可能引发哪些风险？
A：通过接入第三方大模型打造的智能客服是当前炙手可热的企业AI应用产品，智能客服能够通过自然语言处理技术实现自动化应答，但AI现存技术缺陷及智能客服交互引导的场景特性可能为企业带来如下风险：
第一，误导性回复引发消费者权益有关投诉或纠纷风险。作为企业对客交流渠道，智能客服可能因训练数据偏差或语义理解错误，生成与产品或服务事实不符的回复（如错误的产品功能承诺、误导性操作指引），导致违反《消费者权益保护法》第20条（经营者应向消费者提供真实、全面的信息）及《广告法》第4条（禁止虚假宣传）。若用户基于误导性回复进行交易并遭受损失，除消费者投诉外，企业还可能面临民事纠纷与赔偿。
第二，过度索要或被诱导提供个人信息或敏感数据，导致侵犯隐私及个人信息风险。智能客服在运行过程中，可能由于原本的对话设计漏洞发生过度索要用户个人信息的情形，也可能被诱导提供模型记忆训练数据中的个人信息或敏感数据，或不当调用特定功能接口获取数据，导致用户交易记录、身份证号等数据泄露，从而引发侵犯隐私及个人信息的合规风险。
第三，带有歧视、偏见或不符合社会价值观的回复内容引发企业的负面社会舆论风险。Gen AI可能因训练数据中原本带有的历史偏见（如性别、地域歧视）生成不符合社会价值观的回复，此类内容可能引发公众谴责，引发负面舆论，损害企业商誉。
Q3: 在产品设计场景中使用Gen AI辅助生成，有哪些潜在风险？
A：当前大模型技术也在积极探寻如何应用于代码生成、工业设计、包装创意等环节，辅助企业的产品开发、设计。以企业在产品开发中使用Gen AI生成代码为例，此等生成代码中可能包含受开源协议（如GPL、BSD、MIT等）约束的代码片段，此时企业可能因未履行开源协议义务（如权利及免责声明、开放衍生代码）而构成违约。此外，如企业在产品设计中使用Gen AI生成的产品设计图，该等设计图可能与现有专利设计构成实质性相似，从而引发侵犯专利权的风险。由此，企业使用Gen AI生成内容辅助产品设计时，应谨慎对生成内容进行知识产权筛查，包括代码协议扫描、专利库比对等。
Q4:金融、法律、医疗等专业领域使用Gen AI生成内容有哪些特殊风险？
A：除特定业务场景外，在金融、法律、医疗等专业领域，如未加审查使用Gen AI生成内容还可能引发特殊监管风险，或需承担特定的职业责任。
在金融行业，Gen AI技术在营销、投顾、风险管理、财务分析及预测等方面均存在应用空间，但这些应用场景同时面临着强监管限制。首先，以营销为例，金融产品的宣传营销往往涉及特殊的持牌要求及行为规范，如2019年人行等发布《关于进一步规范金融营销宣传行为的通知》，要求不得非法或超范围开展金融营销宣传活动，不得以欺诈或引人误解的方式对金融产品或金融服务进行营销宣传等。使用Gen AI生成内容可能会加大出现营销合规问题的风险，包括但不限于引用不真实、不准确的数据和资料；隐瞒限制条件；对资产管理产品未来效果、收益或相关情况作出保证性承诺，明示或暗示保本、无风险或保收益等。其次，近年来投研领域也出现了不少AI应用成果，但使用Gen AI技术生成的研报在专业性上尚不能完全依赖，数据质量不足及推理不准确的内容可能会对关键决策产生误导，引发相关的业务风险。此外，使用Gen AI进行的风控决策可能遭遇黑箱问题的困扰而无法探寻决策过程，从而可能侵犯金融消费者的知情权等合法权益。
在法律、医疗等专业性较强的行业，Gen AI生成内容中的“AI幻觉”现象可能会严重影响从业人员执业过程中的专业性，不仅会影响人们在社会生活中的关键决策，同时也会带来特定的职业责任。AI幻觉（AI Hallucinations）是指AI能输出看似合理且连贯的信息，但这些信息与已知数据或现实不完全符合的现象。据公开报道，2023年2月，在美国纽约南区联邦地区法院的“马塔诉阿维安卡公司案”（Mata v. Avianca, Inc.）中，两名律师及其律所因提交了ChatGPT虚构的司法意见而受到法院制裁。其中一名律师在对案涉规则不熟悉且无法通过律所电脑访问联邦判例数据库的情况下，使用ChatGPT输入需检索内容并生成了符合目的的案例引文，虽然他本人无法检索到其中的部分案例，但他相信了ChatGPT内容的可靠性，认为这些案件只是尚未公布或是不在其可访问的数据库中。在面临质疑时，ChatGPT还“自信地”确认了案例真实性并生成了案情摘要，声称可以在专业法律数据库中找到。涉事律所和律师最终被处以5000美元的罚款[2]。 “AI幻觉”问题现阶段无法被根治，且可能会是语言模型的固有缺陷[3]。因此专业领域的从业人员对Gen AI生成内容仍需仔细甄别和审慎使用。
Q5: 对于管控在业务中使用Gen AI生成内容的风险有哪些一般性建议？
A：对于所识别的前述风险，我们建议企业整体上采取风险管理的思路，审慎对待Gen AI生成内容在业务场景中的使用，区分不同应用场景的风险大小采取不同程度的干预措施，明确特定场景中AI工具的合理定位，对于高风险领域需人工介入或禁止使用Gen AI生成内容，必要时可建立AI使用的制度规范。同时，企业也应防范员工个人擅自在业务中使用Gen AI生成内容的风险，建立适当的审核机制，采取生成内容检测、关键词过滤等技术措施，并积极开展员工培训，帮助员工了解行为风险和边界。
此外，《人工智能生成合成内容标识办法》将自今年9月1日起正式实施。根据该办法第10条，如使用社交平台等网络信息内容传播服务发布Gen AI生成内容，应当主动声明并使用服务提供者提供的标识功能进行标识；如希望获取没有添加显式标识的生成合成内容，建议在明确用户协议中提及的标识义务和使用责任后向Gen AI服务提供者申请获得。企业应为此明确相关运营人员使用和发布Gen AI生成内容的行为规范，履行合规义务。
Q6: 对于专业领域使用Gen AI生成内容的特殊风险还有哪些建议？
A：正是由于Gen AI的技术局限性及其在专业领域、关键决策中应用的突出风险，当前市面上的主流大模型产品均在用户协议中对于模型生成内容的用途进行显著说明，提示用户不得将输出内容作为专业建议，例如DeepSeek在用户协议中特别指出：“当您在使用本服务咨询医疗、法律、金融及其他专业问题时，请注意本服务不构成任何建议或承诺，不代表任何专业领域的意见。”大模型产品的此等风险提示及有关免责声明值得企业在应用Gen AI生成内容时给予关注。
DeepSeek用户协议（生效日期：2025年1月20日）
豆包用户协议（生效日期：2025年3月5日）
Kimi用户协议（生效日期：2025年4月28日）
[注]
[1] 广州互联网法院(2024)粤0192民初113号判决、杭州互联网法院(2024)浙0192民初1587号判决。
[2] 姚立：《生成式人工智能ChatGPT编造法律案例的风险与启示——评2023年美国“马塔诉阿维安卡公司案”》，载《新兴权利》集刊2024年第2卷（人工智能背景下的新兴权利研究文集）。
[3] Adam Tauman Kalai, Santosh S. Vempala, Calibrated Language Models Must Hallucinate, arXiv:2311.14648.