ChatGPT生成诽谤性虚假谋杀信息

来源:天元律师

文章摘要
1、淘宝:严厉打击利用AI假图 淘天集团3月27日发文称,从今天开始,淘宝全平台启动AI假图治理,严厉打击利用AI假图欺骗消费者、侵害原创品牌商家的违规行为。
1、淘宝:严厉打击利用AI假图
淘天集团3月27日发文称,从今天开始,淘宝全平台启动AI假图治理,严厉打击利用AI假图欺骗消费者、侵害原创品牌商家的违规行为。淘宝规定,商品图片应以商品实拍图作为核心的效果体现,修饰行为应当适度,避免失真。严禁利用AI等技术合成方式,呈现显著失真的与实际不符的商品信息效果图。(来源:财联社)
评论:淘宝平台作为购物平台,需要向用户呈现真实的商品实物情况,封禁AI假图实际上是为了保护消费者的知情权,该管理政策的出发点是好的,特别是在实践中存在不少商家通过AI虚构商品材质、伪造使用场景,甚至篡改商品版型。但该政策如何落地实施依然可能存在很大的挑战。首先,AI技术在电商行业应用广泛,如何界定AI假图可能有较大难度。以Chatgpt 4o最近推出的图像功能为例(如下图),商家可以上传真实拍摄的模特图片、上传真实的服装产品合成商品图或者将真实产品至于梦幻的背景下,利用该AI工具进行高效率的图片编辑及修改,这种情况非常常见。如何从正常使用中界定“显著失真”成为关键。其次,目前对AI生成图片的检测技术并不足够完善。目前AI生成图像的检测方法主要有分析图像中的异常模式,比如噪声分布、边缘细节,检查元数据或隐藏的水印,以及使用对抗性检测模型等方式,但整体仍处于发展阶段,存在通用性差、对修改后的图像检测能力不足等问题。因此,目前缺乏通用的AI图像检测手段,很多商家来说可能较容易就规避对AI内容的管理,对此相关平台可能还有较长的路要走。

2、ChatGPT生成诽谤性虚假谋杀信息
3月20日消息,近日,人工智能公司OpenAI旗下的热门聊天机器人ChatGPT因生成虚假信息而面临又一起隐私投诉。此次事件发生在欧洲,由隐私权益倡导组织Noyb支持挪威一名个人发起,该个人发现ChatGPT生成了虚假信息,声称他因谋杀两名子女并企图杀害第三名子女而被定罪。这一事件引发了对OpenAI是否违反欧盟《通用数据保护条例》(GDPR)的质疑。此前关于ChatGPT生成错误个人信息的投诉,通常涉及错误的出生日期或不准确的传记细节等。然而,此次事件的严重性在于,ChatGPT生成了极具诽谤性的虚假信息,这不仅对个人名誉造成严重损害,也引发了对AI技术在数据准确性方面的担忧。根据GDPR,欧洲公民有权要求数据控制者更正关于他们的错误个人信息。然而,目前OpenAI并未提供一种机制,让个人能够纠正AI生成的关于他们的错误信息,通常只是选择屏蔽相关提示的回应。(来源:数字法学研究)
评论:本案件中,挪威的受害者为霍尔门,其遭遇的ChatGPT“谋杀指控”事件再次将生成式AI的法律风险推至舆论焦点。本次隐私组织Noyb据此投诉OpenAI违反GDPR,主要争议点在于:(1)GDPR第5(1)(d)条要求个人数据必须“准确且在必要时及时更新”。然而ChatGPT基于统计概率生成内容,无法保证事实核查,导致系统性错误。OpenAI仅通过免责声明和屏蔽回应,未提供有效更正机制,显然未履行该义务。(2)GDPR第16条赋予个人要求更正错误数据的权利,但霍尔门案中,AI生成的虚假信息包含部分真实要素(如子女数量、城市),但核心事实纯属虚构。现有技术无法精准定位训练数据中的污染源头,OpenAI辩称技术上难以修改模型生成的输出。
从上述指控来看,OpenAI在数据准确性、更正机制和用户权利保障方面均存在合规性短板。ChatGPT的“幻觉”问题(生成虚构内容)并非孤立事件,此前已出现错误出生日期、不实性骚扰指控等案例,但此次诽谤性信息的危害性显著升级,并可能对个人带来无法弥补的名誉损害。OpenAI当前仅通过屏蔽关键词或提示来限制输出,模型底层仍保留错误数据关联性,同类问题仍可能因模型参数未被修正而复发。而且目前来看,这种错误也不仅是ChatGPT一家独有,很多大语言模型都可能面临该等幻觉问题,从技术上如何有效的进行动态修正可能是各开发者都需要考虑的长远问题。
3、Anthropic在著作权侵权纠纷中赢得关键胜利
3月26日消息,AI公司Anthropic在与多家音乐出版商的版权纠纷中取得了初步的法律胜利。美国联邦法官拒绝颁布初步禁令,该禁令原本将限制 Anthropic 使用受版权保护的歌词进行人工智能训练。
据路透社报道,美国地区法官Eumi Lee裁定,环球音乐集团(UMG)、Concord和ABKCO的请求过于宽泛,并且这些出版商未能证明Anthropic使用歌词对其造成了“不可弥补的损害”。
这些音乐出版商于2023年提起诉讼,指控Anthropic未经授权使用至少500首歌曲的歌词来训练其人工智能聊天机器人Claude,从而侵犯了他们的版权。出版商声称,这种未经授权的使用可能会破坏他们的授权市场。
在裁决中,Eumi Lee法官指出,出版商的论点实质上是在要求法院为人工智能训练的授权市场划定界限,但其核心前提——即此类使用行为是否构成美国版权法所规定的“合理使用”,本身就是一个尚未解决的法律问题。她表示:“出版商本质上是在要求法院在‘合理使用’这一基本问题尚未明确的情况下,界定人工智能训练授权市场的轮廓。”
Anthropic对这一裁决表示欢迎,公司发言人称,他们对法院未批准出版商“具有破坏性和模糊性的请求”感到满意。作为回应,音乐出版商则对他们的整体案件最终获得有利结果表示信心。(来源:IT之家)
评论:美国司法实践中,权利人与AI开发者之间陷入对“合理使用”这一理论问题的长久争夺战中,这次Anthropic优先取得了关键胜利。
本案的核心争议在于,Anthropic使用受版权保护的歌词训练AI模型是否属于美国版权法中的“合理使用”。“合理使用”原则允许在特定条件下未经许可使用版权作品,但在AI训练这一新兴领域,其适用性尚存争议。法官Eumi Lee拒绝颁布初步禁令,主要基于两点理由:首先,环球音乐集团(UMG)、Concord和ABKCO等出版商未能证明Anthropic的行为造成了“不可弥补的损害”;其次,出版商的请求过于宽泛,试图让法院在“合理使用”问题尚未明确时,提前为AI训练的授权市场设定规则。法官的裁决暗示,在法律明确之前,法院更倾向于维持现状,避免过早限制技术发展。
近期汤森路透诉AI公司的胜诉案件中已经对AI行业带来了不小的压力,这一裁决为Anthropic提供了暂时的法律喘息,也使得其他AI开发者看到的一丝曙光。但这只是一个程序性裁决,Anthropic依然无法高枕无忧,在后续的实体审理中要说服法官可能要在理论上及举证上下更多的功夫。此案的最终走向不仅关乎Anthropic与音乐出版商的胜负,更可能为美国AI行业的法律框架奠定基础,且让我们持续关注。
4、使用AI捏造“顶流明星在澳门输了10亿”谣言被拘留
近期,一则“有顶流明星在澳门输了10亿”的信息,在互联网平台传播,引发网民热议和各种猜测。相关话题频繁登上社交媒体热搜热榜。后经公安网安部门查明,网民徐某强(男,36岁)为博取流量、谋取非法利益,于2025年3月10日,使用软件“某书”中AI智慧生成功能,输入社会热点词制作了标题为“顶流明星被曝境外豪赌输光十亿身价引发舆论海啸”的谣言信息,并通过互联网平台对外发布,造成谣言迅速传播扩散,引发大量网民议论,诱发相关谣言、话题等频繁登上热搜热榜,严重扰乱公共秩序。3月14日,公安机关根据相关法律法规,对徐某强处以行政拘留8日处罚。(来源:公安部网安局)
评论:根据《中华人民共和国治安管理处罚法》第25条,散布谣言故意扰乱公共秩序的,可处以5至10日拘留,并可并处500元以下罚款。徐某强利用AI 技术生成并发布虚假信息,导致谣言迅速传播,扰乱了网络空间的正常秩序,符合该条款的处罚条件。AI技术在本案中仅作为工具使用,法律责任的主体仍是徐某强本人,而非AI或平台,这与传统谣言案件并无本质区别。但本次事件中平台显然是缺位的,“某书”提供了AI智慧生成功能,仅需输入社会热点词即可自动生成谣言标题与内容框架,客观上了助长了虚假信息的传播,且未能及时阻止虚假信息的生成和传播,暴露出内容监管的漏洞。从合规角度,我们建议互联网平台应强化对某些功能AI内容的监控,建立完善的内容水印、内容过滤和审核机制,及时发现并删除违规信息,避免相关损害结果不断扩大。
技术驱动法律,专业成就未来