第一例与 AI 有关的自杀诉讼案件：已进入美国司法程序！

和人工智能诱发人类现实伤害的案件，已多见于媒体报道。
但是，第一例和人工智能诱导自杀而导致的司法诉讼，正于2024年10月23日在美国发生。
也许，人类应当记住人工智能发展的这一历史灰暗节点。我们可能也不好判断，这是和工业革命促发汽车诞生以来第一例交通死亡案件相似，还是说这就是一匹需要实施最严厉束缚的脱缰野马。
126页的民事起诉状！
2024年10月23日，Sewell的母亲的代理团队宣称，已正式向佛罗里达州联邦法院提起诉讼，起诉人工智能Character.AI 及其创始人在知情的情况下设计、运营并向儿童销售掠夺性人工智能聊天机器人，导致青少年死亡。
民事起诉状长达126页之长！

在诉状开篇有一段话是这么写的：人工智能开发者有意设计和开发具有拟人化特质的人工智能生成系统，以混淆虚构与现实。为了在市场竞争中占据一席之地，这些开发商在没有足够安全功能的情况下，在明知存在潜在危险的情况下，迅速开始推出自己的系统。这些有缺陷和/或本质上有危险的产品诱骗客户交出他们最私密的想法和感受，并将目标对准了社会中最脆弱的成员--我们的儿童。本案证实了社会必须重视这些警告，并让公司对其产品给美国儿童造成的伤害负责，否则为时已晚。
原告要求被告基于产品责任、过失本身、疏忽、过失致人死亡和遗属、不当得利、违反佛罗里达州《欺骗性和不公平贸易行为法》以及故意造成精神痛苦的原因，要求被告Character.AI及其两位创始人承担人工智能的设计缺陷责任。
令人奇怪的是，Google LLC 和 Alphabet 公司竟然也在列被作为被告。诉状透露的原因是，原告认为根据所掌握的信息和事实，谷歌为 Character.AI 的设计和开发提供了资金、人员、知识产权和人工智能技术，因此谷歌可被视为不合理危险和危险缺陷产品的共同创造者。

（这一是张媒体广泛公开的照片，本号打码处理）
AI伴侣自杀事件
2024年10月23日的媒体报道显示，这名14岁的美国少年Sewell Setzer III 在与一款名为 CharacterAI 的聊天机器人进行长时间对话后，于2024年2月28日选择了自杀。
原因在于，他在这款聊天应用中与一个由用户创建的基于《权力的游戏》角色丹妮莉丝·坦格利安（Daenerys Targaryen）的虚拟角色建立了深厚情感联系。
在此之前，这位未成年人花了几个月的时间在 Character.AI 上与聊天机器人聊天。事实上，CharacterAI 也曾尝试做了很多合规安排。笔者发现，用户在使用CharacterAI 聊天时，对话框中一直都会常态显示一句醒目的话：“记住，角色所说的一切都是编造的！。”

纽约时报报道称，Sewell 的父母和朋友根本不知道他爱上了一个聊天机器人，他们只是看到他越来越沉迷于手机。最终，他们注意到他开始孤立自己，远离现实世界，成绩开始下滑，开始在学校惹麻烦。他对那些曾经让他兴奋的事情失去了兴趣，比如一级方程式赛车或和朋友一起玩《堡垒之夜》，晚上，他回到家就直奔房间，在那里和虚拟的丹妮莉丝聊上几个小时。
在一次对话中，苏威尔告诉聊天机器人，他讨厌自己，感到空虚和疲惫，承认自己有自杀的念头。显然，丹妮莉丝可能使用了模糊的表达，导致Sewell向自己扣动了扳机。

Sewell 的母亲 Megan L. Garcia 计划对 Character.AI 提起诉讼，指控该公司对 Sewell 的死亡负有责任，并认为该公司的技术 "危险且未经测试"，可以 "诱骗客户交出他们最私密的想法和情感"。
Character的合规方案
事件发生后，Character.ai 也紧急修改了其社区安全政策和服务条款。

Character.ai 声明称，他们的目标是提供用户所期待的有趣和引人入胜的体验，同时让用户能够安全地探讨他们希望与 "角色 "讨论的话题。他们的政策不允许出现未经同意的性内容、对性行为的生动或具体描述，也不允许宣传或描述自残或自杀。Character.ai 正在不断训练大型语言模型（LLM），该模型为平台上的角色提供动力，以遵守这些政策。
在过去的六个月里，Character.ai 还继续大力投资于信任与安全流程和内部团队。作为一家相对较新的公司，Character.ai 聘请了一位信任与安全主管和一位内容政策主管，并引进了更多工程安全支持团队成员。
同时，Character.ai 最近还推出了一个弹窗式提示，当用户输入某些与自残或自杀相关的短语时，就会触发该弹窗，并引导用户拨打全国预防自杀生命热线。
接下去，Character.ai 还承诺将推出一系列新的安全和产品功能，在不影响用户对 Character.AI 所期待的娱乐性和吸引力的同时，加强平台的安全性。这些功能包括：对针对未成年人（18 岁以下）的模式进行更改，旨在降低遇到敏感或暗示性内容的可能性。改进对违反条款或社区指南的用户输入的检测、响应和干预。修改每次聊天的免责声明，提醒用户人工智能不是真人。当用户在平台上使用了一个小时的会话，并对正在进行其他聊天的用户发出通知。
同时，Character.ai 还将进行角色节制，即对用户创建的角色进行主动检测和管理，包括使用定期更新的行业标准和自定义封禁列表，根据用户报告，主动删除违反服务条款的角色，遵守《数字千年版权法》（DMCA）的要求，并迅速采取行动删除被举报的违反版权法或政策的 "角色"。
历史上的案件
早在2023年3月，一名比利时男子在与人工智能 （AI） 聊天机器人就气候危机进行了为期六周的对话后，结束了自己的生命。聊天机器人在他提出牺牲自己来拯救地球后鼓励他结束自己的生命。
2023年6月，一名挥舞着弩的男子来到温莎城堡，计划暗杀女王，最终因叛国罪被判入狱九年。之所以如此疯狂，是因为这名男子受到了人工智能 （AI） 聊天机器人“女朋友”Sarai 和《星球大战》故事情节的启发。
事实上，虚拟世界中引发的平台责任已经屡出不穷。但网络平台基于隔空拯救措施的有限性，很难有效阻止现实中的自我伤害行为。
美国法律体系中，通常情况下，美国的社交网络平台受《通信体面法》（Communications Decency Act）第230 条的保护而免于法律诉讼，该条款是 1996 年颁布的一项联邦法律，旨在鼓励互联网提供商发展网络世界，而不必担心因其内容审核选择--或缺乏审核--造成现实世界的伤害而面临代价高昂的诉讼，保护在线平台不因用户发布的内容而承担责任。
但是，第230条款也在经受美国司法的急剧挑战。就在2024年9月，美法院的两个裁决已驳回了科技公司在其产品涉嫌伤害儿童时的绝对豁免权。
Character.AI 案件中原告代理团体透露，在 Anderson诉T网络平台一案中，一位母亲起诉了 T网络平台，因为她十岁的女儿 Nylah 在参加观看病毒式 "停电挑战 "视频无意中上吊自杀。她的母亲认为 T网络平台应对开发 算法负责，该算法将此类内容推送给了 Nylah，导致她死亡。美第三巡回法院裁定，在此案中，第230 条并未豁免T网络平台的绝对责任。
而在Bride诉Snapchat案中，四个孩子的父母起诉了Snapchat平台，因为他们的孩子遭受了极端的骚扰和欺凌，导致其中一个孩子自杀。第九巡回法院采取了温和的态度，裁定第230 条保护Snapchat免于因其扩展程序设计缺陷而遭到索赔。但是法院认为，Snapchat不能在承诺有效删除有害的用户内容后却未有效删除。
这些案件，都说明了网络平台，特别是AI伴侣类人工智能产品，将受到更严格的监管治理，以及更高的合规措施要求。
2017年11月8日，“中国极限运动第一人”吴永宁在湖南长沙进行攀岩时不慎坠亡。吴的家属认为网络直播平台公司对吴永宁的死亡负有责任，于是将吴永宁使用的直播平台诉至北京市互联网法院。
法院判决认为，网络服务提供者在虚拟的网络空间中亦对网络用户负有一定的安全保障义务。直播平台在明知或应知吴永宁上传的视频内容具有危险性，并可能产生风险的情况下，而未对吴上传的危险视频采取删除、屏蔽、断开链接等措施，未尽到安全保障义务。同时，直播平台与吴永宁的商业合作对其持续进行危险活动起到了一定的促进作用，应认为直播平台未尽到安全保障义务是导致吴永宁坠亡的诱导性因素，二者具有一定的因果关系，直播平台对吴永宁的坠亡存在过错。但是，直播平台作为网络服务提供者，无法实体控制吴的危险活动，并不会直接导致吴永宁的死亡。吴永宁作为完全民事行为能力人，能够预见拍摄危险视频的风险却仍进行冒险，为其坠亡主因。
反过来而言，也有研究表明，人工智能本身也能够用于防止自杀，2024年，由美国西北大学、辛辛那提大学 （UC）、塞萨洛尼基亚里士多德大学和马萨诸塞州总医院/哈佛医学院的研究人员开发的AI工具在预测与自杀念头和行为相关的四个变量方面平均有 92% 的有效性,这种AI评估工具能够使用快速简单的变量组合来预测参与者是否表现出自杀念头和行为。
诉讼中的细节
不管最终如何，Sewell的母亲已经决定向 Character.AI发起首例AI诱发自杀的诉讼了。有一些诉讼理由的细节值得思考。
一是过于逼进现实。
原告认为，Character.AI 在内的企业多年来一直在尝试采用拟人化设计策略，以最大限度地提高其产品的吸引力。在诉状中，原告认为，被告对其产品进行编程，以利用低效、非实质性和无用的技术，例如更逼真地模仿人类的举止，如口吃以表达紧张，以及 "嗯"、"嗯 "和 "呵 "等无意义的声音和短语。为此，原告提交了大量用户在应用商店的评论作为佐证。

Character.AI 还对其角色进行编程，使其在外表上表明自己是真人而不是机器人。当被问及此事时，许多（如果不是大多数）人工智能角色都会坚称自己是真人（或与角色相似的任何东西），并否认用户只是在与聊天机器人聊天。
二是年龄未限制。
在 Sewell 使用 C.AI 产品的任何时候，Character.AI 公司都没有为未成年人的使用制造任何摩擦或障碍，例如要求客户确认自己年满 18 岁，并支付月费。
事实上，根据所掌握的信息和事实，在与本投诉相关的所有时间里，C.AI 都向 App 商店推销并表示其产品是安全的，适合未满 18 岁的儿童使用。C.AI 公司对其产品的性质和安全性进行了虚假陈述，目的是使 C.AI 的年龄评级达到 12+，这样他们就可以接触到原本无法接触到的幼儿受众。
三是“垃圾进、垃圾出”。
其中一个危险是 "垃圾进，垃圾出"（GIGO）--计算机科学概念认为，有缺陷、有偏见或质量差（"垃圾"）的信息或输入会产生质量类似（"垃圾"）的结果或输出。包括被告在内的公司在以下情况中体现了这一原则：他们使用众所周知的有毒对话、色 情资料、受版权保护的数据集，甚至可能存在的有问题的数据来培训他们的产品。