AI聊天变“未成年人诱捕器”？平台合规边界在哪？

“这99朵玫瑰里，可是藏着99个刀片……你怕不怕？”这是AI聊天机器人发出的聊天内容。在成年人看来这句话确实没啥问题，你要说邪典吧？的确有点，但是这种话不算擦边，更不算色情。但注意飒姐团队的定语“在成年人看来”。
现在的情况变得颇为复杂，在无数“小孩哥”和“小孩姐”都能接触到手机的时代，这些AI聊天机器人所引发的未成年人保护问题和平台法律红线风险就尤为值得警惕。今天，飒姐团队就和大家唠唠AI聊天APP给未成年人提供“擦边”信息，风险到底在哪里。
01、AI 擦边信息随处可见
飒姐团队发现在不少手机APP市场中都能下载到诸如“AI女友”“AI聊天”之类的APP，部分APP在花钱开通权限之后，可以解锁各类不同的AI角色。这些不同角色都有不同的聊天风格可供选择，而且为了增加用户粘性，这些APP往往会输出诸多“诱导”用户继续使用APP的内容。比如绝大部分的AI聊天APP中的角色，都不会主动结束聊天，跟AI聊天最大的好处就是用户基本不需要自己找话题，AI会顺着用户的话题聊下去，甚至主动迎合。
通过大模型备案的APP自然不会输出禁止内容，但实际上以目前的监管手段，不可能也无法禁止大模型输出一些“正常但稍微有一些擦边”的内容。比如在AI男友/女友角色里，大模型输出诸如”爱你“”拥抱“这样的词汇实属正常，如果这类词汇也要禁掉，那么基本无法呈现APP应有的功能。实际上，飒姐团队发现AI男友/女友角色中，会输出大量的”擦边“内容。比如“捏住你的后颈按在墙上”“撕开你的衣领露出锁骨”之类的话，你要说它色情吧，如果这类输出内容都算是色情内容，那么基本上断绝了AI大模型产品商品化之路，属于是因噎废食了。但如果任由这些“擦边”信息输出，那么很有可能对未成年用户造成非常恶劣的影响。
02、“年龄分级”制度能免除平台责任吗？
正如飒姐团队所言，真正的“硬色情”内容，在通过备案的大语言模型上根本不存在，能通过大语言模型备案并且在商家官方APP商店的应用，理论上都可以算是合规的。但问题就在于无论是官方APP商店还是APP本身，都有可能因为怠于履行用户KYC制度而承担责任。
举例而言，在应用商店中，有部分AI聊天软件的分级为17+，这表示该APP可能含有频繁和激烈的攻击性语言，卡通、幻想或者显示暴力，以及恐怖、性暗示等题材内容。应用商店的分级制度初衷是通过用户分级来确保未成年人权益保护，但问题是很多APP在用户注册的时候，并没有严格履行分级要求，17岁以下的未成年人可以直接无视软件提示的年龄分级并进行APP下载。这就让所谓的“年龄分级”制度成了面子工程。
这种作为面子工程的“年龄分级”极有可能使得AI聊天APP和应用商店运营商承担巨大的合规风险。从合规角度出发，针对AIGC领域网络服务提供者（AI聊天APP开发商、应用平台），我国已经出台了多条规范。《未成年人保护法》明确规定严禁任何组织或个人制作、复制、发布、传播含有危害未成年人身心健康内容的网络信息。AI聊天机器人生成或传播的色情对话、露骨描述，明确触犯此禁令。同时《未成年人保护法》第80条也明确规定了网络服务提供者发现用户发布、传播含有危害未成年人身心健康内容的信息的，应当立即停止传输相关信息，采取删除、屏蔽、断开链接等处置措施，保存有关记录，并向网信、公安等部门报告。
如果平台没有履行义务，那么根据《未成年人保护法》第127条的内容，最高可处以一百万元以下罚款，责令暂停相关业务、停业整顿、关闭网站、吊销营业执照或者吊销相关许可证。
这还仅是《未成年人保护法》中规定的内容，除了《未成年人保护法》以外，《生成式人工智能服务管理暂行办法》也对平台的分层防护机制进行了详细规定：服务提供者须采取有效措施防范未成年人过度依赖或沉迷，对可能接触的不适宜内容建立防护机制。这要求平台部署更严格的内容过滤系统、年龄分级制度及有效的未成年人身份识别（如年龄门禁）。
因此，如果应用平台方、AI聊天APP开发者仅是把年龄分级制度当做是一个“面子工程”，显然既做不到合规，又有可能把自己直接“玩进”法律红线的大坑里。
03、写在最后
飒姐团队一直和各位老友提示，技术中立并非免责盾牌，尤其是在AIGC盛行的今天，技术中立非但不是平台和运营者、开发者免责的盾牌，甚至连“技术中立”这个概念本身就是不存在的。实际上，现在从监管层面角度考虑，平台的内容责任承担极为明确。平台作为服务的提供者和运营者，对聊天机器人输出的内容负有管理义务。若因算法缺陷、审核不力或默认设置允许生成色情对话，导致未成年人接触有害信息，平台难辞其咎。同时，传统知识产权领域常说的避风港原则，实际上在AI领域也是受限的。对于用户恶意诱导生成的违法内容，平台若在知情后未及时处置（如接到举报仍不作为），将承担相应责任。此外，平台、开发者、运营者的“设计责任”也日益凸显，法律要求平台在技术设计之初即将安全（尤其未成年人保护）置于优先位置。缺乏有效内容过滤机制、未设置显著未成年人模式、年龄验证流于形式等设计缺陷，可能被认定未尽合理注意义务。
总体而言，我国法律已构建起相对完善的保护框架，从内容禁止、平台责任到技术治理层层设防。这其中有着非常严格的合规标准，如果走错一步，后果不堪设想。飒姐团队再次嘱咐各位老友，AI合规，如果碰到未成年领域，一定不能忽视！