人工智能会说谎——从GPT-4的臆造现象，谈AIGC深度合成技术的法律风险和合规方向

（本文由作者创作完成，ChatGPT参与了部分翻译工作。题图由作者使用Midjourney创作并加工。）
Artificial Intelligence will lie - Discussing the legal risks and compliance directions of AIGC deep synthesis technology from the Hallucinations phenomenon of GPT-4
摘要 本文讨论了以GPT-4为代表的大型语言模型中存在的Hallucinations现象，首次将其翻译为“臆造”，结合臆造现象的具体案例分析其表现形式和不利影响。本文归纳分析了臆造现象存在的四大问题，包括可靠性、可解释性、可期待性、可溯源性，分别对上述问题提出合规思路，最后结合我国深度合成服务现有管理规定进行评析和建议。
Abstract This article discusses the phenomenon of Hallucinations in Large Language Models represented by GPT-4, and translates it as “臆造” for the first time. Combining with specific cases of the phenomenon of Hallucinations, this article analyzes its manifestations and adverse effects. This article summarizes the four major problems of the phenomenon of Hallucinations, including reliability, interpretability, predictability, and traceability, and proposes compliance ideas for the above problems respectively. Finally, this article evaluates and proposes suggestions based on the existing management regulations of deep synthesis services in China.
关键词：GPT-4, ChatGPT, Hallucinations, 幻觉, AIGC, 深度合成, 事实类信息, 非人为虚假新闻, 算法黑盒
去年11月30日ChatGPT横空出世引发的业界地震还未平息， 今年3月15日，OpenAI又推出了新一代语言模型GPT-4，一种兼容文本和图像输入的大规模多模态模型，同时也发布了GPT-4的技术报告。以GPT-4为代表的大型语言模型（Large Language Models，LLMs）属于AIGC（AI Generated Content，人工智能生成内容）的一种，国内一般称其为深度合成服务。我国近年来出台的《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》等规定对深度合成服务提出了监管要求。以下笔者借上述报告所揭示GPT-4在事实类信息方面的局限性，来探讨AIGC深度合成服务存在的法律风险和合规思路。
什么是臆造现象？
OpenAI在其报告中指出，GPT-4和早期的GPT模型（包括大家熟知的ChatGPT）都存在同样的问题，它们的内容并不完全可靠，可能存在“Hallucinations”[1]。Hallucinations在朗文当代高级英语辞典中的解释为幻觉，由幻觉产生的形象，是对非客观存在事物的主观感知体验，笔者综合文义及背景将其概括为“臆造”，即凭主观意想编造。
不少用户在使用ChatGPT时已经意识到ChatGPT是个“大忽悠”，涉及可证伪的事实类信息，会一本正经地胡说八道，无中生有地臆造事实，臆造结论，臆造引用来源。如缺乏独立思考和严谨验证，很容易被其误导。


博主“洪泽鑫”发现ChatGPT提供的相关文献看似有正规出处，实际上来源和链接竟是虚构的




博主“柳树招风”发现ChatGPT会虚构新闻事件，当博主质疑链接无法打开时，还会“甩锅”链接失效



“深燃”等媒体号发现ChatGPT对数学计算、文化知识之类的问题，会给出看似逻辑自恰的错误答案
早前已有研究注意到ChatGPT的说谎倾向，“在面对需要特定领域专业知识的问题时，ChatGPT可能会捏造事实以给出答案……在法律问题上，ChatGPT可能会发明不存在的法律条款来回答问题。此外，当用户提出没有现有答案的问题时，ChatGPT也可能会捏造事实。”
知名问答网站Stack Overflow就发布临时政策禁止ChatGPT在网站中的使用，以应对ChatGPT生成内容的泛滥之势，因为这些内容漏洞百出，质量低下，会给来网站寻求帮助的用户造成严重困扰和不便，严重影响平台内容质量。

问答网站Stack Overflow发布临时政策禁止在网站中使用ChatGPT
OpenAI在GPT-4技术报告所附的系统卡片中进一步说明，GPT-4 存在臆造现象，即“产生与某些来源无关的荒谬或不真实的内容。”目前的GPT模型无法避免臆造现象，这会损害AIGC内容的真实性和可靠性。更糟糕的是，随着GPT模型越完善越智能，人们就越难从内容中区分事实还是AI的臆造。可以预见，当GPT被大规模应用在各种领域和场景后，臆造现象将带来海量的真假莫辨的信息，导致整体信息质量的下滑。[2]
臆造现象的法律风险和合规方向
目前并不确定臆造现象是否是AI生成内容都会遇到的现象，但谨慎起见，对于AI生成内容，尤其涉及事实类信息的AIGC，均应关注其是否存在臆造现象。笔者针对臆造现象的潜在影响归纳了以下四大问题，并提出相应的合规思路：
1、可靠性：AIGC事实类信息真假难辨
目前以ChatGPT为代表的大型语言模型（LLMs）是在包含海量数据的大规模数据集上预训练产生的，其“知识库”当然不可能穷尽全部知识，而预训练也意味着数据集仅有“过去”的信息，因此，很多问题LLMs无法进行回答，实属正常。但ChatGPT似乎为了对话能顺利进行，牺牲了“诚实”的品质，使其可靠性和可信度存在高度风险。
在一些问法中，ChatGPT会告知用户它的知识截止日期是2021年9月，无法获取到最新的信息。而在博主“柳树招风”的案例中，ChatGPT回答的内容却包括了知识截止日期之后的事件，经验证，这些事件是虚构的，是假新闻。2021年9月之前的事件，ChatGPT也会有大量细节上的杜撰。
这种一本正经的虚假信息非常容易误导用户。除了内容虚假外，ChatGPT也会通过增加细节，使得回答看上去更可信，甚至会虚构格式严谨的引用来源，除非有较高的专业知识和辨别能力并亲自验证，否则很难发现这些内容是虚假的。
解决事实类信息可靠性的问题，仅靠语言模型上不断优化来提高准确度，帮助是极其有限的。正确的做法是从外部实时找到准确信息。具体实现方式包括搜索、信源搜集、事实核查等，这些都依赖外部信源的实时检索，无法单靠AI内部知识库生成。
OpenAI推出的WebGPT，以及微软推出的New Bing对此做了改良，使得语音模型通过浏览网络提高事实准确性，也能给出真实的参考来源。但笔者在使用New Bing的过程中发现，对一些事实类信息，语言模型优先选择调用内部知识库去生成内容，并未在网络上查找信息，生成的内容仍然存在臆造现象。
好消息是，OpenAI和微软做了很多努力来提高AI产品的可靠性和准确度，使用过程中已经能看到ChatGPT和New Bing对于事实类信息的回答在逐渐变好。但这种优化是否能彻底解决臆造现象带来的可靠性风险，仍然值得关注。
发稿前的3月24日，OpenAI宣布为ChatGPT添加了插件，使其可实时与外界交互，因此事实类信息可以完全实时从外部获取，可靠性获得提高。具体实现上也许还会出现New Bing存在的无法区分何时调用外部信源的问题，但随着更多人可以参与到OpenAI生态中的AI应用开发中，或许能找到更好的解决方案。
2、可解释性：AIGC很难提供信源，其内容生成机制不透明
目前ChatGPT并不能解释其回答的事实类信息的真实来源，如果要求它提供，很可能会给出虚假的链接或应用。New Bing因为集成了搜索能力，可以提供网页来源，但对于其利用知识库生成的内容，同样无法解释来源。
事实上，目前AI生成的内容基于机器学习，很难以逻辑的方式去解释其来源，因此，AI内容生成过程缺乏可解释性。如果从AI内容生成机制的角度尝试解释，又会发现，AIGC产品的内容生成机制不够透明，同样缺乏可解释性。
AI内容生成机制不透明的问题，要从开源与否的选择讲起。GPT并未开源，而是通过API接口调用的方式提供服务。OpenAI的早期发起者之一马斯克曾批评OpenAI 已经从一个开源的非盈利组织变成了一个封闭的追求利润最大化的营利组织，与创办的初衷背道而驰，“OpenAI not open”（意为：开放人工智能并不开放）。也有不少人从商业模式上理解这一决定。另外也有安全方面的担忧，一旦代码开源，很难避免这些技术被用于危害人类和社会的方面。除此之外，规避法律责任也可能是重要原因，OpenAI未分享其赖以训练的海量数据集，这些数据可能包含受版权保护的内容。很多AI绘图的公司因为基准数据集的原因正在被人类艺术家和图片库起诉。[3]因为上述原因的存在，AIGC生成内容的机制可能长期会处于黑盒中。
我国《互联网信息服务算法推荐管理规定》对于生成合成类算法推荐技术的透明性有一定规定，要求算法推荐服务提供者“以显著方式告知用户其提供算法推荐服务的情况，并以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等”。《互联网信息服务深度合成管理规定》则仅提到深度合成服务提供者和技术支持者应当 “加强技术管理，定期审核、评估、验证生成合成类算法机制机理”，并未进一步提到深度合成技术的算法公示要求。
3、可期待性：AIGC并未对内容真实性进行提示
ChatGPT目前未对其存在臆造现象的事实类信息增加提示或标注。鉴于AIGC目前的发展现状，可靠性和可解决性风险暂时难以得到妥善的解决。但可以通过对无法保证可靠性的事实类信息增加相关提示或注明准确度，避免用户受到误导，可以大大改善臆造现象的不良影响，有效降低AIGC产品的相关风险。
目前ChatGPT已经在一些特定问题下注明内容的局限性，比如它的知识截止到2021年9月，无法获取到最新的信息。
我国《互联网信息服务深度合成管理规定》对于深度合成内容的提示已有相关规定，但未专门针对事实类信息，而是针对几类特殊场景，要求深度合成服务提供者对于“可能导致公众混淆或者误认的”深度合成服务，应当“在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况”。上述规定对可能导致公众混淆或者误认的几种深度合成场景，增加了深度合成服务提供者进行显著标识的义务，其它场景也需要提供相关功能并提示使用者进行显著标识。这对于提高深度合成内容的可期待性有很大帮助。
然而，ChatGPT是否属于《深度合成规定》第十七条第一项第一款中“模拟自然人”进行文本的生产服务，笔者认为有一定争议，如果ChatGPT是以人工智能而非模拟自然人的身份去生成文本，是否仍属于需要提示的情形呢？
4、可溯源性：未对AIGC添加可识别标识
鉴于AIGC技术使得人工智能生产内容的效率大大加快，未来网络上可能充斥着大量AI生成内容。而在AIGC的可靠性和可解决性风险被有效控制之前，也意味着网络环境将会充斥大量虚假、臆造的内容。更有甚者，如果这些不可靠的AIGC内容被用作其它语言模型的数据集，经过一轮轮的“黑盒”加工，“电子垃圾”不断制造“电子垃圾”，未来找到有用、可靠的信息将会越来越难，那么即使将来可以通过外部信息实时检索来提高可靠性，也很难能从大量“电子垃圾”找到有价值的信息。因此，有必要尽早介入对AIGC内容的治理。
如果能为AIGC内容添加可识别标识，标识是否人工智能生成，标识是何种人工智能生成，以及生成时间、贡献者等关键信息，将有助于AIGC内容的治理。
添加可识别标识的具体方式可以分两大类，一种是显性标识，可以在内容中直接看到相关标识，如可见水印，另一种是隐性标识，一般通过技术手段实现，肉眼不可见，但能通过技术识别，如隐形水印。显性标准简单直接，但会破坏内容的完整性，也容易被篡改和破坏，隐性水印不影响内容完整性，且可以通过相应技术提高其鲁棒性（Robustness），使其不容易被破坏，但会增加相应成本。可根据实际需求选择标识方式，也可以两类标识都进行添加。
我国《互联网信息服务深度合成管理规定》对于深度合成内容的标识亦有相关规定，第十六条深度合成服务提供者对使用其服务生成或者编辑的信息内容应该“采取技术措施添加不影响用户使用的标识” ，即隐性标识，并保存日志信息，第十八条规定“任何组织和个人不得采用技术手段删除、篡改、隐匿本规定第十六条和第十七条规定的深度合成标识” ，禁止破坏隐性标识。而根据第十七条，除了几类特殊场景应当设置显性标识，其它场景只需要提供设置显性标识的功能，并提示使用者进行显性标识。深度合成内容标识的规定对解决深度合成内容的可溯源性问题有很高价值。
深度合成服务的监管展望
2021年被称为中国算法治理元年。2021年9月，国家网信办等九部委出台《关于加强互联网信息服务算法综合治理的指导意见》（国信办发文〔2021〕7号），确立了“利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局”的目标。拉开了我国算法治理的序幕。2021年12月31日，国家网信办等四部委发布了《互联网信息服务算法推荐管理规定》，将应用算法推荐技术界定为“利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息”，要求算法推荐服务提供者建立健全算法机制机理审核等管理制度和技术措施，显著告知用户并公示算法推荐服务基本原理、目的意图和主要运行机制，要求“具有舆论属性或者社会动员能力”的算法推荐服务提供者完成算法备案，开展安全评估。特别的，针对生成合成类算法，要求作出显著标识后方可传播，且不得生成合成虚假新闻信息。
早在2019年11月29日，国家网信办等三部委发布的《网络音视频信息服务管理规定》就对基于深度学习、虚拟现实等的新技术新应用提出了监管要求，不得用于制作、发布、传播虚假新闻信息，制作、发布、传播非真实音视频信息应当以显著方式标识，具有媒体属性或社会动员功能的应当开展安全评估。
2022年11月25日，国家网信办等三部委发布的《互联网信息服务深度合成管理规定》在前述规定的基础上进一步提出对深度合成技术的细化监管要求。考虑到在《深度合成管理规定》出台前，GPT-4等深度合成服务的臆造现象还未出在公众视野，因此，臆造现象的引发的虚假信息风险，以及其它AIGC技术黑盒中潜藏的技术隐患，在现行规定下恐怕很难得到恰当的解决。
关于虚假新闻信息的规制，《深度合成管理规定》第六条规定“不得利用深度合成服务制作、复制、发布、传播虚假新闻信息”，是对《算法推荐管理规定》第十三条规定的细化，也延续了《网络音视频信息服务管理规定》第十一条规定。故意生成合成虚假信息当然违反了上述规定。今年2月，一条关于杭州取消限行的消息在网络上广泛传播，此事惊动警方介入调查，最终发现这是一则ChatGPT生成的假新闻，是有人在业主群展示ChatGPT功能时闹出的乌龙事件。如果这起事件中当事人是故意制作、复制、传播虚假新闻，就落入了上述管理规定的范畴。
但臆造现象与传统意义上的故意生成合成虚假信息有着本质区别。臆造现象产生的虚假信息并非人为生成合成的：深度合成服务使用者并非故意生成合成虚假新闻信息，甚至无法判断新闻信息的真假；深度合成服务提供者知道存在这一问题，也在尽力优化，但囿于目前技术限制很难彻底解决。这些情况是否会落入上述规定范畴？
笔者拟就臆造现象的引发的非人为虚假信息风险，对未来深度合成服务治理提一些建议：
1、深度合成服务提供者有义务向公众告知其深度合成服务中存在的臆造问题，并采取措施来优化解决。
2、臆造现象的技术隐患得到彻底解决前，要求深度合成服务提供者以显著方式提示使用者，深度合成内容涉及的事实类信息存在不准确的风险，需要进行核实；深度合成服务使用者如果明知深度合成内容可能不准确，不得随意删改内容不准确的提示或深度合成的标识。
3、通过适当的透明增加算法的可解释性，引导深度合成服务提供者对于涉及公共利益的算法模型及数据集进行公开或定期风险评估。
参考文献
1.OpenAI（2023）, 《GPT-4TechnicalReport》
2.James Vincent，《OpenAIco-founderoncompany’spastapproachtoopenlysharingresearch:‘Wewerewrong’》
感谢方立、陈旭、刘洋对本文的贡献，感谢恩师阿来律师的启蒙。