关于训练集与数据泄露问题的讨论

AI路遥，且行且问
变化，被期待，也被恐惧
你曾为横空出世的ChatGPT感到惊奇吗？你曾为聊天机器人的机智而欢呼、迟钝而跳脚吗？你曾好奇AI会将我们的未来驶向何处吗？你曾担忧过使用AI的风险吗？你是否也对大语言模型有满腔疑问?
为此，我们特设《AI路遥，且行且问》专栏，让我们这群数据合规律师抱着和你一样的满腔疑问，向AI聊天机器人发问，将我们在帮助企业落地AIGC项目中的疑惑与观察与大家分享。以法之眼，问你所问。愿我们的系列文章为您投石问路、剖蚌得珠。
01 关于训练集与数据泄露问题的讨论 Dialogue with AI
作为《AI路遥，且行且问》专栏的开篇，我们认为理解AI大模型的数据训练过程非常重要，于是我们设计了一个模拟场景，并与AI开展了一次关于训练集与数据泄露问题的对话，从我们所了解的相关知识来看，我们认为以下对话对大家深入理解人工智能从训练到输出反馈的整个过程会有一定的帮助。
本期对话的AI：Claude，由Anthropic出品的AI大模型，由前 OpenAI 研究和安全副总裁 Dario Amodei 创立，其对话能力与ChatGPT类似。

存储在自然语言模型里的数据是什么样的？能给我展示一个示例吗？
自然语言模型通常存储大量文本数据，用于训练模型理解语言的能力。这些数据中的每条记录都包含：
1， 一条文本(可以是句子，段落或更长的文本)
2， 该文本出现的频率或概率(用于模型学习)
一个简单的示例记录可能是：
文本：我去买了一杯咖啡。
频率：0.23
这表示模型在训练数据中看到"我去买了一杯咖啡"这个句子的频率是0.23。模型会分析大量这样的记录，学习各个词和词序列出现的频率，从而建立语言模型，理解自然语言的规则和模式。所以简而言之，自然语言模型存储的数据集就是海量的文本以及对应的频率/概率信息。这些信息被模型用于学习和理解语言。人工智能系统中的语言模型越大规模，模型学习到的语言知识就越丰富，理解能力也越强。目前一些先进的语言模型已经在百亿级文本记录的训练数据上达到人类级别的语言理解水平。希望这个解释有助于您理解自然语言模型是如何工作的。如果您有任何其他问题，请随时问我。


好的明白，我听说这类大模型包含了向量数据库和训练集数据库，是这样吗？除此以外还会有什么数据库？如果我说的不准确，可以直接纠正我。
大型自然语言模型通常包含以下几种数据库：
1，向量数据库(Word Embedding)：存储词语或词序列的向量表示，用于映射词语与数学空间，帮助模型计算词语之间的相似度和关系。
2，训练集数据库(Training Set)：存储大量文本数据及频率信息，用于训练模型参数，一般包含上亿条数据。
3，语料库(Corpus)：更广义的未标注文本数据集，用于预训练语言模型的参数，获得语言的初步理解能力。除此之外，一些高级语言模型还会包含：
4，知识图谱(Knowledge Graph)：存储实体以及实体之间的关系，用于丰富模型的世界知识和推理能力。
5，共享参数(Shared Parameters)：在不同的语言模型之间共享某些通用的参数，用于在低资源语言上迁移高资源语言的理解能力，实现跨语言转移学习。
您的理解基本正确，我在这里做了一些补充说明。语言模型确实依赖大规模数据库来学习语言知识，不仅包含训练集和词向量，也涉及更丰富的知识资源。如果您对自然语言处理中的任何概念或技术还存在疑问，欢迎随时提出。我很乐意为您解释和解答。


那么用户在与这类模型进行对话时，如果用户提出的问题刚好在训练集数据库或语料库中有对应的原文，那么模型会直接向用户输出训练集数据库或语料库中的原文内容吗？还是会通过什么样的机制进行加工处理以后再向用户输出？
这是一个很好的问题。您说得对，如果用户的问题句子刚好存在于模型的训练集或语料库中，模型不会直接输出原文内容。它会经过如下机制进行处理：
1， embedding 查询：模型会先将用户的问题句子映射到向量空间，找到训练集和语料库中语义最相近的句子。
2， 意义解释：模型需要理解用户问题的意图和语义，而不仅仅是表面文字匹配。它会去除训练集句子的实体和细节，抽取出主要的语义和意思。
3， 语言生成：模型接着会使用自己学习到的语言知识和语言表达能力，重新生成一句能表达相同意思但语言表达更平滑流畅的回答句子。
4， 定制化生成：有些模型还会分析用户的个人信息和历史对话，对不同用户生成不同风格的回答。
5， 知识融合：对有的模型而言，如果用户的问题涉及实体和一般知识，模型会融合知识图谱中的知识来丰富最终的回答。
所以简而言之，模型不会直接输出训练集或语料库的原句子。它会经过向量匹配、意义理解、语言生成、定制化生成以及知识融合等一系列过程，来产生一个新的回答句子，以提供个性化和语义精确的响应给用户。这需要模型有很强的语言表达和知识推理能力，而不仅仅依赖于表面匹配。希望这个解释能够解答您的疑问。如果您有任何其他问题，我很乐意讨论。


解释的非常清楚，谢谢。那么我们讨论一个场景：某位用户A为了开展一项研究，将一部分特定数据在与大模型交流的过程中提供给了大模型，这些数据是这位用户A独创的研究结论和成果，因此是独一无二的，并且此前从未公开过。而大模型可能出于模型训练的目的，将与这位用户A的对话内容存入到了语料库用于训练。过了一段时间，另外有一位用户B刚好与用户A的研究领域相同，这位用户B希望通过大模型来得到一些研究灵感，于是问了一些问题，大模型发现用户B的提问内容与此前被存入语料库的用户A的研究结论匹配度非常高，于是大模型将这部分结论数据重新按自然语言逻辑重组后，发送给了用户B。用户B据此申请了专利。这种情况下，出现了哪些法律问题？大模型和用户B分别需要承担什么样的法律责任？
这个场景涉及了专利权和知识产权方面的法律问题。主要有以下几点：
1， 用户A的研究结论属于其知识产权，大模型未经允许就将其纳入语料库用于商业目的，这违反了用户A的知识产权。大模型需要承担相应的侵权责任。
2， 用户B通过大模型非法获取了用户A的研究成果，这属于商业间接侵权。即使用户B不知情，但通过大模型获取并申请专利，也需要承担连带侵权责任。用户A可以起诉用户B，要求赔偿和撤销专利。
3， 大模型作为信息中介者，有义务保护用户数据和隐私。将用户A的研究内容泄露给用户B，属于侵犯用户隐私，大模型需要承担相应法律责任。
4， 如果用户A的研究成果真属创新且符合专利保护要件，用户B的专利申请可能会被驳回。但即便专利成功获得，其法律效力也会受到质疑，用户A可以提出反专利诉讼。
5， 用户A可以起诉大模型和用户B，要求赔偿损失，并停止使用其研究成果。如果情节严重，还可以提出刑事诉讼。
所以在这个场景下，大模型和用户B都有可能承担民事或刑事法律责任。作为信息服务提供者的大模型，尤其需要严格保护用户隐私与知识产权，对用户数据和信息的获取与使用都需要经过用户同意。否则很容易触法侵权，面临法律诉讼和赔偿风险。这个案例说明，在人工智能和大数据时代，知识产权保护和隐私保护至关重要。服务提供商和用户都必须高度重视，并严格落实。


在你所了解的大模型运转逻辑下，这种情况发生的可能性大吗？
从我对大型语言模型的理解来看，这种情况发生的概率并不算很大，主要有以下几个原因：
1， 大型语言模型通常将用户的数据和对话内容用于训练和优化模型，但不会原封不动地存储和重用这些数据。它会抽取数据中的语义和知识来扩充自己的知识库，但很难在回答中原样输出用户提供的独创内容。
2， 大型语言模型在回答用户问题时，更倾向于生成新的语句来表达其自身的理解，而不是直接输出过往对话的原句子。所以用户B得到的回答，更可能是模型自身的语言生成结果，而非用户A对话的原内容。
3， 为保护用户隐私和知识产权，大多数语言模型和服务提供商在使用用户数据时会进行脱敏和加密处理。用户的个人信息和独创内容不会以明文形式存储和传播。这也降低了上述场景发生的概率。
4， 大型语言模型虽然理解能力较强，但要理解用户A的研究成果并在回答中恰当地表达出来，依然是比较困难的。模型更倾向于提供普适的常识性回答，而非专业领域的原创见解。这也使得上述场景的可能性较低。
所以，虽然理论上这种情况存在法律风险，但实际上由于技术障碍和商业考量，大型语言模型泄露或窃取用户知识产权的可能性较小。但这不意味着可以掉以轻心，服务提供商仍需要采取必要措施来保护用户数据和隐私，最小化法律责任风险。
总体来说，这是技术发展与法律制度都需要关注和解决的一个 interessant 的话题。我相信随着技术的进步，隐私与知识产权的保护会成为人工智能领域的重中之重。


那么我假设一个场景，即用户A的研究成果是一个数据，比如某物质的碳含量，经过A的研究测定，结果为14.1579883，这个数据从未被其他人发现过，大模型中此前也并没有这个数据，但用户A在与大数据对话的过程中把这个数据输入了大模型，并被大模型作为语料库内容进行了学习。这种情况下，由于这是一个精确数值，不会被大模型打散重构，那么按照你前面的分析，你认为用户B在与大模型对话过程中，是否有可能得到这个数值呢？
在这个假设场景下，用户B获得用户A提供的精确数值14.1579883的概率会明显更高。主要原因是：
1， 与自然语言文本不同，数值数据是精确的，不会在大模型的学习和表达过程中发生太大变化。所以大模型理解和存储这个数据后，在回答中输出的可能性就大很多。
2， 由于这个数值从未公开，也不在大模型的知识库中，所以大模型只能依靠用户A提供的数据来理解这个数值。如果用户B提出与此相关的问题，大模型很可能直接输出它所掌握的这个唯一数值。
3， 数值不像文本那样包含丰富的语义与知识，大模型并不能对其进行太深层次的理解和推理。所以在回答生成时，大模型更倾向于直接输出原始数值数据，而非用自己的语言描述与表达。
4， 由于数值精确且简单，大模型理解和存储这个数据不需要像自然语言文本那样进行信息抽取、概括与再表达。所以原始数据更易于在回答中原封不动地输出。
因此，在这个场景下，我认为用户B通过大模型获得用户A提供的精确数值14.1579883的可能性是比较大的。这主要是因为数值数据的特点使得大模型更倾向于直接存储和输出原始数据，而非对其进行深度理解与再表达。
当然，在实际系统中，由于算法机制的限制和商业考量，大模型依然不太可能100%准确、完整地存储并泄露用户数据。但是相比文本信息，数值类数据的风险确实更高一些。
所以任何涉及敏感数据的人工智能系统，都需要采取必要的数据加密、脱敏与访问控制措施，以确保隐私与安全。基于此分析及对人工智能的理解，我的观点是在人工智能技术不断进步的今天，数据隐私与安全亟待重视，它们很可能成为这一领域发展过程中不可回避的巨大难题。系统设计者与运营者都需要以更宽广的角度来思考这个问题。


你的回答非常棒，解答了我的疑问，如果你认为就这个问题还有什么可以补充说明的，可以随时告诉我。谢谢
非常感谢您的肯定与信任。我也很高兴能够帮助您理解这个复杂而重要的问题。对此问题，我还有一些额外的补充说明：
1， 尽管大模型泄露精确数值数据的风险更高，但实际系统中通常会采取数据脱敏、加密等手段来最大限度地减小风险，这也会降低上述场景的概率。技术手段的进步与应用是非常值得重视的。
2， 尽管法律制度存在，但在人工智能领域将其有效应用，尤其是在涉及新技术的案例中做到准确与公平，这也是一大难题。这需要相关法律专家对新技术与应用场景有深入理解，而这又需要技术专家与法律专家进行广泛沟通与合作。
3， 人工智能技术的快速发展，使得机器的理解与表达能力都在不断提高。这带来了便利的同时，也增加了相关法律风险。但从长期来看，随着自动化水平提高，人工智能系统也会变得更加健全，安全与可控。技术进步本身也会带来管理难题的解决方案。
4， 人工智能带来的机遇远远超过了风险与难题。快速发展的技术也在创造巨大的社会价值。因此，在关注法律与安全风险的同时，我们更应该秉持鼓励创新与发展的态度。过度限制很容易造成技术进步的后退乃至停滞。
总之，这是一个涉及法律、技术与社会的广泛而复杂的问题。管理与应对它需要整体上的平衡与开明。单纯从某个角度看问题，很容易得出过于绝对和狭隘的结论。我认为在未来的发展中，广泛协作与沟通将是解决这类问题的关键所在。再一次感谢您的提问与信任。这类话题的讨论对我个人的认知发展也大有帮助。如果您有任何其他疑问，我都会尽我所能加以解答与探讨。