大模型知识蒸馏的法律风险与合规思路

前言
知识蒸馏（knowledge distillation，KD）是一种旨在实现模型轻量化、知识迁移的机器学习技术。最早由深度学习领域的先驱Geoffrey Hinton及其团队在2015年提出，其核心思想是通过迁移大型复杂模型（教师模型）的“知识”来训练小型轻量模型（学生模型），从而实现模型压缩或性能提升。知识蒸馏的一般性技术路径就是通过调整温度参数、损失函数权重等超参数，将教师模型对于样本的生成的概率分布作为软标签，引导学生模型模仿教师模型的样本生成概率，不断调节自身，进而实现以轻量化的信息体量尽可能接近教师模型的功能。
随着人工智能在自然语言（Natural Language Processing，NLP）、计算机视觉（Computer Vision，CV）领域的不断发展，大模型训练的成本和需要的资源也水涨船高。有些开发者会选择通过蒸馏成熟大模型的知识，降低训练周期和成本或对模型进行优化，大模型的知识蒸馏重点则从单纯的架构压缩转移到知识的启发和转移上。例如用大模型的输出作为样本数据，训练新模型。这种类型的蒸馏与传统意义上的蒸馏在技术上的一般性原理类似，但在合规维度上却不尽相同，尚有待进一步探明，本文将重点针对该类型的大模型知识蒸馏技术，分析其中的合规问题。
一、浅析知识蒸馏的实现路径
首先，要根据期望迁移的特定领域或者技能选择特定的教师大模型，例如针对快速掌握自然语言的对话处理、快速实现识别图像能力。接着选择合适的种子知识输入。种子知识一般指能够让教师大模型输出相关技能或领域知识的小型数据集或者特定的数据线索。将种子知识输入到教师大模型中，得到其生成的蒸馏知识，例如自然语言解释【1】、hidden features【2】、模型logits【3】还有问答对话等。最后针对特定的学习目标不断让学生模型学习教师模型传授的知识。
学生模型具体获取知识的方式包括标签化(依靠思维链指导标签生成)、匹配师生模型隐藏层的特征表示、扩展、数据监管等。蒸馏算法则大致包含监督微调、发散和相似性、强化学习和排名优化几类。此外，还涉及到提示词、多轮对话数据训练、检索增强生成(RAG)【4】等。
在实践中，要满足以上过程有多种方式，可以通过开源复现后进行知识蒸馏，也可以通过API接口连接到成熟大模型，输入相关信息并获得其输出实现。在深入了解蒸馏的实现路径后，不难感受到蒸馏成熟大模型的知识使新模型快速具备一些功能实现能力的确有“站在巨人肩膀”上的意味，但在技术发展的角度而言，选择用知识蒸馏进行优化和迭代是降低研发成本，促进技术进步的重要途径。如果所有大模型开发者都要从训练“识字”“说话”开始独立编写、训练，这是宽泛意义上的重复劳动。大模型的发展本身也是建立在众多人类知识、艺术等智力成果的基础上，在技术发展中讲先来后到并不利于科技进步。故而在实践中，类似形式的大模型知识蒸馏是否被允许也存在着不小的争议，以下是进一步的合规风险分析。
二、大模型蒸馏法律风险
（一）对开源大模型进行知识蒸馏的法律风险
针对开源大模型的知识蒸馏一般不会被认为存在严重法律风险，但要强调的是在我国的司法实践中，最高人民法院在多个案件中明确，GPL协议（General Public License）等开源协议属于著作权许可合同【5】，用户违反协议的行为构成侵权。开源并不等于无限制使用，在开源的基础上对模型进行知识蒸馏时可能存在对于衍生开发的限制。常见的开源协议包括MIT（麻省理工学院许可证）、Apache(Apache基金会协议)、GPL、和BSD等。根据对用户权利和义务的限制程度具体可以区分为宽松型协议（Permissive Licenses）、弱传染性协议、强传染性协议。目前，开源协议普遍不限制代码在商业软件中的运用，但较严格的协议如GPL和 LGPL，要求修改源码后不得选择闭源，GPL许可证要求修改后的软件必须以相同的许可证发布，并且如果修改了GPL下的源代码并发布，新增代码也必须使用此许可证。MIT、BSD、Apache2.0是相对宽松的协议。MIT基本没有对使用、修改和分发源代码做出限制，只需要在源码中包含版权信息即可。Apache2.0还提供了明确的专利保护（包含明确的专利授权条款）但存在使用原作者名义进行市场推广的限制。
（二）对闭源大模型进行知识蒸馏的法律风险
1.反不正当竞争与知识产权问题
根据《中华人民共和国反不正当竞争法》中对商业秘密的规定“本法所称的商业秘密，是指不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。”利用闭源大模型输出进行知识蒸馏可能涉嫌侵犯商业秘密。同时，使用API接口时也应注意接入后的利用行为。避免违反法律或扰乱市场竞争秩序，损害其他经营者或消费者的合法权益，落入第二条的一般性兜底规定和第十二条的网络不正当竞争行为兜底规定中。北京知识产权法院在（2016）京73民终588号判决【6】中确立的三重授权原则也证明获取数据的手段不规范，也可能存在相应的法律风险。《网络反不正当竞争暂行规定》第十九条也规定“经营者不得利用技术手段，非法获取、使用其他经营者合法持有的数据，妨碍、破坏其他经营者合法提供的网络产品或者服务的正常运行，扰乱市场公平竞争秩序”。规定要求非法获取使用数据并造成妨碍破坏正常运行扰乱市场竞争秩序。在闭源大模型知识蒸馏的讨论背景下，除明显的恶意攻击、套取数据信息的行为（如数据投毒、越狱攻击、提示词注入）如果大模型在用户协议中约定由用户保留输出数据的相关权益，使用这些数据训练新的大模型的行为是否构成非法使用？如果没有规定由用户保留数据权益，是否构成非法使用呢？此处尚存在争议和进一步讨论的空间。另外，论证行为违法的取证难度比较高，证明特定行为妨碍、破坏其他经营者合法提供的网络产品或者服务的正常运行，从API接入使用情况看也难以体现。所以，在模型安全维护的同时，应注意保留各类可能起到证明作用的数据信息。
目前，大多数模型开发技术以及知识蒸馏技术本身并不存在相应的知识产权限制，但是具体情形中，可能涉及对不同类型数据的获取、存储、利用活动，有关数据知识产权侵权风险还是存在的。若教师模型的训练数据集被认定为智力成果或为著作作品，即可能构成侵权。在未经授权的情况下对模型输入端数据进行特征提取或复制，是有可能侵犯相应的权利的。但就输出结果进行提取学习的角度而言，AI输出结果数据能否被认定为人的智力产出情况待定，从裁判规则梳理来看要求要高于人类创作标准。合法获取的输出结果如果存在数据本身涉及知识产权侵权的情况（如输出特定的IP形象或者小说原文），则应当在后续学生模型训练中注意规避侵权的输出结果，否则可能存在侵权的风险。
2.违约与侵权问题
针对闭源大模型进行知识蒸馏，其数据获取的违约风险主要是源于API接口的应用限制，使用特定模型的API接口应当符合应用要求。例如API服务协议与用户协议中对于使用的限制。目前国内的几大AI大模型中，腾讯元宝规定需开启“体验优化计划”才允许授权使用，可随时关闭；Kimi要求禁止商业化使用，不得开发竞争性产品；豆包不仅规定严禁擅自使用任何服务内容，并且规定对于输出内容，公司保留相关权益；通义千问规定法律允许范围内用户享有权利；DeepSeek则规定完全允许学术研究、衍生品开发、模型训练等广泛场景，并且规定输出内容为用户完全拥有。智谱清言的规定也是主要禁止商业使用。可见大模型企业对于自己模型的输出的利用在商业化使用和竞争开发上大多是有应用限制的。如前文所提，值得讨论的是，在完全符合用户协议的情形下，将大量获取的输出数据用于训练是否可以产生侵权责任，如何认定行为的违法性。笔者整体观点是，如果没有相应的法律文件、技术性标准规定出非法提取行为的类型，且提取行为并非技术攻击（如偏离攻击divergence attack【7】）时，不宜认定为产生侵权责任。同时，值得讨论的还有蒸馏的知识属于大模型的基础性功能，还是归属特定企业投入智力治理后的具有知识产权属性的数据。如果属于前者，可以考虑衔接训练数据的合理使用。而后者，则可能需要进一步讨论，有可能构成不正当竞争。与此类似的还有学生模型与教师模型功能的实质性相似程度，是否能够实际挤占其市场地位，学习数据的内容是代码还是参数，或者是数据等。
三、合规思路
由于目前大模型的众多问题仍存在争议，实践中的具体情况也相对复杂。故本文仅在作者思考基础上提供初步的建议，并非根据实务场景提供的专业法律建议，仅供读者参考。
（一）大模型知识蒸馏的合规思路
企业、开发者应注意审阅相应的API服务协议、用户协议、开源协议，注意其中的数据二次利用的限制或要求。确保获取数据的合规。同时建议对API输出数据进行去识别化或脱敏处理。例如对教师模型的输出结果进行泛化处理，例如多模型集成蒸馏或者添加噪声数据。同时，有关人员要注意强化自主研发过程的可溯证明。在研发过程中，对于学生模型的训练日志、数据清洗记录等证明独立优化工程和智力投入的证明注意留痕。同时注意数据处理和模型训练过程的透明度和可解释性合规问题。由于知识蒸馏后，知识内容转换为参数，成为模型不可或缺的一部分。因此，需要做好相关API调用、知识蒸馏量的存档，制定对应的侵权响应方案。
此外，企业、开发者还可将反不正当竞争对合同违约的抗辩，作为合规的防御性动作。从技术促进的角度看来，核心技术的独创性确存在较高的保护价值，但是在数据流通利用的角度而言，过度的竞争限制并不利于技术的进步和正常的市场竞争。《反不正当竞争法》（修订草案）中新增“优势地位”条款，可针对知识蒸馏行为提供行动依据。另外，建议对全流程数据的获取技术手段、数据权属进行记录和追踪，以便后续的证明。
（二）大模型反知识蒸馏的主要思路
企业或开发者若想要避免大模型被知识蒸馏，主要思路包括制定明确完善的用户协议、API服务协议、开源协议。企业考虑规避商业价值挤占时，可以选取相对严格的开源协议或，在用户协议与API服务协议中设置限制权属条款，例如限定输出数据的权益不外流到使用者。由于对商用或竞品训练使用的行为难以认定，同时数据训练的合理使用制度目前相对暧昧，建议直接通过限定数据权属的方式规避知识蒸馏（需要根据商业侵权责任具体判断）。
有关主体在具体的条款设置中，要合理设定模型输入、输出数据的权利归属与利用界限，除了针对是否允许数据获取、再利用的行为，可以明确化不可接受的技术获取手段，例如等套取训练数据的技术活动。针对重要的技术、核心数据结构及时进行权属确认并建立保护设计，还要注意搭建好模型的安保架构并对运行日志进行保留。
[注释]
【1】.natural language understanding，NLU，指计算机对自然语言文本进行分析处理从而理解该文本的过程、技术和方法-源于全国科学技术名词审定委员会。
【2】可以理解为教师模型中间层的表示。
【3】教师模型的未归一化的预测值。
【4】RAG是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。
【5】根据民法典第八百七十六条的规定，计算机软件著作权等知识产权的许可，参照第三节“技术转让合同和技术许可合同”的规定；《计算机软件保护条例》第十八条规定，著作权许可应当订立许可使用合同。由此可见，知识产权许可是一种合同行为。GPL所代表的开源协议本质上是著作权许可使用合同，复制权、发行权、修改权等被附条件地许可给不特定公众。
【6】法院认为“互联网中第三方应用通过Open API模式获取用户信息时，应坚持“用户授权”+“平台授权”+“用户授权（第三方）”的三重授权原则。本案淘某公司与微博平台公司通过Open API进行合作，未经微博用户的同意，且未取得微博的授权，获取并使用微博用户的职业信息、教育信息，侵犯了微博运营方的竞争优势，破坏了互联网行业的公平竞争秩序，构成《反不正当竞争法》第二条规定的不正当竞争行为。”
【7】偏离攻击（divergence attack）是一种针对大型语言模型的攻击方式。使用特定的命令提示，如重复某个词，使模型的注意力集中在特定主题或词汇上，这种攻击方式可以诱导模型疯狂输出其训练数据中的具体内容，甚至包括真实电邮地址和电话号码等敏感信息。