韩国基于企业创新提出了安全利用AI数据的AI隐私风险管理框架

韩国个人信息保护委员会（PIPC）于2024年12月19日发布的《安全利用人工智能(AI)数据的AI隐私风险管理框架》（以下简称"框架"）标志着韩国在AI治理领域迈出了重要一步。这一模型不仅体现了韩国在全球AI隐私保护中的领导地位，更凸显了其在平衡创新与隐私保护方面的独特思路。
AI隐私风险管理框架精析
该框架的核心在于其灵活性和针对性。它并非一刀切的强制性规定，而是为AI企业提供了一个自主风险管理的框架。这种方法充分考虑到了AI技术的多样性和复杂性，允许企业根据自身AI系统的具体类型和应用场景来识别、评估和缓解隐私风险。这种灵活的监管方式既能促进创新，又能确保隐私保护，堪称一种平衡之道。
框架特别强调了AI生命周期各阶段的风险管理，尤其是区分了生成式AI和判别式AI的不同风险特征。这种细致入微的分类方法显示出韩国监管机构对AI技术本质的深刻理解，有助于企业更精准地识别和应对潜在风险。
值得注意的是，框架提出了"AI隐私红队"的概念，建议企业组建专门团队来测试和应对隐私侵犯类型。这种创新性的做法借鉴了网络安全领域的实践，将其应用于隐私保护，体现了韩国在AI治理方面的前瞻性思维。
框架还强调了首席隐私官（CPO）在AI隐私治理中的核心作用，这反映了韩国对企业内部治理结构在隐私保护中重要性的认识。通过明确CPO的职责，模型有助于将隐私保护意识深入企业决策的各个层面。
此外，框架提出的"个人信息安心区域"概念也值得关注。这一创新机制为企业提供了一个安全的环境来测试和验证新的AI技术，既能促进创新，又能最大限度地降低对实际用户隐私的潜在风险。
然而，框架也面临一些挑战。例如，如何在实践中平衡技术创新与隐私保护，如何确保企业真正落实这些指导原则，以及如何与国际标准协调一致等，都是需要进一步探索的问题。
总的来说，这一框架代表了韩国在AI治理领域的重要尝试，体现了其在全球AI隐私保护中的独特定位。它不仅为韩国企业提供了清晰的指导，也为全球其他国家在制定AI隐私保护政策时提供了有益的参考。随着AI技术的不断发展，这一模型也将面临持续更新和完善的需求，以应对未来可能出现的新挑战。
全文翻译
为建立国民可信人工智能时代，提出AI隐私风险管理框架
个人信息保护委员会公开「为安全的人工智能（AI）和数据利用而设的AI隐私风险管理模型」
根据AI的类型、用例等具体情境，支持AI企业自主管理隐私风险
当开发或提供人工智能（AI）模型和系统时，政府层面提出了一个能够系统管理隐私风险的模型。
个人信息保护委员会（主席高学洙，以下简称「个人信息委」）公开了「为安全的人工智能（AI）和数据利用而设的AI隐私风险管理模型」（以下简称「风险管理模型」）。
该风险管理模型系统地包含了贯穿AI生命周期的隐私风险管理方向和原则、风险类型、缓解措施。
在AI时代，数据处理方式不仅引发了个人信息泄露等典型隐私风险，还因深度伪造（deepfake）导致人格权侵犯等新风险。恰当地管理这些风险对于保护信息主体至关重要，同时也是实现可持续、可信AI的必要条件，并且需要基于对风险的系统理解，采取成比例、合理的缓解措施。
因此，近期国内外政府部门、学界和研究界都在进行关于AI整体风险的研究，并制定风险管理框架，但目前仍处于初期阶段。此外，在隐私风险方面，实务一线缺乏可供参考的整理资料。
鉴于此，个人信息委从去年12月开始，以「人工智能（AI）隐私民官政策协商会*」风险评估分科（第2分科）的讨论为中心，制定了风险管理模型。该风险管理模型汇集了国内外学界、政府、研究机构等在AI数据处理特性、隐私风险类型、风险缓解措施及管理体系、企业案例等方面的讨论和共识，作为指导资料。本指导手册中提出的各项具体措施并非必须执行。
风险管理框架的主要内容
风险管理框架的主要内容如下：
1. AI隐私风险管理程序
首先，AI隐私风险管理程序。AI被用于各种不同的情境和目的，因此数据需求（类型、形式、规模等）和处理方式各不相同。因此，首先需要:①确定AI的具体类型和用例，作为确定和管理风险性质的起点。在此基础上，根据AI类型和用例，分别②识别具体风险，并进行③定性和定量的风险测量，包括风险发生的概率、严重性、优先级、可接受性等。之后，④制定与风险成比例的安全措施，从而系统地管理风险。
这种风险管理应从个人信息保护设计（Privacy by Design, PbD）的角度，在AI模型和系统的规划和开发阶段就开始，以实现风险的早期发现和缓解，并建议随着系统升级等环境变化而定期、反复进行。
2.AI隐私风险类型
接下来，以隐私为背景，举例说明了AI风险类型。通过国内外文献调查、企业访谈等方式，重点讨论了由于AI技术的独特特性和功能以及数据需求而新出现的个人信息主体权利侵犯，以及违反个人信息保护法的风险。
具体来说，根据AI的生命周期（life-cycle），区分了在AI模型和系统的规划和开发阶段以及服务提供阶段出现的风险，并通过区分生成式AI和判别式AI，增加了根据AI用例和类型的具体性。

3.AI隐私风险的缓解措施
此外，还介绍了管理性和技术性安全措施，以减轻风险。然而，并非所有缓解措施都是必须采取的，而是根据具体识别和测量风险的结果，指导如何准备和实施最佳的安全措施组合。
首先，管理性安全措施包括：
训练数据来源和历史管理；
制定允许的使用政策；
通过AI隐私红队测试个人信息侵犯类型并采取措施；
制定信息主体对不当回答等的报告方案等；
此外，如果训练数据可能包含敏感信息或包含大量个人信息，建议进行个人信息影响评估。
其次，技术性安全措施包括：
AI训练数据预处理（删除不必要的数据、去标识化、匿名化、去重等）；
通过AI模型微调添加安全护栏应用输入/输出过滤；
应用差分隐私技术等。
同时，考虑到韩国语言模型的特殊性，个人信息委进行了针对韩国语言模型隐私风险缓解技术效果分析的政策研究，以在相关研究不足的情况下，基于科学实证制定政策。政策研究的主要内容可在风险管理模型的附录中查阅。
4. AI隐私风险管理体系
最后，提出了风险管理体系。在AI环境中，个人信息保护、AI治理、网络安全、安全和信任等不同的数字治理要素相互关联。因此，需要重新构建传统的隐私治理，并强调个人信息保护负责人（CPO）的主导作用。此外，建议组建能够进行多角度、专业性风险评估的负责组织，并制定确保系统性风险管理的政策。
同时，AI企业等应在AI价值链内明确自身机构的义务和责任范围，并具体化与其他企业、机构的合作体系，从而持续应对隐私风险的变化，并有效保障信息主体的权利行使。
个人信息委计划今后根据AI技术的发展、个人信息相关法律法规的制定和修订、全球趋势等因素，持续更新风险管理模型。此外，针对小型组织、初创企业以及AI开发类型（微调、检索增强RAG等）等具体对象和领域的专门指导资料也将尽快具体化。
此外，个人信息委还将通过事先审查制度、监管沙盒、个人信息安心区域等创新支持制度，与人工智能（AI）企业保持密切沟通，监测技术发展态势和企业困难，并基于积累的案例和经验，推进符合AI时代的个人信息保护法的修订工作。
此次主导风险管理模型讨论的首尔大学教授朴尚哲（民官政策协商会风险评估分科长）表示：「全球AI技术迅速发展与现有个人信息保护法规之间存在差距和紧张关系，现在是需要应对的时候了。」他还表示，「与各界专家共同提出一个灵活且系统的隐私风险管理体系，符合全球AI治理趋势和实证研究成果，这一点具有重要意义。」
民官政策协商会共同主席、LG AI研究所所长裴京勋表示：「在韩国，AI隐私领域国际讨论活跃，率先开发风险管理模型是一项有意义的成果。」他还请求个人信息委「持续支持AI企业，使他们能够在创新和隐私保护方面同时取得成功。」
个人信息委委员长高学洙表示：「在AI领域，个人信息和非个人信息被综合利用，技术不断发展，不确定性很高，因此比起一刀切的监管，更需要通过合理、成比例的管理来全面最小化风险。」他还表示，「希望风险管理模型能帮助AI企业理解和系统地管理隐私风险。」
附件1 AI隐私风险类型及缓解措施示意图

注： *由学界、法律界、产业界、民间团体等人工智能（AI）领域下一代专家32人组成，运营3个分科（数据处理标准、风险评估、透明度保障）。
附件2 AI服务应用者使用基础模型的指南
模型卡等：
通过模型卡等手段，检查基础模型开发者和提供者所采取的风险缓解措施，努力使用经过安全验证的基础模型。
微调数据：
为了微调，对额外投入的数据进行风险管理，并根据服务的具体用途调整风险缓解措施。
风险公开：
如果基础模型的开发者和提供者在发布后发现新的风险，应考虑并实施额外的风险缓解措施，并保持模型版本的最新更新。
个人信息泄露：
如果在使用基础模型的过程中发生个人信息泄露，且与风险相关，需要基础模型开发者和提供者采取措施时，应共享相关事实并寻求合作。
信息主体的权利：
在服务启动后，如果信息主体行使删除或更正要求等权利，服务提供者应采取优先措施，并尽可能将相关要求传达给基础模型的开发者和提供者。