EDPB 107页的报告《AI隐私风险与缓解措施:LLM》全文翻译(三):手把手教会如何识别和评估AI隐私风险

来源:朱玲凤

文章摘要
写在前面的话又开新坑咯!EDPB于2025年4月10日发布了题为《AI隐私风险与缓解措施-大型语言模型(LLMs)》的报告,一份107页的报告看得我津津有味,技术与法律碰撞,很清晰!

写在前面的话


又开新坑咯!EDPB于2025年4月10日发布了题为《AI隐私风险与缓解措施-大型语言模型(LLMs)》的报告,一份107页的报告看得我津津有味,技术与法律碰撞,很清晰!给大家分部分送上译本。


第一篇:《LLM的技术原理》()。没有那么好读,用塔子老师做了一个视频课https://metaso.cn/s/oGZ0f3d


第二篇:《LLM中的数据流及其相关隐私风险》(),分别介绍了LLM即服务、部署“现成”LLM、自研LLM以及代理型AI的数据流、风险以及法律角色,清晰明了。 老规矩上塔子老师https://metaso.cn/s/nmXEbjX。


第三篇:《LLM系统的隐私和数据保护风险评估:识别和评估》,多表准确定义风险以及评估风险的大小。


4 数据保护和隐私风险评估:风险识别


风险评估通常是风险管理的第一阶段。它涉及风险分析,包括识别、估计和评估潜在风险。作为起点,风险分析需要仔细识别可能在特定场景中出现的风险。本节将探讨如何识别LLM系统中的隐私和数据保护风险。


识别风险时要考虑的标准


风险因素


为了帮助识别与 LLMs 使用相关的风险,我们可以采用各种风险因素。


风险因素是与不良结果概率更高的条件相关联的条件。它们可以帮助识别、评估和优先考虑潜在风险。例如,处理敏感数据和大规模数据处理是两个高风险水平的风险因素。在您自己的用例中认识到这些风险因素,可以帮助您识别相关潜在风险及其严重性。


风险因素是基于对法律工具(如GDPR、EUDPR、《欧盟基本权利宪章》)以及其他适用的隐私和数据保护指南内容的分析得出的。以下风险因素可以帮助我们在基于 LLM 的系统中识别数据保护和隐私的高级风险:


高级风险 / 重要关注点

适用性示例

处理目的敏感且具有重大影响
使用 LLM 决定或阻止个人行使基本权利,或影响其获得服务、合同的执行或履行,或获得金融服务等,是一个值得关注的问题,特别是如果这些决策将通过没有人工干预的自动化方式做出。错误的决策可能会对个人产生不利影响。
例如,部署 LLM 在没有人工监督的情况下决定信用评级或贷款批准,或者在没有适当保障措施的情况下自动化招聘、晋升或解雇决策,可能会对个人产生负面影响。
处理敏感数据
当 LLM 处理敏感数据,如特殊类别的数据、与刑事定罪和犯罪行为相关的个人数据、财务数据、行为数据、唯一标识符、位置数据等时,这是一个值得关注的问题。因为不当处理这些个人数据可能会对个人产生负面影响。
例如,使用基于 LLM 的系统分析患者记录、诊断或治疗计划,或与刑事定罪、法院记录或调查报告相关的数据。
大规模处理
处理大量个人数据是一个值得关注的原因,特别是如果这些个人数据是敏感的。数据量越大,一旦发生数据泄露或其他使个人面临风险的情况,影响越大。
例如,在大型电子商务平台上部署的 LLM 处理大量用户数据,或在社交媒体平台上使用的 LLM。
处理弱势个体的数据
这是一个值得关注的问题,因为弱势个体通常需要特别保护。未经适当保障措施处理其个人数据可能会导致其基本权利受到侵犯。一些弱势个体的例子包括儿童、老年人、患有精神疾病的人、残疾人、患者、面临社会排斥风险的人、寻求庇护者、获得社会服务的人、雇员等。
例如,当 LLM 系统在学校、社会服务机构、政府机构、雇主等领域使用时,基于LLM的系统平台用于评估学生表现并提供个性化学习建议,处理儿童数据。
数据质量低
输入数据和/或训练数据的质量低是一个值得关注的问题,可能会导致生成输出中的不准确,这可能会根据用例产生不同的不利影响。
LLM 高度依赖于用户提供的输入数据和模型训练所使用的数据的质量。训练数据中的任何不准确、偏差或不完整性都可能产生深远的影响,因为 LLM 根据其训练和输入数据中检测到的模式生成输出。风险程度取决于应用。在不太重要的用例(如内容生成)中,不准确可能影响较小。然而,在医疗、金融或公共政策等高风险场景中,即使是轻微的不准确也可能产生重大负面影响。
安全措施不足
缺乏足够的保障措施可能是数据泄露的原因。数据也可能在未经适当保护的情况下被传输到其他国家或组织。
例如,如果在保护用户输入数据和处理结果方面没有实施足够的保障措施,就可能出现这种情况。在某些 SaaS 解决方案中,数据被发送到其他国家/地区(这些国家/地区没有适当的数据保护法律)的服务器进行处理,这增加了隐私风险。

AI 风险的其他组成部分


AI 法将基本安全概念引入了 AI 系统的风险管理过程,反映了其作为产品安全法规的性质。理解这些概念对于启动与基于 LLM 的系统相关的风险评估至关重要。


关键术语(如危害、危害暴露、安全、威胁、漏洞)及其与基本权利的相互作用是评估 AI 风险的基础框架的组成部分。



危害(hazard)是指潜在的伤害来源,而危害暴露(hazard exposure)描述了个体或系统在危险情况下暴露于这种危害的条件或程度。安全代表了为最小化或减轻危害而实施的措施,确保系统按预期运行而不造成不适当的风险。威胁(Threats)是可能利用基于 LLM 的系统中的漏洞(vulnerabilities)的外部因素,这些漏洞是可能被利用以危及功能、安全或数据保护的弱点。AI 法案强调保护基本权利,包括隐私,以确保 AI 系统不会对个人产生不利影响。


当尝试识别基于 LLM 的系统的风险时,重要的是要考虑所有可能对隐私和数据保护产生影响的风险组成部分。隐私风险通常源于危害,或者源于系统中的漏洞,这些漏洞可能被外部或内部威胁利用。


预期目的和场景在风险识别中的重要性


根据 GDPR 的第90 条序言,理解场景至关重要:“考虑到处理的性质、范围、场景和目的以及风险的来源……”。


这是进行隐私风险评估的一个关键原则,因为它确保了在具体的处理活动和场景中评估对自然人权利和自由的风险。这与 AI 法中的“预期目的”概念密切相关,该概念强调需要定义和评估 AI 系统预期如何运行。


预期目的指的是 AI 系统设计的具体目的和场景,而场景包括系统运行的环境、用户群体和操作设置。理解这些维度至关重要,因为风险通常会在系统以未预期的方式使用或在引入不可预见漏洞的场景中产生。


通过明确定义预期目的,您可以评估设计和功能是否与预期应用一致。这也有助于识别系统的潜在滥用以及对特定用户群体的伤害。同样,理解更广泛的场景,包括用户人口统计学、语言、文化因素和商业模式,使您能够评估系统如何与其环境互动,以预测潜在问题。


威胁建模在隐私风险识别中的作用


鉴于与 AI 相关的广泛风险,方法论(如威胁建模)在系统识别隐私风险方面发挥着关键作用。这些方法论通常利用特定 AI 威胁、危害和漏洞的库,提供一种结构化的方法,以评估 AI 系统整个生命周期中的风险,包括系统预期和非预期使用所产生的风险。


威胁建模可以帮助识别潜在的攻击面、滥用案例和漏洞,使风险识别和缓解能够采取主动的方法。例如,通过识别数据流和系统依赖关系,威胁建模可以揭示可能并不立即明显的风险,如未经授权的数据访问。从威胁建模会议中识别出的威胁可以整合到 LLM 评估中,通过对抗性测试、红队测试或基于场景的评估系统地测试模型对威胁的反应。


监控和收集证据的重要性


为了有效管理 LLM 系统中的风险,评估必须基于强有力的证据。这包括从多个来源收集数据,以确保分析能够准确反映潜在危害和漏洞。部署后,监控数据(如日志和使用模式)可以提供关于系统实际使用情况的见解,并确定其是否与预期目的保持一致。在整个生命周期中,来自指标评估、测试、红队测试练习和外部审计的结果可以突出功能、偏差或性能问题的差距。此外,来自用户或举报人的反馈(包括投诉、报告或行为模式)为真实世界的风险和潜在改进领域提供了宝贵的视角。


将核心和增强型证据纳入其中,可确保对风险进行全面了解。核心证据包括现有系统特征和用户交互数据,而增强型证据可能涉及咨询专家、开展针对性研究或利用内容审核或技术评估系统输出。这种多方面方法不仅有助于识别风险,还为风险管理决策提供了记录依据。


LLM 系统中的隐私风险示例


LLM 可能会带来广泛的隐私和数据保护风险。这些风险源自多种因素,包括具体的应用场景、应用背景,以及在评估过程中识别的风险因素和证据。对于那些旨在负责任地采购、开发或部署基于 LLM 系统的组织来说,识别并应对这些风险至关重要。


下表根据其对提供者和部署者角色的适用性,对 LLM 系统的常见隐私风险进行了分类。表中的所有风险都应由提供者和部署者共同负责,但责任程度取决于对系统的控制程度(例如,提供者负责基础设施,部署者负责使用和配置)。


重要的是要考虑,根据不同的视角,风险可能会有所不同。例如,尽管提供者可能面临最小化数据存储的监管义务,但部署者必须评估将敏感信息委托给提供者所带来的风险。这些角色伴随着不同的责任,需要特定的风险管理策略。


提供者、部署者和采购团队必须共同应对这些风险。特别是采购环节,在弥合提供者和部署者责任方面发挥着关键作用,通过确保所选系统符合监管标准和组织的隐私要求。采购过程中的关键考虑因素包括评估提供者的政策,确保符合相关法规,并嵌入限制数据滥用和支持数据主体权利的条款。


使用 LLM 的部署者需要考虑与其特定用例和场景相关的风险。利用风险因素或评估标准有助于识别这些风险。例如,“数据质量低”这一标准本身就可以触发对可能导致危害的风险处理活动的识别。


LLM (大型语言模型)的提供者和开发者必须将风险管理作为一个迭代过程来实施,以识别和解决风险,认识到这些风险可以在开发生命周期的各个阶段出现,如前文所述。


下表提供的概述可以作为识别和分析 LLM 系统生命周期中隐私和数据保护风险的实用起点。该表提供了一个隐私风险的综合摘要,补充了在 “3. LLM 系统中的数据流和相关的隐私风险 ”部分中已提供的详细信息。


数据保护和隐私风险

风险描述

GDPR 潜在影响

示例

服务类型

提供者

部署者

1. 个人数据保护不足,最终可能导致数据泄露 未实施或实施不足的保护个人数据的保障措施 违反:第32 条(处理的安全性)、第5(1)(f) 条(完整性和保密性)以及第9 条(特殊类别的个人数据处理) 在用户输入或训练、推理和输出过程中泄露敏感数据。未经授权访问、数据传输过程中的加密不足、API 滥用、界面漏洞、匿名化或过滤技术不足、第三方暴露 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
2. 将训练数据错误分类为匿名的控制者,当其包含可识别信息时 控制者可能错误地假设训练数据是匿名的,未能对个人数据保护实施必要的保障措施 违反:第5(1)(a) 条(合法性、公平性和透明性)、第5(1)(b) 条(目的限制)、第25 条(数据保护设计和默认) 一个 LLM 在未经适当匿名化的用户日志上进行训练,通过模型推理攻击泄露可识别的用户信息。部署者发现其使用的第三方 LLM 是在未经适当匿名化的个人数据上训练的,而供应商未能实施适当的保障措施,使部署者面临合规风险 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
3.在训练集中非法处理个人数据 未经适当法律基础、保障措施或用户同意,个人数据被包含在训练数据集中 违反:第5(1)(a) 条(合法性、公平性和透明性)、第6(1) 条(处理的合法性)、第7 条(同意)、第5(1)(c) 条(数据最小化) 一家电子商务平台在未告知客户或获得其同意的情况下,使用客户购买历史来训练 LLM LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
4.在训练数据中非法处理特殊类别的个人数据以及与刑事定罪和犯罪行为相关的数据 训练数据集中包含敏感数据,例如健康或犯罪记录,而未满足 GDPR 对合法处理的例外情况 违反:第9(1) 条和第9(2) 条(特殊类别的个人数据)、第10 条(刑事定罪和犯罪行为的数据) 从未受保护的在线来源抓取的医疗记录被用于训练医疗聊天机器人,而未实施符合 GDPR 的保障措施 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
5.可能对数据主体产生不利影响,从而对基本权利产生负面影响 系统输出可能对个人产生不利影响 违反:第5(1)(d) 条(准确性)、第5(1)(a) 条(公平性)、第22 条(自动个体决策,包括画像)、第25 条(数据保护设计和默认) 一个系统提供的输出不准确或包含偏差,并且没有提供纠正错误的机制。LLM 的输出被用于做出自动决策,这些决策可能产生法律影响或对数据主体产生类似重大影响 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
6.对于可能对数据主体产生法律或重大影响的处理,未提供人工干预 在没有人类审查的情况下,做出对个人具有法律或重大影响的自动化决策,违反 GDPR 对人类监督的要求,或者是基于不适当的理由做出的 违反:第22(1) 条和第22(3) 条(自动化决策),第12 条(透明沟通) 一个聊天机器人根据用户提供的数据自动批准贷款申请,而没有涉及人类审核员 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
未实现数据主体其权利 无法完全或部分实现数据主体的权利 违反:第12 - 14 条(收集个人数据时提供的信息)、第16 条和第17 条(更正权和删除权)、第18 条(限制处理权)和第21 条(反对权) 数据主体要求更正或删除个人数据的请求无法完成。用户不了解提供者将如何使用、保留或共享其数据 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
个人数据的非法再利用 个人数据被用于不同的目的 违反:第5(1)(b) 条(目的限制)、第5(1)(a) 条(合法性、公平性和透明性)、第28(3)(a) 条和第29 条(在控制者或处理者的授权下处理) 提供者可能使用输入和/或输出数据来训练 LLM,而事先未达成正式协议 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
个人数据的非法无限期存储 输入和/或输出数据被存储的时间超过必要期限 违反:第5(1)(e) 条(存储限制)和第25 条(数据保护设计和默认) 系统可能不必要地存储与 LLM 过程无关的输入数据。在某些情况下,部署者可能比必要的时间更长地存储输出数据。提供者也可能存储日志数据以用于调试或模型改进 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM
个人数据的非法传输 数据在没有适当保护水平的国家/地区进行处理 违反:第44 条(一般传输原则)、第45 条(基于充分性决定的传输)、第46 条(受适当保障措施约束的传输) LLM 提供者可能在不提供足够保障措施的国家/地区处理数据 LLM 即服务、部署“现成”LLM、代理 LLM
违反数据最小化原则 处理个人数据用于训练模型的范围过大 违反:第5(1)(c) 条(数据最小化)、第6 条(处理的合法性)以及第25 条(数据保护设计和默认) LLM 需要大量数据进行训练。同样,部署者可能使用数据集对基于 LLM 的系统进行微调以满足其特定用例 LLM 即服务、部署“现成”LLM、自研 LLM、代理 LLM

在评估与 LLM 相关的风险时,必须考虑与 GDPR 原则相关的一些更广泛的问题,如合法性、公平性、透明度和问责制。除了隐私问题外,还必须解决与版权、过度依赖和操纵相关的问题。


合法性、透明度和公平性


透明度确保个人了解其数据的处理方式,而公平性要求以公正且不具欺骗性的方式处理数据,避免使用有害的、非法歧视性的或误导性的方法。然而,LLM 固有的不透明性常常对这些原则构成挑战。例如,用户可能难以理解 LLM 如何生成响应、如何优先处理输出或如何做出决策,这使得他们难以评估或质疑结果。


与透明度密切相关的原则是公平性,它强调了提供清晰、易懂且有意义的数据处理活动信息的重要性。根据 GDPR 第12 条至第14 条规定的透明度义务,需要详细说明自动化决策(包括画像)的逻辑、重要性和潜在后果。鉴于 LLM 的复杂性以及在开发过程中对数据的广泛使用,这一点尤其关键。对 GDPR 第14(5)(b) 条等例外情况的依赖严格限制在完全符合所有法律要求的情况下。


为了与这些原则保持一致,LLM 开发者必须积极监控输出,通过使用高质量且无偏见的训练数据来解决潜在的偏见问题,并提供关于系统决策过程的用户友好且易于理解的信息。这些步骤不仅确保了对 GDPR 的合规性,还维护了公平性和透明度,促进了对 AI 技术的信任,并保护了个人权利。


版权


使用网络爬取或公开可用数据进行训练的 LLM 通常包含受版权保护的材料,引发了对知识产权侵犯的担忧。此类模型生成的输出可能会无意中复制受保护的内容,为提供者和部署者带来法律风险。这些问题凸显了确保用于训练 LLM 的数据是合法收集和处理的,并且符合版权法的重要性。


过度依赖和操纵


过度依赖可能会削弱用户的自主性和问责制。LLM 可能会通过量身定制的建议或推断出的偏好无意中影响用户行为,从而降低自主性。用户可能会在金融建议或医疗决策等关键领域信任 LLM 生成的输出,而没有足够的理解或监督。这种过度依赖可能会掩盖系统中的错误或偏见,导致既不公平也不透明的决策。LLM 还可以创建逼真的虚假内容,如深度伪造,传播错误信息或操纵观点。


一些缓解策略包括要求对关键决策进行人工监督,促进数字素养,并确保输出被明确标记为 AI 生成的建议。


5 数据保护和隐私风险评估:风险估计与评估


从风险识别到风险评估


识别风险后,风险分析的下一步是估计和评估风险程度。这涉及根据其发生概率和潜在影响对风险进行分类和优先级排序。实际风险水平或分类将高度依赖于特定用例、场景、系统监控、模型评估结果以及受影响利益相关者。


在此阶段,风险被分析以更详细地了解其影响。此过程包括评估风险发生的概率、可能造成的危害以及使其成为可能的漏洞等因素。


与利益相关者合作在这一过程中发挥着重要作用,鉴于 AI 的多学科性质,来自技术、法律、伦理、安全和运营等多方面的输入对于全面的风险管理至关重要。


伦理矩阵可以作为识别哪些利益相关者可能直接受到基于 LLM 系统影响的有价值工具。根据其参与程度和潜在受影响程度对利益相关者进行映射,可使组织将受影响方的视角和关切纳入风险分类和缓解过程中。这确保了部署 LLM 时考虑到了伦理和实际考量,并使其实施与所有受影响方的需求和权利保持一致。


完成风险识别后,下一步是:


评估已识别风险的发生概率和严重性。


评估风险是否需要处理,以确保个人数据的保护并证明符合 GDPR 和 EUDPR。


各种风险管理方法可用于对风险进行分类和评估。本文档并不旨在规定或定义特定方法,因为该选择应由每个组织自行决定。然而,出于本文档的目的,我们将参考之前在 WP29 和 AEPD 指南中提到的国际标准,以及目前正在欧洲 AI 标准化中开展的工作。


一般而言,在风险管理术语中,风险可表示为:风险 = 概率 × 严重性


该等式强调,风险由事件发生的概率以及由此产生的危害的潜在影响或严重性决定。


在《通用数据保护条例》(GDPR)中(第75 条附则),风险被定义为因个人数据处理而对自然人的权利和自由造成不同程度可能性和严重性的潜在损害。同样,《人工智能法》(第3 条)将风险定义为“发生损害的可能性与该损害的严重性相结合”。


为了在采购、开发或使用 LLM 时评估数据保护和隐私风险,至关重要的是要估计已识别风险的发生概率和严重性。


评估 LLM 系统风险发生概率的标准


如何评估概率


为了确定 LLM 系统的风险概率,我们将使用以下四级的风险分类矩阵:


非常高


:事件发生的可能性很高



:事件发生的可能性较大



:事件发生的可能性较低


不太可能


:没有任何证据表明此类风险会实现


必须根据正在评估的具体风险和用例来确定概率。虽然这个通用矩阵提供了一种结构化的方法,但应用更详细的标准可以提高概率评估的准确性。


下表列出了可以指导这一过程的示例标准,帮助细化特定场景中的概率评估。请注意,一些标准与系统级属性相关,而另一些则与上下文特定。


概率标准

标准描述

非常低(1)

低(2)

高(3)

非常高(4)

1. 使用频率 AI 系统的使用频率,增加潜在风险影响的可靠性(预期故障时间) 系统很少使用或交互不频繁(例如,每年或更少) 系统偶尔使用,但不是在关键操作中(例如,每月) 系统频繁使用,并集成到重要操作中(例如,每周) 系统持续使用或在实时关键操作中(例如,每日)
2. 暴露于高风险场景 AI 系统在敏感或高风险环境中运行的程度 系统不用于敏感或高风险场景 系统在中等敏感环境中运行,风险较小 系统用于高风险环境,可能产生重大影响 系统在高度敏感或关键环境中运行(例如,医疗保健、安全)
3. 历史先例 相同或类似 AI 系统中过去出现的类似风险或失败实例 在可比系统中没有出现过类似的事件 在可比系统中很少出现类似的事件 在可比系统中频繁出现类似的事件 在可比系统中经常且显著地出现类似的事件
4. 环境因素 影响系统性能或可靠性的外部、不可控条件(例如,政治不稳定、监管空白、财务限制) 外部条件稳定,不影响系统的性能 外部条件偶尔影响系统的性能,但可管理 外部条件经常影响系统的性能,产生漏洞 外部条件严重影响系统的性能,产生持续的风险
5. 系统稳健性 AI 系统抵抗故障或意外行为的程度 系统具有高度稳健性,有多个冗余和保障措施 系统具有中等稳健性,有一些冗余,但偶尔存在漏洞 系统有一定稳健性,但存在显著漏洞或薄弱保障措施 系统缺乏稳健性、保障措施,或容易频繁失败
6. 数据质量和完整性 AI 系统依赖于准确、无偏见且完整的数据的程度。可以通过更好的数据集策划或验证来修改 数据高度准确、无偏见且完整,错误极少 数据大多准确且完整,但偶尔有轻微偏见或错误 数据部分准确或完整,存在显著偏见或不一致 数据显著不准确、有偏见或不完整,导致高风险
7. 人类监督和专业知识 人类操作员的技能和决策对系统可靠性及风险概率的影响。可以通过培训或监督改进来修改 操作员训练有素、经验丰富,在决策中始终有效 操作员训练有素但效果一般,偶尔出现错误 操作员培训不足或决策不一致,导致定期出现错误 操作员未经培训或效果不佳,导致频繁且严重的错误

为了使用这些标准来确定风险的概率,您可以按照以下步骤操作:


步骤 1:聚合分数


根据预定义的概率级别(1 到 4)评估每个标准,并为其分配一个分数。


将所有因素的分数相加,然后除以因素总数,计算出聚合概率分数。可以使用以下两种方法之一:


加权平均值


:在平均之前对某些因素进行加权,以赋予它们更多的重要性。


简单平均值


:将所有因素视为平等,并计算平均值。


公式:聚合概率分数 = 所有分数之和 / 因素数量


步骤 2:将聚合分数映射到概率级别


一旦计算出聚合分数,根据以下范围将其映射到矩阵中的预定义概率级别:


1.0 - 1.5:不太可能


1.6 - 2.5:低


2.6 - 3.5:高


3.6 - 4.0:非常高


这种映射为每种风险提供了清晰的分类概率级别,这有助于根据潜在发生概率对风险进行优先级排序。我们将在本文档中稍后探讨如何在具体用例中应用这一框架。


评估 LLM 系统风险严重性的标准


如何评估严重性


为了确定 LLM 系统的风险严重性,我们将使用四个级别的风险分类矩阵:


严重性级别

严重性定义

非常严重 影响基本权利和公共自由的行使,其后果是不可逆的,或者与特殊类别的数据或刑事定罪和犯罪行为相关且不可逆,或者导致显著的社会损害,如歧视且不可逆,或者对特别脆弱的数据主体产生不可逆的影响,特别是儿童,或者导致显著且不可逆的伦理或物质损失
严重 上述情况可逆时,或者数据主体对其个人数据的控制权丧失,数据的范围与数据类别或数据主体的数量相关性高,或者发生数据主体的身份盗窃,或者可能发生数据主体的显著财务损失,或者数据主体的保密性丧失或违反保密义务,或者对数据主体或某些数据主体群体造成社会损害
有限 有限的严重损害:对一些个人数据的控制权有限丧失,与特殊类别或不可逆的刑事定罪或犯罪行为无关,或者不可逆的财务损失微不足道,或者与专业机密相关的数据主体的保密性丧失,但与特殊类别无关或不涉及侵犯处罚
非常有限 中等或轻微损害:在上述(有限)情况下,所有影响都是可逆的

请注意,欧洲理事会人工智能委员会(CAI)开发的 HUDERIA(219)风险管理方法也采用了四个级别的严重性矩阵,但使用了略有不同的术语(斜体):灾难性损害、严重损害、重大损害和中等或轻微损害。


与评估概率类似,评估严重性也可以从使用不同的严重性标准(221)中受益,以减少过程中的主观性。严重性标准与数据主体经历的隐私损失相关,但可能还有其他相关后果影响其他个人或社会。


下表概述了不同的严重性标准。严重性的计算可以遵循与确定概率相同的步骤,包括聚合分数并将它们映射到严重性级别。然而,对于严重性,某些标准(编号 1 到 5,以及 7 和 8)充当“停止器”。这意味着最终分数将始终是这些标准中的最高一个,无论聚合分数是多少。例如,如果这些标准中的任何一个被评估为最高级别(4),则总严重性分数将立即分配为级别 4。这种方法确保了关键损害(如不可逆损害)得到适当优先考虑,并标记为立即和全面的缓解措施。



风险评估:风险分类


评估发生概率和严重性为确定已识别隐私和数据保护风险的整体风险水平奠定了基础。使用四个级别的分类矩阵对概率和严重性进行分类,可以将风险归类为最终的分类:非常高、高、中等或低。


下图是一个实用的工具,用于获得这些分类,并提供一个清晰的结构化排名,以便对风险进行优先级排序并指导适当的缓解策略。这一分类是风险处理过程中的关键步骤,因为它确保了资源被有效地用于解决最紧迫的风险。



最佳实践建议优先处理非常高和高风险。一旦识别出这些关键风险,下一步就是制定并实施风险处理计划。


风险接受标准


在风险评估阶段,风险标准用于确定风险是否可接受或需要处理。这些标准反映了组织在法律和运营限制内承担和承受风险的意愿和能力,并且必须与适用的法律和法规(如 GDPR 和 AI 法案的要求)保持一致,以确保合规并保护个人的权利。


不同的框架和最佳实践可以帮助组织定义这些标准。这些标准可以根据社会规范、预期收益、潜在危害、既定的指标阈值、评估结果以及可比用例等因素来确定。为这些决策提供理由至关重要,因为组织需要对如何管理和缓解风险负责。这与 GDPR 的问责制原则一致,该原则要求组织记录并证明其风险缓解和接受决策的理由。


技术驱动法律,专业成就未来