4月8日,CNIL发布《AI系统开发的数据保护指南》(以下简称“指南”)。本指南聚焦在AI领域内的应用,特别是针对GDPR的遵循,以及如何在AI系统的整个生命周期中实施有效的数据保护措施。CNIL表示未来还将发布基于GDPR框架下的AI相关指南。
本篇将介绍DPIA、Privacy by Design和数据治理。
五、数据保护影响评估
DPIA的必要性
建立用于人工智能系统学习的数据库可能会对个人的权利和自由构成高风险。在这种情况下,必须进行数据保护影响评估(DPIA)。CNIL解释了如何以及在什么情况下进行。
数据保护影响评估(DPIA)是一种方法,它允许映射和评估处理对个人数据保护的潜在风险,并制定行动计划以将风险降至可接受水平。这种方法,可以通过CNIL提供的工具,对于在处理实施之前控制相关风险以及确保随着时间的推移进行后续跟踪特别有用。
DPIA包括:
-对可能因数据收集而受到影响的人员进行风险评估,并列出相关风险;
-分析允许个人行使其权利的措施;
-评估个人对其数据的控制;
-评估数据处理对个人(同意、信息等)的透明度。
DPIA应在处理实施之前进行,并应随着处理特征和风险评估的发展而进行迭代修改。
DPIA的执行
1. 确定何时需要DPIA
人工智能系统的开发可能需要进行DPIA。如果预期的处理可能对个人的权益构成高风险(GDPR第35条),则必须进行DPIA。
在关于DPIA的指南中,欧盟数据保护委员会(EDPB)确定了九个标准,以帮助数据控制者确定是否需要进行DPIA:满足此列表中至少两个标准的任何个人数据处理都将被假定为需要进行DPIA。其中一些标准特别适用于开发阶段:
-收集敏感数据或高度个人化的数据(可能被视为增加对个人权利和自由的侵犯风险的数据类别,例如位置数据或财务数据);
-大规模收集个人数据;
-收集弱势群体(例如未成年人)的个人数据;
-交叉或组合数据集;
-创新使用或应用新技术或解决方案。
在所有情况下,应考虑由于建立训练数据库及其使用而对个人产生的风险:如果存在重大风险,特别是由于数据滥用、数据泄露或处理可能导致歧视,则即使没有满足两个标准,也需要进行DPIA;反之,如果满足两个标准,但数据控制者能够足够确定涉及的个人数据处理不会使个人面临高风险,则不需要进行DPIA。
根据这些标准,CNIL发布了需要进行DPIA的个人数据处理清单(有关更多信息,请参见CNIL网站)。其中一些可能基于人工智能系统,如涉及用户画像(profiling)或自动化决策的系统:在这种情况下,始终需要进行DPIA。
2. 人工智能的使用是否被视为“创新用途”?
创新用途是可能需要进行DPIA的9个标准之一:它是根据技术和知识的状况而不是仅根据处理的场景来评估的(处理可能对特定组织来说非常“创新”,因为它带来了新的技术,尽管它不一定是一般意义上的创新用途)。因此,并非使用人工智能系统的每个处理活动都满足此标准。为了确定使用的技术是否属于此类用途,需要区分两类系统:
-使用经过多年实验验证并在实际条件下得到验证的人工智能技术的系统。这些系统不被视为创新用途或新技术或解决方案的应用。例如:某些回归或数据分割技术、聚类,或某些模型架构,如随机森林,在这些情况下,与其使用相关的风险是已知的;
-使用仍为新技术的系统,例如深度学习,其风险才刚刚开始被识别,但尚未完全理解或控制。这些系统属于创新用途。
【示例】基于大量数据(语音数据、临床案例、医疗结果等)开发用于医疗领域临床应用的自动语言处理工具的研究项目,可能构成创新用途,特别是考虑到将获得的结果的不确定性。
3. 人工智能的训练是否被视为“大规模处理”?
大规模收集是可能需要进行DPIA的9个标准之一:尽管人工智能系统的开发通常涉及处理大量数据,但这并不一定构成“在区域、国家或超国家层面处理大量个人数据,并可能影响大量相关人员”(GDPR第91条)的大规模处理。对于人工智能系统,需要确定开发是否涉及大量人员。
【示例】
- 一个研究机构希望建立一个广泛的景观照片数据库(山脉、海洋、沙漠、城市等),以改善计算机视觉系统的性能。其中一些图像包含个人图像,有时是可识别的。即使数据库包含数百万张覆盖地球表面的图像,如果包含可识别个人(即个人数据)的图像数量有限(例如,几千张),则处理将不被视为“大规模处理”。然而,根据要检查的其他标准,可能仍然需要DPIA。
- 当一个聊天机器人提供商为其语言模型(“大型语言模型”或LLM)建立一个数据库时,该数据库是从大量公开可访问的互联网数据中通过“网络抓取”技术收集的,该处理可能被视为“大规模处理”。
Data Protection by Design and by Default
在人工智能系统设计中考虑数据保护
为了确保开发的人工智能系统符合数据保护原则,有必要在系统设计阶段进行预先的思考。这份文件详细说明了这些步骤。
在围绕人工智能系统设计选择的思考过程中,特别是最小化原则,必须遵守数据保护原则。这种方法在五个层面上进行操作。因此,数据控制者必须考虑:
-希望开发的系统的用途;
-将采用的方法,这将影响数据库的特性;
-数据源(包括直接从个人收集、现有数据的再利用、第三方数据、公开可访问的数据库、网络抓取和传感器数据);
-在这些来源中,选择严格必要的数据,考虑到数据的用途和收集可能对有关人员的权利和自由造成的影响;
-设计选择的有效性。这种验证可能采取多种形式(非独占性),例如进行试点研究或咨询伦理委员会。
系统的目标
这个阶段的目标是设计一个符合已确定目的的系统,同时限制对有关人员可能产生的潜在后果。
在明确人工智能系统在部署阶段的使用(无论是直接由提供商实施还是由第三方实施)时,系统提供商必须确定:
- 预期的结果/输出类型;
- 可接受性能指标,无论是定量指标(F1分数、平均平方误差、计算时间)还是定性指标(例如来自人类反馈);
- 系统使用的环境,以确定其操作使用的优先信息;
-排除的使用环境和对主要使用案例不相关的信息。
某些人工智能技术可能允许执行超出提供商初始用途的复杂任务。通过准确定义预期功能,可以避免过度收集的风险。
【示例】为了实现一个人工智能系统的训练,该系统旨在通过视频监控摄像头图像计算电车中站立的人数,技术上可以考虑以下系统:
- 一个检测车厢内人员存在的神经网络,不分析姿势,集成在一个计算站立人数的算法中(站立人数可以通过座位数量推断出来);
- 一个分析车厢内人员姿势的神经网络,集成在一个计算站立人数的算法中。
第一个网络可能提供较少的信息(特别是站立人数),但如果提供的估计对于预期用途,特别是计算占用统计数据足够,那么最好采用这个模型。实际上,这个模型将需要较少的数据量进行学习,同时实现预期目标,而第二个模型则需要收集和标注更广泛和特定的数据。最小化原则与降低系统设计成本相一致,而不损害系统的准确性。
采用的方法
通常,相同的任务可以通过不同的技术实现。然而,并非所有技术都是等同的,因为它们可能使用不同的数据,也可能使用不同的数据量。它们可能无法达到相同的性能水平,在可解释性方面可能存在或多或少的问题,可能会受到不同的操作约束(如计算成本)。在考虑这些因素的同时,系统提供商必须选择最尊重权利和自由的技术,以遵守最小化数据的原则,并考虑到追求的用途。换句话说,如果一种技术能够以更少的个人数据实现相同的功能/达到相同的结果,那么应该优先选择它。
特别是,机器学习方法需要使用大量的数据。为了确保遵守比例原则和最小化数据,因此必须证明使用这些技术是合理的。如果存在一种不使用机器学习的方法,并且这种方法可以实现追求的目标,那么应该优先选择这种方法。深度学习的使用应该是合理的,不应盲目地或不加选择地将其应用于所有情况。
【示例】
为了确保员工的安全,供应商希望在其仓库中划定一个不应越过的危险区域。他希望有一个解决方案,可以检测该区域内是否有人存在,并触发声音信号以警告人员危险。应该优先使用红外运动探测器而不是增强摄像头,因为这种解决方案不收集人的图像,符合最小化数据和从设计开始保护数据的原则。
数据选择的必要性
原则
最小化原则规定,个人数据必须是适当的、相关的,并且限制在对它们进行处理的目的所必需的范围内。当处理的数据是敏感的(根据GDPR第9条的意义)时,必须特别注意数据的性质,并且必须特别严格地应用这一原则。
实践
最小化原则并不意味着禁止使用大量数据来训练模型:它涉及在训练之前进行思考,以避免使用对系统开发无益的个人数据。为了确定人工智能系统开发所需的个人数据,应考虑四个维度:
- 数据量和历史:涉及的人数、数据记录的数量以及数据收集的时间跨度等。例如,可以通过使用的服务器的有限计算能力、数据集的代表性需求、科学界普遍接受的做法、比较不同数据量变化时获得的结果、统计分析表明最小数据量是获得显著结果所必需的等来证明;
- 类别:年龄、性别、面部图像、社交网络上的活动等。必须检查和证明存在敏感或高度个人数据的必要性。这种分析可以基于训练模型在对抗性数据上的必要性(可能在实践中导致假阳性)、对所涉及数据类别的效用研究等。在这些数据类别中,应优先选择最不侵入性的格式,而不会因追求的目标而丢失信息,例如年龄或年龄组而不是完整的出生日期;
-类型:真实数据、合成数据、增强数据、模拟数据、匿名化或假名化数据等;
-来源:考虑计划使用的数据来源,无论是初始收集还是再利用(公开可用的数据、以前由供应商收集的数据或从数据提供商处收集的数据)。
尽管在选择数据时,通常需要考虑设计一个基于高质量数据的人工智能系统,但在某些情况下,并且作为次要选择,可能可以不加区别地处理一组数据。然后需要证明这种必要性。
除了考虑这些技术方面的维度外,还必须特别注意GDPR意义上数据的性质,特别是它们是否是敏感或高度个人的数据。
注意事项
数据的分布和代表性问题也必须在这个阶段处理。实际上,这些问题对于最大限度地减少歧视偏见的风险至关重要。
特别是,在训练和评估人工智能系统时,包含“真正阴性”类型(实际上不属于正例(即我们想要检测或分类的类别)的数据点)的数据对于确保模型的准确性和鲁棒性是至关重要的。
设计选择的有效性
在完成前三个步骤后,设计选择在理论上已经得到验证,可以开始收集数据。为了定量和定性地验证设计选择,推荐采取几种良好实践措施。
1. 试点研究
试点的目的是确保技术和与数据类型相关的选择都是相关的。为此,可以进行小规模的实验。可以使用虚假数据、合成数据、匿名数据或根据GDPR收集的个人数据。
【示例】
使用社交媒体页面上已同意收集其数据的人的数据。
这种类型的实验并不总是能够代表在社交媒体上遇到的活动,但它可以适用于某些用例,如识别仇恨言论或研究这些网络上的广告定位。这种做法是有益的,因为它提供了比某些网络抓取(“网络抓取”)实践更高的透明度水平。
2. 咨询伦理委员会
将伦理委员会纳入人工智能系统的开发是确保在开发之初就考虑到伦理问题和保护人权的良好实践。
伦理委员会可能具有多项任务:
- 对可能涉及伦理问题的组织的所有或部分项目、工具、产品等发表意见;
- 引导组织内部关于人工智能系统开发的伦理方面的思考,并制定内部政策(例如,关于使用分包的条件);
- 识别和理解集体成员(例如员工、团队或社区)以及个别个体的观点、感受和倾向,这涉及到观察和分析人们的行为模式、意见表达以及他们对特定问题或情境的反应。并推荐某些原则、行为或实践。
委员会的组成和作用可能因情况而异,但推荐几种良好实践。委员会应满足:
- 跨学科:委员会成员的配置——组织员工和/或外部人员——应该是多样化的。被召集到委员会的人有助于完成委员会的任务,并可能提出开发团队没有考虑过的问题。良好实践是将委员会的一些席位分配给将轮流担任的组织员工。此外,强烈鼓励委员会成员在性别、年龄和种族、文化起源方面的多样性;
-独立:委员会提供的意见可能具有重要影响,例如,对公司的商业方向,因此可能促进或阻碍某些项目。因此,委员会成员不应该被潜在的利益(无论是财务还是其他类型)所激励,以影响所做出的决定。同样,当员工作为委员时,他们做出的决定不应该对他们产生后果;
-明确的职责:为了确保委员会的系统整合,必须制定一个程序来确定委员会何时开会的条件,并应与之相关。根据情况,委员会可以是咨询性的或具有约束力的:两种方法都有其优缺点。如果委员会提出具有约束力的意见,其在公司治理中的整合必须根据组织章程非常明确,以避免其工具化。如果委员会是咨询性的,必须保证其影响,特别是通过确保其根据特定标准强制性咨询和其意见的透明度,至少在组织内部,可能还有其他措施,如要求项目负责人以书面形式回应委员会的意见;
-保持更新:鼓励委员会成员持续关注人工智能技术的发展和应用,以及由此带来的风险和伦理问题。这包括通过阅读学术文献、关注政策制定者的出版物和指导,例如国家数字伦理委员会的报告等,来保持对最新信息的了解。这种持续的学习和知识更新将使委员会能够提供更有根据的意见,并帮助推广良好的伦理实践。
在开发人工智能系统的情况下,可能会就几个问题咨询伦理委员会:
- 用于开发的数据是否符合组织的伦理标准?
- 人工智能系统的预期用途是否可能导致严重的后果,无论是个人的还是社会的?这些后果是否可以避免?这些用途是否可以被排除?
- 人工智能系统的潜在滥用(无论是故意的还是偶然的,特别是对于公开发布的模型)是否可能导致对个人或社会造成严重后果?哪些措施可以避免这些后果?
- 在组织决定采用某种技术,特别是那些具有突破性或根本性的新技术时,组织是否具备足够的知识和技能来理解和运用这些技术?
-透明度措施是否足够,以便人们行使起权利或让他们行使可能的追索权?
- 组织是否从设计阶段开始就采取预防措施来组织其运作,以应对各种风险,包括但不限于歧视、数据保护、版权保护和网络安全等方面?
- 是否已经列出了可能由系统使用引起的歧视,并采取了必要措施以避免其发生?
根据组织的规模和架构,可能并不总是能够设立伦理委员会。然而,重要的是,这些分析可以嵌入人工智能系统的开发。任命一个“伦理协调人”可能是一个替代方案,考虑这些问题。
Data Governance
数据治理中落实数据保护原则
在人工智能系统中考虑数据保护的重要性
开发人工智能系统需要在训练数据中落实数据保护原则。法国国家信息与自由委员会(CNIL)详细说明了数据保护原则如何与训练数据管理相结合。
【AI翻译】
图中是一个流程图,标题为"CONSTITUTION DE LA BASE DE DONNÉES",即数据库构建过程。整个流程分为三个主要阶段:
"CONCEPTION"(概念设计)阶段:在这个阶段,首先选择系统的架构,然后进行BDD(可能是"Base de Données", 数据库)的试点或估计。
"Collecte des données"(数据收集)阶段:这是构建数据库的核心步骤之一,主要包括数据清洗、注解、特征提取和数据划分。
"APPRENTISSAGE"(学习)阶段:在这个阶段,经过预处理的数据用于训练模型,接着进行验证和测试。
流程图展示了从概念设计到数据收集再到学习的过程,每个阶段都有明确的任务和目标。
数据收集
一旦数据及其来源被识别,人工智能系统提供商必须实施数据收集并构建其数据库。为此,必须从设计之初就整合数据保护原则(“设计中的隐私”)。
数据收集将随着根据不同的数据和来源进行不同的检查和步骤。从技术上讲,这意味着确保收集的数据与追求的目标相关,并确保遵守最小化原则。
通过网络抓取(“网络爬虫”)收集数据
当数据处理负责人重新利用他本人从网站通过抓取工具提取的公开可访问的数据时,他必须特别确保最小化数据收集,特别是:
-限制收集公开可访问的数据;
-在实施处理之前,定义明确的收集标准;
-确保只收集相关数据,并在收集后立即或在确定为不相关数据时立即删除(如果无法在收集时进行全面筛选)。
数据清洗、隐私保护从设计开始
数据清洗
数据清洗有助于构建高质量的训练基础。这是一个关键步骤,通过减少不一致性以及降低训练成本来增强数据的完整性和相关性。具体来说,这意味着:
-纠正空值;
-检测异常值;
-纠正错误;
-删除重复项;
-删除不必要的字段;
等等。
定义相关数据
在人工智能中,选择数据和特征是一个标准过程。它旨在优化系统的性能,同时避免过度拟合和欠拟合。实际上,这确保了对于目标任务不必要的某些类别不会被表示,同时保持不同数据类别之间的平衡。这个过程还旨在识别对训练不相关的数据。被确定为不相关的数据随后将从数据库中删除。
在实践中,这种选择可以应用于构成数据库的三种类型的对象:
-数据:可以是“原始的”,非结构化的(如音频剪辑、图像、手写文本等)或结构化的(如数字格式的测量、观察等);
-相关的元数据:字面上的“关于数据的数据”,元数据提供描述性信息(例如,获取过程是什么?由谁完成?什么时候完成?等等),结构信息(如何使用它们?)或质量信息;
-标注和从数据中提取的特征(“功能”):在标注的情况下,是对数据的描述,或者从数据中提取的可测量属性(如图像的形状或纹理信息,音频文件的音高、音色或节奏等)。
可以采用几种方法来实施这种选择。例如:
-使用技术和工具来识别相关特征(特征选择),有时在训练之前。主成分分析(PCA)等分析可以帮助识别数据集中强相关的特征,从而只保留相关的特征。Yellowbrick、Leave One Feature Out(LOFO)或Facets等库现在提供了特征选择的实现。
-使用交互式数据标注方法,如主动学习,允许用户根据要完成的任务审查数据,并在必要时删除不相关的数据。Scikit-ActiveML库就是这样一个例子。
-使用训练数据/数据集修剪技术:这种方法在Sorscher等人(2022年)或Yang等人(2023年)的几篇出版物中讨论,可以减少训练所需的计算时间,而不会显著影响获得的模型的性能,同时识别对训练不太有用的数据。
最后,在某些特定情况下,由于数据的敏感性、与知识产权有关的问题等原因,最小化原则可以通过仅保留提取的特征并删除它们来源的原始数据来实施。
【示例】在研究社交媒体中仇恨言论的传播时,分析与帖子相关的评论可以对用户的反应进行分类,但评论内容本身在分析后可能会被删除。
训练数据的构建
为人工智能(AI)构建训练数据库通常需要对数据进行标注。数据的生产和使用也需要采取特别的保护措施。这些将在专门的实用指南中详细说明。
从设计开始保护数据("设计中的隐私")
此外,除了这些必要的步骤外,人工智能系统提供商还必须实施一系列措施,从设计之初就整合个人数据保护原则("设计中的隐私")。
这些措施必须考虑当前技术现状、其对训练效率的影响、实施成本以及处理的性质、范围、背景和目的以及处理对个人权利和自由的风险(其可能性和严重程度各不相同)。这些措施可能包括:
- 泛化措施:这些措施旨在泛化或稀释有关人员的属性,通过改变其规模或顺序;
- 随机化措施:这些措施旨在向数据添加噪声,以减少其精度并削弱数据与个人之间的联系。
这些措施应用于数据以及与之相关的元数据。
在某些情况下,这些措施可能达到数据匿名化的程度,特别是如果目标不需要处理个人数据:如果选择和数据处理是受GDPR约束的个人数据处理,因此受当前指南约束,则后续处理将不再受个人数据保护法规的约束。
【示例】一个组织希望建立一个与多个开发人员相关的工业机器(SCADA)的计算机代码数据库。在删除所有提及开发人员的信息并检查注释中没有标识符或个人提及之后,数据库不包含任何个人数据。它不再受个人数据保护法规的约束。
有关这些措施的更多信息,请参阅WP29关于匿名化技术的第05/2014号意见。
此外,某些措施可以在人工智能系统学习期间保护数据,如在模型训练期间应用的差分隐私或联邦学习。尽管其中一些技术仍处于研究阶段,但像PyDP或OpenDP这样的工具允许实施它们以测试其有效性。
应用于数据的措施
所采取的措施应根据涉及的数据类别而定,并需考虑这些措施对系统技术性能的影响,无论是理论上还是实际操作中。这些措施特别有益,原因如下:
一方面,它们有助于降低数据保密性潜在损失的风险,例如通过防止数据库中数据的泄露,或抵御针对训练模型的攻击,如属性推断攻击。
另一方面,这些措施允许我们在运营阶段使用经过相同保护处理的模型,从而更有效地保护数据。
【示例】在开发辅助诊断的人工智能系统时,通过将患者年龄信息概括为[月-年]或[年]而非[日-月-年],供应商显著降低了保密性损失的风险,同时不影响系统的性能。
应用于元数据的措施
元数据可能包含对攻击者有用的信息,帮助他们重新识别个人(例如,通过数据收集的日期或地点)。因此,我们也应该对元数据应用最小化原则,仅保留实现目的所必需的信息。
【示例】元数据对供应商可能是必要的,以响应行使权利的请求,因为它们有时可以识别与个人相关的数据。在这种情况下,应特别注意其安全性。
然而,如果处理元数据并非必要,并且它们包含个人数据,建议在目标是使数据集匿名化或去标识化的情况下删除这些元数据。
【示例】如果供应商重新使用视频监控图像来构建训练数据库,并将收集地点从特定地址概括到一个IRIS网格,可能就无法响应数据访问请求。
持续更新
尽管在收集数据时已经实施了最小化和保护数据的措施,这些措施可能随着时间的推移而变得过时。事实上,收集的数据可能会失去其准确性、相关性、适当性和限制性,特别是因为:
(1)数据在实际条件下可能发生偏移,即训练数据的分布与使用条件下的分布之间的差异。数据偏移可能有多种原因:
-上游流程的变更,例如更换传感器,其校准与之前安装的略有不同;
-数据质量问题,例如始终指示零值的损坏传感器;
-在分类问题中出现新的类别;
-数据的自然偏移,如随季节变化的平均气温变化;
-由于突发变化,如Covid-19疫情期间由于大量佩戴口罩而失去面部检测系统的能力;
-特征之间关系的变化;
-在持续学习框架内,恶意中毒,例如通过不希望的结果发现。
(2)数据的更新,例如用户在社交媒体公开资料中更改居住地后的地址更正;
(3)技术的发展,经常证明改变方法可以为系统带来更好的性能,或者可以获得类似性能的数据量更少。
因此,数据控制者应定期进行分析,以确保对构成的数据库进行持续更新。这种分析在上述情况最有可能发生的情况下应该更加深入和频繁。这种分析应该基于:
- 定期将数据或数据样本与源数据进行比较,该项工作可以自动化;
- 定期由受过数据保护培训的人员或伦理委员会审查数据,负责检查数据是否仍然与处理目的相关和适当;
- 关注科研文献领域的新进展,以识别新的节省数据的技术。
数据保留
原则
个人数据不能无限期保留。GDPR要求确定一个期限,在该期限之后必须删除数据,或者在某些情况下进行归档。这个保留期限应由数据控制者根据收集这些数据的目的来确定。
实践
数据控制者应当根据数据最小化保留期限的原则(GDPR第5.1.d条),确定用于人工智能系统训练的数据处理的保留期限。
确定保留期限特别需要实施CNIL关于保留期限的实用指南中描述的某些流程。CNIL注意到,公开提供的数据库不断演变:从收集日期起多年的保留期限需要得到证明。
为训练阶段确定保留期限
首先,人工智能系统的提供者应当为用于训练数据处理确定保留期限。在这个阶段,提供者使用数据:
- 建立必要的有限数据库,进行清洗、预处理并准备好用于训练;
- 从人工智能模型的第一次训练到测试阶段的训练,以确定最终产品的特性和性能。在这个阶段,数据必须安全地保留,并且可以由授权人员访问。根据情况,这个阶段可能持续几周到几个月,或者在持续学习的情况下是迭代的。这个期限应该事先确定并证明(考虑到数据控制者以往的经验、对计算机开发持续时间的了解、可以提供的人力和物力资源等)。
数据保留应当事先计划并持续推进。此外,定义的保留期限必须适用于相关数据,无论其存储介质是什么。有时,可以使用管理和治理工具来定义每个数据的保留期限,并在它们进入数据库后计算经过的时间,然后自动删除它们。因此,必须特别注意从主数据库中提取并存储在第三方介质上的数据的可追溯性,以便工程师在必要时逐个分析样本。
注意事项:
对于公共机构或承担公共服务任务的私立法人,数据可能还需要根据相关规定的义务进行特定归档。
当公共档案包含个人数据时,将进行选择,以确定要保留的数据和没有行政或科学、统计或历史价值的数据,以进行销毁。
在任何情况下,根据GDPR的归档目的进行的最终归档中保留的数据,因此不包括在本指南中。此外,数据保留期限必须在通知中说明,以便让相关人员知道。
为维护或改进产品确定保留期
当数据不再需要用于人工智能系统开发人员的日常任务时,原则上应当被删除。然而,它们可以被保留用于产品的维护(即用于后续的性能验证阶段)或系统的改进。
【AI翻译图片】
图中是一个流程图,标题为"Développement"(开发)和"Déploiement"(部署),描述了从开发到部署的全过程。
开发阶段:首先进行系统的设计,然后构建数据库,接下来是训练、验证和测试。
部署阶段:在部署阶段,首先进行校准,然后开始使用,并进行维护和改进。
开发阶段完成后进入部署阶段,但这两个阶段之间存在反馈循环,意味着部署过程中获得的信息可以用来改善开发阶段的设计和实现。
运营维护活动
最小化数据的原则要求只保留对运营维护绝对必要的数据(通过选择相关数据,在可能的情况下进行数据的匿名化处理,例如通过模糊图像等)。
这些运营维护活动确保了在部署阶段使用模型时涉及人员的安全性,例如当系统对人员产生影响时,当性能下降可能对人员造成严重后果时,或者当它涉及产品的安全性时。因此,保留训练数据可以进行审计,并有助于测量某些偏见。在这些情况下,如果通过保留关于数据的一般信息(例如,在文档部分中提出的关于模型的文档,或关于数据的统计分布信息)无法达到类似的结果,则可以证明延长数据的保留期限是合理的。然而,这种保留应当限制在必要的数据范围内,并伴随着加强的安全措施。
一旦数据被筛选,它们可以被存储在隔离的介质上,即物理上或逻辑上与数据库中构成的数据分开。这种隔离加强了数据的安全性,并限制了只有授权人员才能访问它们。维护阶段的持续时间可能从几个月到几年不等,当保留这些数据对人员的风险很小,并且已经采取了适当的措施时。在来自公开提供的数据的情况下,数据来源预定的保留期限应当在确定维护阶段的持续时间时考虑。然而,这个期限应当是有限的,并由真正的需要来证明。
改进活动
之前构建的数据库中的数据也可能需要用于改进由人工智能系统开发的产品。这一目的,必须确定合法基础,并应当根据透明度原则告知相关个人。
具体来说,只有对改进人工智能系统必要的数据才能从它们的隔离存储空间中提取出来。
注意事项:延长周期的可能性,通过一个新的开发或维护阶段,绝不能允许无限期地延长数据的保留期限,必须系统地进行必要的处理操作期限分析。
安全性
原则
数据控制者及其处理者(如果有)必须实施适当的技术和组织措施,以确保适应风险的安全级别(GDPR第32条)。
选择实施的措施必须考虑到技术现状、实施成本以及处理的性质、范围、场景和目的以及处理对个人权利和自由构成的风险(其可能性和严重程度各不相同)。
实践
因此,人工智能系统的提供者必须特别预见适当的措施,以确保:
- 数据收集技术的安全性,例如通过加密传输和可靠的认证方法来限制对信息系统的访问。建议使用分发者预定的数据收集方法,特别是当它们基于API时,同时应用CNIL关于使用API的建议;
- 收集的数据的安全性,通过加密备份、验证其完整性或符合CNIL关于日志记录措施的建议的数据库操作日志记录;在人工智能系统开发中常见的风险之一是数据复制,这些数据经常需要被分析以检查其质量。在尽可能的情况下应该限制数据复制,并在不可避免的情况下进行追踪。专门的工具,如NB Defense、Octopii或PiiCatcher,或者像正则表达式搜索或文本数据的命名实体识别这样的技术,可以在某些情况下用于检查个人数据的存在;
- 用于人工智能系统开发的信息系统的安全性,例如通过认证方法和培训需要访问它的人员,以及实施网络安全最佳实践;
- 计算机设备的安全性,特别是通过限制对场所的访问和分析数据托管人提供的保证,当这被外包给服务提供商时。
特定于人工智能系统开发和部署阶段的安全措施将在后续的指南中讨论。然而,传统上在计算机中实施的建议和最佳实践,如CNIL提供的相关实践指南,以及GDPR中个人数据安全的指南,构成了对人工智能系统提供者有用的参考框架。
文档
用于人工智能系统开发的数据处理的文档编制,有助于确保数据集的可追溯性,这对于通常难以管理的大型数据集来说至关重要。文档编制应当能够:
- 便于数据库的使用;
- 证明数据是合法收集的;
- 便于追踪数据随时间的变化直至其被删除或匿名化;
- 减少数据被不当使用的风险;
- 允许数据主体行使他们的权利;
- 识别计划或可能的改进措施。
为了实现这些目标,可以采用文档编制模板,尤其是在处理者使用多个数据源或构建了多个数据库的情况下。参考现有的模板(如Gebru等人,2021年;Arnold等人,2019年;Bender等人,2018年;数据营养标签,或欧欧盟人工智能法附件IV中预见的技术文档),CNIL提供了以下模板,特别是用于那些旨在公开提供的数据集。当数据集被创建、提供或来自一个已经进行了实质性修改的现有数据集时,应进行此类文档编制。像CrowdWorkSheets这样的更具体的文档编制模板,尤其适用于记录标注阶段,可以补充所建议的模板。
这些文档的目标是促进数据处理者的内部思考与分析,告知数据集用户其构成的条件及其处理建议。最后,出于透明度目的,告知个人。因此,建议向数据集的用户或使用数据集设计模型的用户提供此文档。
请注意,这项重要的文档编制工作可以自然地支持数据保护影响评估。
文档编制工作是确保数据处理活动透明、合法和符合GDPR要求的关键步骤。它不仅有助于保护个人数据,还有助于建立对人工智能系统的信任,这对于其成功部署和采用至关重要。
法国CNIL发布了AI系统开发的数据保护指南(完结篇)
作者:朱玲凤来源:那一片数据星辰

4月8日,CNIL发布《AI系统开发的数据保护指南》(以下简称“指南”)。本指南聚焦在AI领域内的应用,特别是针对GDPR的遵循,以及如何在AI系统的整个生命周期中实施有效的数据保护措施。