前情回顾
上周本公众号发布了巴登-符腾堡州数据保护和信息自由专员办公室《关于AI中使用用户数据法律基础的讨论文件（上篇）》：本文件回归到了GDPR对个人数据定义等的基点，从头分析个人数据的定义、切分AI系统中数据处理活动的阶段，依次去判断合法性基础的可行性。
本篇在上篇基础上进一步分析了合法利益的合法性基础的判断，给出了在AI系统中的利益权衡的标准。更优秀的是给出了一份快速检查清单，便于以此文件为基础理解和分析在AI系统中收集使用用户数据。
六、非公共实体可适用的法律基础
以下是关于GDPR第6条第1款f项的法律规定，这些规定通常仅适用于非公共实体在处理与人工智能相关的个人数据时作为法律基础。
根据GDPR第6条第1款f项和第6条第1款第二句的规定，公共实体在履行其职责时进行的数据处理活动，不适用GDPR第6条第1款f项作为法律基础。这意味着，例如市政府等公共机构，在执行其职能时不能依赖这一条款作为数据处理的法律依据。
- 合法利益（GDPR第6条第1款f项）
根据GDPR第6条第1款f项，当处理个人数据是为了保护控制者或第三方的合法利益时，该处理是合法的，前提是不侵犯数据主体的利益或基本权利和自由，特别是当数据主体为儿童时。
在AI系统处理数据的场景下，GDPR第6条第1款f项可能具有特殊的重要性。这主要是因为该条款的开放性表述提供了一定的灵活性：未具体定义的控制者或第三方的合法利益的原则性描述。此外，与其他法律基础不同，它不需要在欧盟或国家法律中进一步具体化。然而，这种开放性的表述也可能导致实践中的法律不确定性。在复杂的处理过程中，许多情况可能影响到该条的利益权衡过程。由于数据主体在任何情况下都可能无法预见其数据被处理，这可能导致数据主体的不可预测性，同时也可能导致控制者的法律适用的不确定性。
根据CJEU的判例法，根据GDPR第6条第1款f项进行的个人数据处理在同时满足三个如下条件时是合法的：
1）合法利益
合法利益的概念被广泛理解。因此，控制者认为的合法利益可以基本上存在于控制者或第三方的任何法律、经济或非物质利益中。
然而，尽可能精确地指定合法利益可以在结果上对利益权衡产生积极影响，因为在提高透明度的情况下，可以更好地评估风险的范围。
在开发和使用人工智能系统时，通常可以认为控制者有合法利益。例如，在商业环境中，控制者通常追求提供更好和更创新的产品的目标，这可能是开发自动驾驶汽车或无误差的人类交互检测等。
此外，合法利益也可以从GDPR中明确提到的利益中产生，例如防止欺诈或直接营销。
可以作为合法利益的其他利益包括：
科学研究；
便于公众获取特定信息；
为服务用户开发新系统和功能；
提供对话系统服务以支持用户；
改进产品或服务以提高其性能；
开发人工智能系统以识别欺诈性内容或行为。
另一方面，不属于合法利益的包括那些根据人工智能条例第5条属于禁止AI实践的。
2）必要性
在必要性方面，控制者必须检查是否可以采用其他有效的方式满足对数据处理的合法利益，而这些方式对数据主体的基本权利和自由的侵入性较小。
例如，如果评估时认定开发人工智能系统也可以不用个人数据或使用匿名数据（因此不允许对个人进行推断），则不需要处理个人数据。因此，关于训练数据，始终需要考虑是否需要处理个人数据。
此外，数据最小化原则也适用于必要性评估，根据GDPR第5条第1款c项，要求超出必要范围的个人数据不得被处理。
简而言之，与人工智能系统相关的个人数据处理不是“多多益善”，而是“仅此而已”。这也适用于其他法规允许的处理，例如人工智能条例第10条第5款，允许在识别和纠正偏差（偏见、歧视）时处理特殊类别的个人数据，但只有在绝对必要时，并且不能使用合成或匿名数据有效实现时。在这种情况下，需要进行权衡，并将处理限制在识别和纠正偏差所需的最小数据集上。
3）权衡
最后，必须进行全面的利益权衡。为了使数据处理合法，数据主体的利益或基本权利和自由不得被控制者或第三方的合法利益所凌驾。权衡彼此相互冲突的权利和利益取决于具体情况。需要考虑的因素包括但不限于处理的范围和影响，以及对数据主体的影响。其他标准可能包括信息的内容和受影响的人数。还需要注意，如果数据主体是儿童，则需要特别保护。
同样，在进行利益权衡时，除了诸如侵入性等许多因素外，还需要特别注意要处理的数据的敏感性，以及数据类别（例如，处理特殊类别的个人数据，根据GDPR第9条第1款，除了GDPR第6条第1款f项外，通常还需要满足GDPR第9条第2款的合法性基础）。
此外，考虑到数据处理阶段和使用的技术，在AI系统处理数据时需要考虑特殊因素，这些可能包括：
训练数据的详细程度和范围【训练阶段】
数据处理对受影响个人的影响【所有阶段】
实施训练时适当的安全措施【训练阶段】
根据特定特征选择的机器学习（ML）方法（例如，关于数据处理的强度和方法的透明度）【训练、提供、使用和结果阶段】
ML方法对鲁棒性的影响【提供、使用、结果阶段】
实施额外的技术和组织措施【所有阶段】
对于控制者/第三方的利益，人工智能系统的范围和一般利益的类型也可能很重要。CNIL还提到了在此背景下可以考虑的其他标准：
公众或公共利益（例如，更好的健康预防，更好地获取某些基本服务或便于基本权利的行使）
支持控制者或第三方遵守法律义务
开发可自由获取、足够安全的人工智能模型
总的来说，个人数据的处理必须根据权衡标准，确保与合法利益成比例。同样重要的是，数据主体在具体情况下是否可以预见到其个人数据将被处理，如果无法预见，则可能与处理相抵触。
不同的场景可能会影响数据主体的合理预期。鉴于近年来普遍已知的技术进步，数据主体可能可以预期互联网上发布的数据被第三方用于其他目的。然而，数据处理是否超出了数据主体的合理预期，取决于具体情况（例如，发布的类型、网站类型、访问限制的存在以及模型和数据集的用途）。
当个人数据是由第三方公开时，我们对数据处理的预期会有所不同。通常情况下，这取决于数据主体的身份。例如，公众人物可能需要预料到他们的数据更有可能被公开。然而，即便对于公众人物，也不是所有个人数据的公开都是合法的。在保护个人隐私和保障言论自由之间，我们需要找到一个恰当的平衡点。
对这一权衡过程产生间接影响的问题可能还包括，控制者在多大程度上履行其透明度和信息提供义务。
实践案例
如前所述，权衡标准及其结果取决于具体场景分析。在这里，我们仍然希望讨论一些在人工智能背景下可能具有数据保护相关性的实践案例。
案例1：大型语言模型（Large Language Models）
由于系统之间的个体差异，大型语言模型（LLM）无法进行一般化分类和全面权衡。尽管如此，某些标准在大型语言模型中特别重要。
在评估人工智能模型的合法利益时，模型所带来的整体优势可能是一个关键因素。例如，大型语言模型（LLM）是否对公众开放使用，尤其是当它们是开源的，以及是否已经尽可能避免了被不当使用，这些都是需要考虑的问题。此外，当开发基于庞大训练数据集的LLM时，通常的目的并不是为了处理个人数据或识别特定的个人。与那些需要在严格条件下才能进行的、侵入性的个人资料分析不同，LLM的主要目标是理解和掌握语言及其使用情境。虽然这可能涉及到对语言的抽象“理解”，但它并不直接涉及评估或处理有关个人的详细信息。
考虑到GDPR基于风险的方法，可能需要对LLM的开发和使用进行相应的权衡。与训练传统的统计模型（如广义线性混合模型）相比，训练LLM可能会对数据主体的权利造成更大的影响。这种更大的影响可能来自于大型语言模型可能缺乏足够的可解释性、透明度和控制能力，这可能导致数据主体对其个人信息的控制权减弱。因此，在开发和使用LLM时，需要仔细权衡其带来的优势与可能对个人隐私造成的风险。
在进行利益权衡时，我们还需要考虑到，处理大量训练数据集以开发语言模型可能会降低对个人的识别风险。特别是当某些信息只单独出现在数据集中，并且人工智能模型没有反复利用这些信息进行训练时，个人信息在模型的数据集中被隐匿的可能性很大，也就是说，它们不太可能出现在人工智能系统的输出结果中。
案例2：开发基于人工智能的驾驶辅助系统
辅助驾驶系统已成为现代汽车不可或缺的一部分。在开发基于人工智能的辅助驾驶系统时，可能需要处理来自实际道路交通的数据，主要是图像数据，用于训练模型。制造商和开发者对于开发这些基于人工智能的系统和自动驾驶功能拥有合法的利益。
然而，这些利益必须与交通参与者（例如行人）的法律保护权利相平衡，后者有权在不受监视的情况下在公共空间中自由行动。需要区分的是，受影响的人是否真的参与了道路交通，或者他们是否仅处于交通区域的周边（如餐馆的户外区域）。对于那些不直接参与道路交通的人来说，他们通常不会预期自己的个人数据会被处理。
值得注意的是，是否采取了措施来最小化收集那些需要特别保护的群体，比如儿童的数据，如果这些数据对于开发辅助驾驶系统和保护这些弱势群体并非必要的话。另一方面，如果正在开发的驾驶功能主要目的是提高交通安全性，并且符合公共利益，那么开发者和制造商的利益可能更为重要。此外，收集的数据是否旨在识别个人身份，或者仅仅是为了分配某些属性（例如，将某人标记为“骑自行车的人”），这也是至关重要的。同样重要的是，数据收集的范围应该是有限的，例如，是否仅限于收集公共道路交通区域的实际状态和流程，只在短期内、在特定时刻以及作为次要效果来收集个人数据。
此外，采取有效的技术和组织措施，如对个人数据进行匿名化或伪匿名化处理，可以显著降低对个人隐私的侵犯，从而有利于维护控制者的合法利益。
简而言之：总的来说，由于GDPR第6条第1款f项的开放性，它为人工智能背景下的大多数处理过程提供了一个特别合适的法律基础。由于必须进行利益权衡，该规范只能提供有限的法律确定性，因为始终需要全面评估具体情况。
关键问题：
处理个人数据存在哪些具体的合法利益？是否可以在没有处理个人数据的情况下实现目标（例如，在开发或制造人工智能系统的过程中使用合成训练数据或对训练数据进行足够的匿名化）？是否有必要使用特定程序，或者是否可以以其他方式实现目标？（例如，对于简单的门铃相机，不需要基于人工智能的面部识别。）
数据主体的利益是否超过控制者的利益？
数据主体是否可以预见到在具体情况下其个人数据将被处理？
员工数据保护（德国联邦数据保护法（BDSG）第26条）
人工智能的应用在工作场所正变得越来越重要，许多员工的日常工作受到数据驱动型应用的影响。在就业领域，德国联邦数据保护法（BDSG）第26条提供了在就业关系中处理个人数据的可能性，基于GDPR第88条的开放条款。然而，根据2023年3月30日欧洲法院的判决，BDSG第26条第1款，允许处理个人数据以决定是否建立就业关系或在就业关系建立后为其执行或终止的部分，不再适用。尽管如此，在就业合同执行或与应聘者的招聘过程中进行的数据处理通常可以直接依据GDPR第6条第1款b项的法律基础而合法化，无需依赖BDSG第26条第1款。
如果人工智能（AI）被用于招聘流程或就业关系中，虽然数据处理不能用于AI应用的训练，但在某些情况下，根据GDPR第6条第1款b项，处理个人输入数据可能是合法的。但这需要AI系统用于执行就业关系或招聘流程是合适、必要和相称的。如果AI应用由于不适当的训练数据或编程而不能正确工作，就可能存在问题。必须没有其他更合理且同样有效的数据保护友好型替代方案。此外，AI只能处理实现其目的所必需的个人数据。此外，使用人工智能的利益必须超过受影响个人的利益。雇主的利益可能包括客观评估应聘者和员工的适合性或绩效（如果这是通过使用特定的AI应用实现的），以及工作便利化。也可以通过集体协议来进一步规范AI系统的使用，同时必须不违反GDPR的保护水平。同时，即使在使用AI系统的情况下，也必须遵守劳动法和工资法的原则。
在员工数据保护的背景下，还需要注意，由于上下级关系，对同意的审查必须遵循严格的标准。根据BDSG第26条第2款，审查同意的自由意志时必须考虑对公司的依赖性。在招聘流程或人力资源管理中使用AI分析时，可能会对个性特征进行显著的分析，这可能导致同意不再作为法律基础。此外，可能需要考虑GDPR第22条的要求。
最终，由于AI在招聘流程和就业关系中的多种应用可能性，无法一概而论。必须始终单独考虑每个案例。
简而言之：在员工数据保护中，由于存在上下级关系，对同意的审查必须遵循严格的标准。
关键问题：
在就业背景下，AI系统的使用是基于哪项法律基础？
使用AI系统对于执行就业合同或招聘流程是否必要？AI系统是否适合实现其使用目的？
是否存在一个合理且有效的、更注重数据保护的替代方案来使用AI系统？
员工的利益是否超过了控制者的利益？
是否考虑了劳动法和工资法的原则？
如果同意作为法律基础：在考虑依赖关系的情况下，同意是否是自愿给出的？
七、巴登-符腾堡州公共机构的法律基础
根据GDPR第6条第1款e项和第3款，巴登-符腾堡州的公共机构在应用人工智能时，可以考虑采用LDSG BW中的额外法律基础。本讨论文件中不进一步探讨与刑事诉讼和司法领域相关的特殊规定，包括与司法指令（JI指令）119和司法及行政罚金机构数据保护法（LDSG-JBBW）相关的规定。 - 公共利益或公共权力，GDPR第6条第1款e项
GDPR第6条第1款e项的开放式表述提供了两种数据处理的可能性：要么处理必须符合公共利益，要么处理必须在行使公共权力的过程中进行。在这两种情况下，都需要将任务委托给负责人。因此，根据GDPR第6条第3款，还需要一个在欧盟法律或成员国法律中的法律基础。GDPR第6条第1款e项的规定本身并不创建一个处理个人数据的法律基础，而是仅与国家法律和州法律中具体提出的法律基础结合时适用。
注：考虑到仅是州法律范围内的适用性，故此部分不做翻译。
八、处理特殊类别个人数据的法律基础
根据GDPR第9条第1款，处理特殊类别的个人数据需要更高的保护要求。当特殊类别的个人数据成为处理对象时，数据保护基本条例规定了特别的条件。一旦用于训练和使用人工智能系统的个人数据根据GDPR第4条第1款被视为个人数据，就必须考虑和审查这些数据在数据生命周期中是否有可能以较低风险转化为具有较高风险的敏感信息。如果能够推断出敏感信息，则意味着需要更高强度的保护和保密性，因为处理这些数据可能会对个人的权利和自由造成重大风险。因此，对于机器学习所需的大量数据处理，也需要相应地评估是否在数据生命周期中能够产生涉及特殊类别个人数据的信息。
考虑到对特殊类别个人数据的处理需要更高级别的信任和保护，必须对数据的准确性和质量进行细致和谨慎的评估，以符合GDPR第5条第1款d项的规定。由于训练人工智能系统需要大量处理特殊类别的个人数据，必须及时识别并最小化这些训练数据带来的高风险，以保护个人的权利和自由。对于评估和确保训练数据的质量，特别是使用特殊类别个人数据时，人工智能条例第10条第5款规定了“最新的安全和数据保护措施，如匿名化或加密”。
特殊类别个人数据的处理可以根据GDPR第9条第2至4款所规定的严格条件下获得合法性基础。这些条件允许在特定情况下放宽对特殊类别个人数据的处理限制。例如，当涉及到准备人工智能系统的训练数据（如数据收集和分类）以及应用人工智能系统时，可能需要依赖GDPR第6条第1款和第9条第2款所提供的不同的法律基础。
GDPR第6条第1款a项和第9条第2款a项允许使用明确的同意作为处理特殊类别个人数据的法律基础。这意味着，如果数据主体明确同意其数据被用于收集、处理训练数据和训练人工智能系统，这样的数据处理可以被视为合法。然而，这种同意的有效性可能会受到诸如锁定效应、引导行为和认知偏差（例如欺骗性设计模式）等因素的影响，这些都可能削弱同意的自愿性。尽管如此，与基于法律的法律基础相比，基于同意的处理提供了更多的灵活性和影响力，因为它允许数据主体对数据处理有更多的控制权。
作为数据保护法律基础的同意，为健康科学研究使用个人数据，也直接体现了信息自决权。一旦以法定法律基础合法化了人工智能系统的训练和使用，就必须记录受影响者的影响力，特别是异议权（例如，通过仪表板系统或其他管理系统）。在这种情况下，至关重要的是，要采取保护措施来保障个人的权利和自由，并确保与人工智能相关的数据处理达到高标准的保护和信任。因此，可以根据彼得斯堡宣言的原则处理个人数据，用于准备人工智能系统的训练，前提是要维护法定的高水平保护，如GDPR第32条第1款和第89条第1款所述：“通过适当的保障措施和方法为受影响个人提供的保护越高，数据的使用就可以越广泛和具体。”
关键问题：
处理的个人数据是否可能导致特殊类别的个人数据成为处理对象？
数据处理的生命周期是否需要根据GDPR第6条第1款和第9条第2款包含一个法律基础？
九、快速检查清单
1.数据处理的哪个阶段需要进行合法性基础分析？（参见第三章《数据处理阶段》。）
2.是否处理了GDPR（第2条、第3条）适用范围内的个人数据？或者处理的是匿名或匿名化的数据，这些数据可能通过额外信息或（新的）可用技术变成个人数据？
如果永久不处理个人数据，那么GDPR、BDSG或LDSG BW则不适用。然而，建议定期根据技术发展调整数据处理的审查，因为与个人的联系可能在具体场景下出现。
个人数据的概念非常广泛，参见GDPR第4条第1款，即所有涉及已识别或可识别个人的信息。只有永久匿名化才能消除个人属性。
处理的概念在GDPR第4条第2款中定义。请注意，处理的每个阶段都需要法律基础（收集、存储、修改等）。特别是，匿名化也需要法律基础。
3.明确并记录将使用哪种人工智能技术/应用，例如在开发大型语言模型时使用Transformer架构，包括内部AI架构和AI的使用目的（参见LDABayern《符合数据保护原则的AI系统检查清单》）。
4.确定AI模型本身是否涉及个人数据，并特别需要处理个人数据的法律基础（参见第二章《个人数据和AI系统》；另见LDABayern《符合数据保护原则的AI系统检查清单》）。
5.记录所有训练数据及其来源的可追溯文档（参见GDPR第5条第2款），（另见LDABayern《符合数据保护原则的AI系统检查清单》）。
6.根据GDPR第30条更新处理活动登记册（另见《符合数据保护原则的AI系统检查清单》）。
7.根据GDPR第35条制定数据保护影响评估（另见LDABayern《符合数据保护原则的AI系统检查清单》）。通过进行数据保护影响评估，可以尽快时刻AI特定风险，提高透明度，并采取适当的措施保护个人数据。这可能影响数据处理的合法性基础。
8.谁是数据控制者？（另见第四章《数据保护义务》），根据GDPR第4条第8款，数据控制者是指决定处理目的和手段的个人或组织。
9.是否存在处理个人数据的法律基础？如果处理的是GDPR第9条第1款规定的特殊类别个人数据，是否需要GDPR第9条第2款规定的法律基础？（参见第八章《特殊类型个人数据处理的法律基础》。）
10.原则上，处理是可能的。然而，必须遵守其他义务，例如GDPR的原则（GDPR第5条），尊重数据主体的权利（GDPR第12条及以后），实施技术和组织措施及保障措施（GDPR第24条及以后和GDPR第89条第1款），以及必要时制定数据保护影响评估（GDPR第35条）。