案件名称：
荷兰数据保护机构关于荷兰教育执行机构（Dienst Uitvoering Onderwijs, DUO）在居住补助欺诈控制过程中使用自动化风险分类的调查报告
案件背景：
本案涉及的主要当事人为荷兰教育执行机构DUO，该机构负责执行与教育相关的财政补贴政策，包括居住补助（uitwonendenbeurs）。荷兰数据保护局（AP）对DUO自2012年至2023年使用的自动化风险分类工具（风险档案）进行了调查。该工具用于识别可能滥用居住补助的学生。调查背景是媒体曝光和公众关注，特别是关于DUO的风险档案可能导致对具有移民背景的学生的歧视性处理。这一案件在荷兰社会引起了广泛关注，因为它涉及到教育公平、移民权益和数据保护的交叉问题。
案件事实：
争议起因于DUO使用的风险档案，该档案基于三个风险因素：教育类型、学生与父母居住地的距离、学生的年龄。以下是关键证据和调查发现：
1.风险档案的开发和应用：DUO开发了一个算法，该算法根据上述三个风险因素为学生分配风险分数，并据此决定是否进行家访检查。这一过程没有基于科学的、法律的或统计学的分析，而是依赖于“经验和常识”。
2.数据收集和处理：DUO在没有明确、客观合理的理由的情况下，处理了包括姓名、BSN（荷兰社会保障号码）、出生日期、地址、教育背景、父母地址等在内的个人数据。
3.风险因素的具体影响：
教育类型：MBO（中等职业教育）学生相较于WO（大学教育）学生被赋予更高的风险分数。
距离和年龄：居住地与父母距离较近且年龄较小的学生被赋予更高的风险分数。
非欧洲移民背景：内部审计显示，非欧洲移民背景的学生更频繁地被标记为“高风险”。
4.缺乏监督和评估：DUO未能定期评估风险档案的有效性和结果，未能及时发现和纠正可能导致歧视的区别对待。
法律依据：
GDPR第5条第1款a项：要求个人数据的处理必须是合法的、公正的和透明的。DUO的风险档案未能满足这一要求，因为它没有基于客观合理的理由，导致了对某些学生群体的不公平处理。
荷兰宪法第1条：禁止基于种族、宗教、性别、残疾、年龄等的歧视。DUO的风险档案中的教育类型、距离和年龄因素直接导致了对特定群体的歧视性处理，违反了宪法的非歧视原则。
欧洲人权公约第14条：禁止基于性别、种族、肤色、语言、宗教、政治或其他观点、国籍或社会出身、财产、出生或其他身份的歧视。DUO的风险档案中的教育类型和年龄因素可能对年轻和非欧洲移民背景的学生产生了歧视性影响，违反了这一条款。
欧盟基本权利宪章第21条：禁止基于性别、种族、肤色、宗教、残疾、年龄或性取向的歧视。DUO的风险档案中的教育类型、距离和年龄因素导致了对特定群体的歧视，违反了宪章的非歧视原则。
DUO的风险档案不仅缺乏客观合理的理由，而且实际上导致了对某些学生群体的直接和间接歧视，违反了上述法律条款。AP的调查报告强调了DUO在处理个人数据时未能遵守法律规定的合法性、公正性和透明性原则，以及未能避免歧视性处理的要求。
裁决结果
荷兰数据保护局（AP）的调查报告得出结论，DUO违反了GDPR第5条第1款a项，因为其处理个人数据的方式不合法、不公正，缺乏透明度。AP指出，DUO的风险档案导致了对某些学生群体的歧视性处理，违反了非歧视原则。AP建议DUO必须确保其处理个人数据的活动基于客观合理的理由，并且必须定期评估其风险档案的有效性。此外，AP建议DUO采取措施纠正这些违规行为，并确保未来的数据处理活动符合数据保护法规。报告中没有提到具体的罚款或处罚措施，但强调了DUO需要采取的纠正措施，以确保遵守数据保护法规。
合规启示
- 算法透明度和可解释性的重要性
DUO案件强调了使用算法时，透明度和可解释性的重要性。算法决策过程应该是透明的，以便可以对其进行审查和验证。这要求算法的设计者和使用者能够解释算法的工作原理，以及如何得出特定的决策结果。 - 客观合理性的验证
算法使用的选择标准必须基于客观合理的证据。这可能包括法律、科学依据或统计分析。在DUO案件中，缺乏这种客观合理性导致了歧视性的处理，这强调了在使用算法之前，必须对其进行严格的验证和测试。 - 定期评估和监督的必要性
DUO未能定期评估其算法的工作效果，这导致了长期的不公正处理。这一案件强调了对算法进行持续监督和定期评估的必要性，以确保它们不会随着时间的推移而产生不公平的结果。 - 歧视的多面性
DUO案件揭示了歧视不仅仅是直接的，也可能是间接的。即使算法没有直接考虑敏感特征（如种族或民族背景），间接效果也可能导致某些群体受到不公平对待。这要求在设计和实施算法时，考虑到可能的间接歧视效应。 - 算法影响的全面评估
在实施算法之前，必须进行全面的影响评估，包括对潜在的直接和间接歧视风险的评估。这要求组织不仅要关注算法的准确性和效率，还要关注其社会和伦理影响。