前情回顾
欧盟AI法中禁止性AI实践将于2025年2月2日正式生效，各国监管掀起了解释性指南的浪潮，卷起来！其中，荷兰数据保护机构是最为积极的，此前已经针对禁止性AI实践的多项都出具了征求意见。
关于AI系统在工作场所或教育机构中的情绪识别应用的解释参见公众号的翻译，是本文征求意见反馈总结的前序。
欧盟层面也已经出具了禁止性AI实践的指南，可以帮助理解本次反馈总结，尤其是分析可能欧盟层面指南也存在解释不清晰的部分。
AI系统在工作场所或教育机构中的情绪识别应用：征求意见反馈总结与下一步措施
摘要与下一步措施
本文总结了关于《欧盟AI法》第5条第六项禁止AI实践的相关征求意见反馈，并明确了后续步骤。该禁止AI实践涉及在工作场所或教育机构中使用情绪识别的AI系统。总体而言，AP从收到的反馈中提炼出以下三个主要观察结果：
主要观察结果1：征求意见反馈指出，现代AI技术的发展正在迅速推进，试图识别情绪和意图。
如今，AI技术的发展已远远超出基于文本的情感分析，例如，先进的AI技术还被用于分析面部表情。此外，“情绪识别”通常是多模态AI系统的一部分，AI系统的多模态能力提供了从不同类型数据中获取个人情绪或意图信息的可能性。然而，这些技术的可靠性存在争议，其使用可能带来风险，例如导致歧视性影响。该技术的使用也可能具有侵入性，从而引发隐私风险。因此，即使在与工作场所或教育机构无关的情况下，也应谨慎使用这些技术。
主要观察结果2：许多反馈指出，需要进一步明确禁止AI实践中与范围相关的要素，以确定其实际重要性。
禁止AI实践中涉及情绪识别的内容在《欧盟AI法》中仅有限地实际运用。反馈显示，需要对禁止AI实践中的多个主题进行澄清。例如，情绪与生理状态之间的区别，情绪与易于观察的表情之间的区别尚不清楚。情绪与意图之间的差异也引发了疑问，意图的含义仍然不明确。这些概念决定了禁止AI实践的范围，其在实践中的实施将影响哪些形式的行为、特征和感知的分析与评估被禁止，哪些则不被禁止。欧盟委员会最近发布的关于禁止AI实践的指南提供了一定指导，但在具体实践案例中的适用性仍有限。
主要观察结果3：反馈指出，《欧盟AI法》中“生物识别数据”的概念存在不明确之处，以及如何将其与《通用数据保护条例》（GDPR）结合解读。
反馈提到，《欧盟AI法》中“生物识别数据”的定义似乎与GDPR中的定义不同。这引发了关于如何解释《欧盟AI法》中“生物识别数据”这一术语的问题。AP指出，《欧盟AI法》中的“生物识别数据”应结合GDPR进行解释。AP进一步强调，《欧盟AI法》是对GDPR及其他法律法规的补充。如果情绪识别基于个人数据进行，则必须满足数据保护法的要求。
AP 利用从征求意见中收集的信息和见解，支持荷兰监管机构为禁止措施的监督做准备，并将在未来几个月进一步将收到的意见纳入对禁止措施的解释中。与其他监管机构的合作与协调在荷兰数字监管机构合作平台（SDT）的人工智能和算法委员会等场所进行。此外，这些意见为 AP 在进一步解释禁止措施的讨论中提供了基础，包括欧盟委员会的指南。
I. 背景
《欧盟AI法》与禁止性AI
- 《欧盟AI法》（2024/1689）于2024年8月1日生效。该法案规定了欧盟开发和使用人工智能（AI）的规则。《欧盟AI法》的出发点是，尽管AI有许多有益的应用，但该技术也存在需要管理的风险。一些具有不可接受风险的AI系统将被禁止。
- 2024年10月31日，AP发布了关于《欧盟AI法》第5条第六项禁止AI实践的征求意见通知。该禁止AI实践涉及在工作场所或教育机构中使用情绪识别的AI系统（以下简称：禁止实践F）。
- 该征求意见通知旨在收集利益相关者（公民、政府、公司及其他组织）及其代表组织的信息和见解。AP的目标是收集信息，以便为《欧盟AI法》禁止AI实践的进一步解释提供基础。该征求意见通知也是关于《欧盟AI法》中各项禁止AI实践的系列征集活动的一部分。关于《欧盟AI法》、禁止AI实践以及AP作为监督机构的角色的更多信息，可在AP网站和之前发布的征求意见通知中找到。
- 在2024年10月31日至12月17日期间，AP共收到24份反馈，包括来自不同背景的各类组织和个人，例如学者。AP很高兴该征求意见通知能够吸引公民、公司、研究人员和民间社会组织的关注，并促使他们通过提交反馈来参与。
- 所有反馈均经AP审查，主要观点已纳入本文件。文件仅以一般性方式提及反馈提交者。在适当情况下，AP对反馈表示赞赏，尤其是当其可以直接追溯到《欧盟AI法》的规定或提供额外观点时。AP希望通过此方式为禁止AI实践的讨论做出贡献。2025年2月4日，欧盟委员会发布了《关于<欧盟AI法>所规定的禁止性人工智能实践的指南》（以下简称：欧盟指南）。在可能和相关的情况下，AP在本文件中使用指南回答了反馈中的问题。然而，AP并不打算通过本文档对禁止AI实践或相关法律进行解释。
- AP以算法和AI协调监督机构的身份发布了该征求意见通知。在AP内部，这些任务被分配给算法监督协调部门（DCA）。征求意见通知是为《欧盟AI法》禁止AI实践监督所做准备工作的延续。政府目前正在就《欧盟AI法》的国家监督机构进行正式指定。AP（算法监督协调部门）与荷兰数字基础设施管理局（RDI）在与其他监督机构的合作与协调下，共同发布了关于此事项的建议。建议内容包括将AP指定为《欧盟AI法》第5条大多数禁止AI实践的市场监督机构。
II. 提交意见的总结与评估
一般性观点：对情绪识别的担忧 - 一个荷兰民间社会组织和研究所，以及一个外国民间社会组织，指出在工作场所和教育机构范围内以及范围外使用情绪识别的风险。这些组织强调了偏见的风险，并主张广泛禁止此类应用。《欧盟AI法》的序言部分也指出了这些风险，例如这些AI系统的科学基础存在缺陷，以及情绪在不同文化和情境下的差异性。然而，《欧盟AI法》的禁止AI实践并未扩大适用范围，仅限于“工作场所和教育机构”。《欧盟AI法》允许在其他情境中使用此类应用，只要符合《欧盟AI法》的高风险规则以及其他相关法律法规（如GDPR）。
- 根据反馈，旨在识别情绪或生理状态的AI系统的发展和部署正在迅速推进。一位反馈者描述了一种应用，即“社交”机器人作为老年人的朋友/护理者，以改善护理服务。另一位反馈者描述了一种用于防止专业健身中过度训练的AI系统，该系统可以确保运动员不会被过度推动，并能够监测其健康情况。还有一位反馈者描述了汽车行业正在开发的监测系统，用于检测驾驶员打哈欠、眨眼或车辆摆动，以识别疲劳或分心。例如，配备摄像头的车辆可能会将频繁点头解释为疲劳的迹象，从而触发安全警告或自动转向，以防止事故发生。
标准1：情绪和意图的推断与识别
几位受访者表示，有不同的人工智能应用程序用于推断和识别情感和意图。受访者提到，这些人工智能系统的输入包括：面部图像、语音识别、运动检测、生理测量（基于心律、肌肉张力和体温）。受访者指出，人工智能系统在不同的环境中被使用，以试图识别或推断人们的内心感受、情绪和意图。受访者还指出，情感推断和识别的功能被集成到多功能AI系统中。例如，一个主要用于转录会议的人工智能系统也可以推断情感或意图，以实现额外的功能。 - 反馈者对AI系统的不同应用有深入了解，并指出将情绪识别的形式整合到AI系统的更广泛功能中是可能的。AI应用可以包含多种功能，AI系统也是如此，它们可以推断情绪或意图。一位反馈者指出，推断情绪或意图通常不是AI系统的主要目标。例如，AI系统可以用于评估求职者、转录会议或在考试中监控学生，但同时也可以识别情绪。根据反馈者的观点，问题是整个AI系统是否因此被禁止AI实践，还是仅禁止推断情绪的功能。AP认为，情绪识别并不需要成为主要目标才能适用禁止AI实践。欧盟指南并未对这一问题进行详细说明。
10.多位反馈者指出，禁止AI实践并未明确何时推断或识别情绪属于被禁止的形式。反馈者还指出，AI系统可能注意到一种表情（例如哭泣），但并未将其与情绪（悲伤）联系起来。此外，反馈者指出，推断与识别之间的区别并不清晰。反馈者进一步说明，实际上情绪识别通常是某种情绪可能存在的一种概率。根据AP的理解，这属于《欧盟AI法》中所指的情绪识别。如果得出不同结论，禁止AI实践将失去所有相关性。欧盟指南解释称，当处理生物识别数据允许与情绪进行直接关联时，即为识别情绪。
标准2：情绪与意图
反馈者表示，对于“情感”和“意图”的概念存在不确定性。许多受访者强调对这些概念进行明确解释的重要性。反馈者还指出，情感与在“物理状态”和“显而易见表达”状态下的意图方面的区别。建议增加更多的实例来加以解释和说明。 - 从法律确定性的角度来看，多位反馈者指出，需要对“情绪”和“意图”这两个概念进行明确的解释。《欧盟AI法》的序言部分列举了一些情绪和意图的例子，如快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞耻、轻蔑、满足和娱乐等。反馈者还列举了其他例子，如焦虑、紧张、压力、感兴趣、挫败感、不耐烦、攻击性和烦恼等。此外，反馈者指出，“情绪”是一个难以定义的概念，尤其是因为它高度依赖于情境。一位反馈者强调，AI系统的提供者声称其系统能够识别更复杂的情绪状态，例如紧张的快乐或沮丧的无聊。另一位反馈者将意图定义为寻找可观察行为背后的原因。还有一位反馈者指出，《欧盟AI法》序言中使用的“意图”一词未作进一步解释，导致了混淆。另一位反馈者指出，“意图”一词未出现在禁止AI实践的文本中，因此推导或确定意图不属于禁止AI实践的范围。AP强调，意图在《欧盟AI法》中“情绪识别系统”的定义以及序言第18条中均有提及，这解释了该禁止AI实践。欧盟指南表明，情绪的概念应广泛解释，意图也包含在禁止AI实践范围内。此外，指南指出，禁止AI实践不能通过使用或引用系统中的人的态度来规避。
12.许多反馈者提到，需要明确区分“情绪”与“生理状态”。反馈者指出，例如压力、疼痛和疲劳等解释既可以是情绪，也可以是生理状态。例如，压力可以通过生理信号（如心率、体温）来测量，而这些信号又可以作为推断个人情绪的基础。通过这种方式，测量生理参数可以用来推导情绪和意图。一位反馈者提到，例如在高风险职业中，通过减少临时工的疲劳来防止事故，这是一种生理状态的示例。为了澄清这种区别，另一位反馈者建议，生理状态表示一种客观的感知，而情绪或意图则指从客观感知中推断或解释出来的内容。根据反馈者的观点，需要明确区分这些概念。欧盟指南澄清称，观察到某人正在笑并不是推断或识别情绪的形式，而得出某人快乐的结论则属于情绪识别。
13.根据多位反馈者的观点，“显而易见的表达”与“情绪”和“意图”之间的区别并不清晰。根据《欧盟AI法》的序言，推断显而易见的表达并不被禁止AI实践。如果使用显而易见的表达来识别或推断情绪或意图，则这种行为属于禁止AI实践的范围。许多反馈者指出，情绪（和意图）与显而易见的表达之间的区别难以解释。一位反馈者认为，基本上任何被读取的情绪都是一种显而易见的表达，因为无法真正“读取”人们内心的感受（内在情绪）。根据欧盟指南，声音的特征，如提高音量或低声细语，是显而易见的表达的例子，不属于禁止AI实践的范围。
标准3：基于生物识别数据
在禁令 F 的背景下，反馈者指出，《欧盟AI法》中生物识别数据的定义与 GDPR 中的定义不同。一位反馈者还指出，禁令中 AI 情感识别系统的措辞与第3 条中的定义措辞不同，这导致了对生物识别数据作为禁止AI实践要素使用的混淆。 - 根据多位反馈者的观点，《欧盟AI法》与《通用数据保护条例》（GDPR）中“生物识别数据”这一概念的一致性尚不明确。一位反馈者指出，GDPR允许或要求通过生物识别数据确认自然人的“唯一识别”。该反馈者进一步指出，例如生理数据和行为特征等不能导致唯一识别的数据，也属于《欧盟AI法》的定义范围。对于许多反馈者来说，尚不清楚如何解释《欧盟AI法》中生物识别数据的概念及其实际影响。AP指出，“生物识别数据”应结合GDPR进行解释。
15.其他反馈者指出，《欧盟AI法》中“生物识别数据”的定义较为宽泛，并列举了多个例子。反馈者提到的生物识别数据的例子包括生理数据，如心率、皮肤电导、呼吸模式和眼球运动，以及其他如面部图像、声音特征或模式，还有行走和眼球运动的分析。
16.反馈者指出，尚不清楚神经数据和行为特征是否属于《欧盟AI法》中所指的生理、生理和行为特征的理解范围。另一个问题是，禁止AI实践是否也适用于多模态系统，其中既分析生物识别数据，也分析其他数据。一位相关反馈者的问题是，当在工作场所或教育机构中部署时，既使用面部识别又进行情绪识别的系统是否被全面禁止，还是仅禁止允许情绪识别的功能。欧盟指南强调，“生物识别数据”这一术语应广泛解释。同样，微观层面的模态，如DNA和气味，也属于定义范围。此外，行为和运动生物识别技术，如签名、行走、键盘敲击和心电图（ECG），也属于生物识别数据。在这种情况下，生物识别输入可以涉及一种或多种模态。
17.最后，多位反馈者指出，禁止AI实践并未引用《欧盟AI法》第3条第34款中定义的“生物识别数据”，如高风险AI应用中的情绪识别（附件III）所示。反馈者指出，因此尚不清楚禁止AI实践是否需要使用生物识别数据才能适用。《欧盟AI法》中“情绪识别系统”的定义中包含了“生物识别数据”这一概念，但禁止AI实践并未使用该定义，而是引用了推断情绪的系统。根据AP的理解，《欧盟AI法》在这方面存在不一致之处，其意图是为禁止AI实践和高风险AI系统的情绪识别创建一个一致的制度。这也体现在欧盟指南中，其中《欧盟AI法》第3条第39款中情绪识别系统的定义也被视为与禁止AI实践相关。因此，禁止AI实践涵盖了基于《欧盟AI法》中定义的生物识别数据的情绪识别形式。基于文本的情绪分析（不基于生物识别数据）不属于禁止AI实践的范围。
标准4：工作场所或教育机构
反馈者提到“工作场所”和“教育机构”的概念既可以狭义解释，也可以广义解释。许多反馈者熟悉在工作场所和教育机构中推断情感和意图的各种应用。反馈者还提供了一些情况或应用的例子，这些例子事先并不明确是否会受到禁止AI实践所涵盖。 - 多数反馈者呼吁进一步明确“工作场所”这一概念的范围。反馈者指出，情绪识别在工作场所中的应用可以用于改善客户服务和舒适度，以及监测参与度、工作行为和工作满意度，无论是在在线会议还是办公室环境中。许多反馈者强调，“与工作场所相关的情况”缺乏明确性。一位反馈者认为，尚不清楚是否覆盖那些不从员工那里推断情绪，而是设置在工作场所中的AI系统。根据该反馈者的观点，存在一些AI系统可以从客户在客户服务对话中的情绪中识别情绪，而这种情绪推断并非针对员工，而是针对客户。欧盟指南澄清称，旨在识别客户情绪的呼叫中心中的情绪识别应用并不被禁止AI实践所覆盖。反馈者对混合或远程工作环境中的禁止AI实践应用缺乏清晰的理解。根据反馈，监狱和医疗机构等既作为私人空间又作为工作场所的环境，也构成了一个灰色地带。欧盟指南解释称，工作场所包括任何特定的物理或虚拟场所，自然人在其中从事雇主或其所属组织分配的任务和职责。自然人的身份并不重要，可以是员工、自由职业者、承包商、实习生或志愿者。
19.反馈者对禁止AI实践在招聘和选拔背景下的适用性反应不一。一位反馈者认为，与工作场所相关的招聘和选拔并不属于禁止AI实践的范围。该反馈者解释称，这种做法既不受禁止AI实践文本也不受序言的支持。此外，该反馈者强调，使用AI系统进行招聘和选拔候选人的应用是《欧盟AI法》附件III中列出的高风险应用之一，因此在招聘和选拔背景下的情绪识别不能被禁止AI实践。另一位反馈者指出，这里需要区分在工作环境中被监测的员工与其他情境（如工作面试）中的员工。因此，该反馈者认为禁止AI实践仅适用于第一种情境。欧盟指南解释称，不平等的权力关系可能在招聘阶段就已经存在，因此在招聘和选拔过程中推断和识别情绪或意图也属于禁止AI实践的范围。
20.多数反馈者指出，尚不清楚何时在“教育机构”中应用AI系统。反馈者列举了教育中情绪识别的多种应用，例如监测学生的参与度、专注度和满意度，支持互动学习和最佳学习环境，以及改善学生与教师之间的沟通。反馈者提到的未充分澄清的情况包括在图书馆准备教学材料、教师参加课程，以及在线和远程学习等。根据欧盟指南，“教育机构”这一概念也得到了广泛解释。它包括公立和私立机构，涵盖所有类型和年龄的学生和教师，以及任何类型的环境（在线、混合式、实体）。根据欧盟指南，在教育机构的申请/录取过程中进行的情绪识别也属于禁止AI实践的范围。
禁止AI实践的范围
反馈者表示，需要对禁止范围以外的情况进行额外解释。何时可以出于医疗或安全原因进行情感识别？几位反馈者还指出，该禁止AI实践忽视了情感识别在工作场所和教育机构中具有积极效果的其他应用。 - 根据多数反馈者的观点，尚不清楚何时因医疗或安全原因使用情绪识别。反馈者指出，尚不清楚例如雇主为测量心理健康（如职业倦怠或工作压力）而推断情绪是否属于医疗原因。一位反馈者指出，治疗性使用的示例也需要进一步解释。多位反馈者对使用AI系统推断情绪以防止攻击性升级（无论是在工作场所还是教育机构）是否属于安全原因表示怀疑。欧盟指南对这些禁止AI实践范围的例外提供了额外的解释，在工作场所中，压力监测是不被允许的，治疗性使用包括部署带有CE标志的医疗设备。
22.多位反馈者质疑是否为积极目的使用情绪识别系统存在例外。一位反馈者指出，禁止AI实践忽略了在工作场所和教育机构中识别情绪的积极应用。另一位反馈者提到，不识别特定学生的情绪识别，不会对该特定个人产生后果，但可以用于改进教学材料或互动学习环境。另一位反馈者指出，情绪识别可用于监测员工健康，并质疑是否允许使用情绪识别。根据AP的观点，在这些情况下，情绪识别通常不仅仅用于“医疗原因”，还可能涉及其他多种动机，例如优化工作场所、防止病假或提高员工绩效。欧盟指南明确指出，这些禁止AI实践的例外应严格解释。
23.最后，反馈者质疑是否可以通过获得同意来作为禁止AI实践的例外。例如，一位反馈者询问雇主是否可以在获得员工同意的情况下使用情绪识别。根据AP的观点，《欧盟AI法》中没有为这种例外提供依据，因此，同意不能作为禁止AI实践的例外。
III. 后续步骤
24.本总结文件的发布标志着关于在工作场所和教育机构中禁止AI实践的征求意见反馈过程的结束。提交的反馈导致了几个关键要点，这些要点与《欧盟AI法》中禁止AI实践的解释相关：
a. 反馈提供的各种示例表明，AI技术正在迅速发展，试图推断情绪和意图的应用似乎正在兴起。同时，人们对这项技术的可靠性存在担忧，建议在与工作场所和教育机构无关的情况下也应谨慎使用。
b. 禁止AI实践包含许多在《欧盟AI法》中未进一步解释（或仅有限解释）的术语和概念。欧盟委员会发布的《关于<欧盟AI法>所规定的禁止性人工智能实践的指南》提供了指导，但在具体案例中的适用性仍有限。澄清禁止AI实践中的某些术语和条件对于确保其为公民提供保护以及为运营商提供法律确定性至关重要。
c. 该禁止AI实践与“生物识别数据”这一概念密切相关，尤其是在《通用数据保护条例》（GDPR）中的相关规定。AP指出，《欧盟AI法》中的“生物识别数据”应结合GDPR进行解释。
25.AP正在准备对荷兰境内禁止AI实践的监督工作，并将在未来几个月内进一步利用收到的反馈，为禁止AI实践的信息和解释工作提供基础。所获得的知识将与荷兰数字监督机构合作平台（SDT）中的荷兰监督机构共享，SDT中的人工智能和算法委员会（AAK）将讨论需要采取哪些后续行动来澄清《欧盟AI法》中的禁止AI实践。上述方法与监督机构的愿景一致，即努力实现对禁止性AI实践的规则的协调一致的解释和应用。
26.AP还将利用收集到的实际见解，作为进一步讨论禁止AI实践发展指南的基础。指南应被视为一个“动态文件”，根据（法律）发展情况，需要不时进行更新或调整。