荷兰数据保护机构于7月15日发布了2025 年 7 月的《荷兰人工智能与算法报告》（第五版）聚焦荷兰人工智能与算法的发展态势，核心内容围绕情感识别 AI 系统的兴起与风险、相关政策法规进展、组织责任及整体治理等方面。报告指出，情感识别 AI 系统应用增多但原理受质疑，存在侵犯人权等风险，且在教育和工作场所已被禁止；强调组织需审慎使用该技术并注重透明与知情同意；同时提及荷兰在可信 AI 发展、算法注册、应对歧视风险等方面的努力与挑战，以及 AI 在医疗、能源等领域的应用及相关问题。
核心信息
- 用于情感识别的 AI 系统的发展正在增长，而其工作原理受到质疑，使用这些系统存在风险。
越来越多的 AI 系统声称能够基于生物特征识别情感状态，如快乐、愤怒或压力。例如，通过分析面部表情来识别消费者的情绪以了解其购买行为，或通过识别患者的情绪来改善医疗服务。这些系统建立在关于情感及其状态指标的有争议的假设之上，并且这些情感及其状态指标的可测量性也受到质疑。因此，这些系统是否真的能够测量情感是值得怀疑的。如果这些系统仍然被使用，可能会侵犯基本权利和公共价值观。例如，可能会限制自由和人类自主性、导致歧视以及侵犯隐私。在第3 章中可以了解更多关于 AI 和情感识别的信息。 - AP 对客户支持、可穿戴设备和语言模型中的情感识别应用进行了审查；广泛的应用范围在某些情况下会导致需要引起开发者、用户、监管者和政策制定者关注的风险。
通过深入研究发现，例如情感和压力的识别方式并不总是清晰的，其有效性也不明确。尽管这些应用的增长迅速，但人们并不总是清楚情感识别是否被使用，以及是基于哪些数据进行的。开发者和用户必须意识到每种特定应用所带来的风险。不同的应用将受到特定法规的约束。然而，是否需要使用这些系统是一个需要开发者、用户、监管者和政策制定者共同考虑的问题。自 2025 年 2 月起，教育和工作场所中使用 AI 进行情感识别已被禁止，但在允许使用这些系统的特定条件下，最终将由政策制定者来决定在哪些情况下以及在何种程度上使用这些系统是可取的。 - AP 呼吁组织对使用情感识别应用持批判态度。
组织必须意识到情感识别的局限性，并谨慎评估其使用是否适当和成比例。如果使用这些系统，组织必须对被分析情感的个人保持透明。此外，获得被分析人员的同意是组织负责任地使用这些系统的首要步骤。在第4 章中讨论了三个情感识别的实践案例。但对其他应用而言，负责任、有意识和透明地使用这些系统也很重要。 - 在荷兰，人们致力于实现可靠的 AI，但作为社会，我们需要加快步伐，以负责任的方式利用 AI 的机会。
可靠的算法和人工智能（AI）应用是可能的，但这需要关注保护、安全和透明度。这意味着我们作为社会必须从事件中吸取教训。鉴于荷兰组织采用 AI 和算法的速度和规模，似乎很有可能许多事件未被注意到、未被报告，且未从这些事件中吸取教训。在社会转型阶段，发生事件是不可避免的。应对事件并了解其性质、原因和损害是组织在负责任使用方面成长的关键。监管者可以与立法者和监管领域合作，共同创造一个合适的环境，让这些知识可以在不泄露商业秘密的情况下共享。 - 对于每一家组织来说，现在都有可能利用日益丰富的工具包，有目标地开展 AI 成熟度建设。
从算法注册、偏差测试到建立质量管理体系，再到执行基本权利评估以及公开使用情况，要实现这些目标，组织需要投入人力和资源，并设定可衡量且具体的组织目标。例如，设定一个雄心勃勃的目标，每年对最关键的算法流程和 AI 系统进行审计，重点关注组织控制、稳健性、偏差和公平性、网络安全和随机性等重要标准。这对组织来说是一个挑战，它需要组织发挥责任感和自身的洞察力。成熟的组织在使用方面保持透明，拥有健全的控制体系和流程，并且认真对待内部控制、外部控制和监管。 - 人类审查和防止歧视仍然是一个重要挑战。
在荷兰，我们非常清楚，无论是人还是算法都可能进行歧视。这清楚地表明了在流程中同时减少人类和算法偏差的重要性。人类与算法之间的相互作用对于此至关重要，必须良好地进行设计，以尽可能减少歧视和偏差。荷兰众议院最近通过了一项动议，以“盲评”公民为出发点，例如在欺诈检测中。从数据保护监管机构 AP 的角度来看，有必要查看整个决策链，加入非选择性抽样，确保风险选择的可解释性和可争议性。 - AI 在地缘政治发展中发挥着重要作用。
成功的 AI 应用被视为经济发展的关键。促进创新和 AI 生态系统的建设迅速成为政治议程的重中之重。当对规则限制创新存在疑虑时，人们往往会考虑放松监管。但为了防止过度发展，同时也在开发或实施新的法规。此外，不同国家和地区的创新与保护之间的平衡视角也各不相同。此外，AI 越来越多地成为国家战略的一部分，从医疗保健到国防不等。其中，对大型参与者依赖程度的增加以及对战略自主性的日益增长的需求也起到了越来越重要的作用。欧洲也在关注这一主题，例如通过欧盟委员会的 AI 战略及其相应的融资目标。 - 保持或加快开发和实施 AI 政策的步伐至关重要。
为了利用 AI 的机会并控制风险，仍然需要一个国家层面的全面 AI 战略。对于（半）公共组织使用有影响力的算法或 AI 时，强制要求进行算法注册非常重要。AP 还建议对这些算法和 AI 进行定期审计。为了引导负责任的创新走向正轨，必须在荷兰所有相关监管者和检查机构中为 AI 监管提供足够的资源。为了有效地共同组织监管并与快速的技术发展同步，投资于合作网络是必不可少的。AP 建议在公共投资创新中预留一定比例的资金用于内部控制、外部控制和监管。对于私人投资，也建议预留一部分用于风险管理，包括内部控制和外部控制。这些层级的良好运作对于加速创新至关重要。 - AI 法规越来越具体化，其中标准是一个重要的工具，用于掌握 AI 并在未来符合 AI 法规。
在 AI 法规生效一年多后，我们看到了进一步的澄清和具体化。欧盟委员会关于禁止 AI 系统和 AI 系统定义的指南提供了初步的见解和解释，但也引发了更多后续问题。进一步的具体化将随之而来，其中标准的发展将明确组织如何满足 AI 法规的要求。不仅需要通用标准，还需要针对特定行业的 AI 法规的转化，以提供指导和依据。 - 将算法纳入注册表是控制算法使用所带来风险的良好开端。算法注册表包含有关算法使用的信。
总体而言，算法注册有两个主要目标。目标 1：促进对算法的内部控制（治理）。目标 2：促进对算法的外部控制（透明度）。荷兰政府正在为算法注册制定法律框架。法律框架应明确算法注册的要求。即使没有强制要求，算法注册表现在也是一个有价值的实用工具，用于提供透明度和促进对政府算法的控制。目前，许多组织尚未利用算法注册表；AP 鼓励政府组织尽可能多地使用它。在附录“开始算法注册”中，AP 提供了八个具体的建议，以便开始进行算法注册。
政策与法规
全球在算法和人工智能（AI）领域的进展，持续呼吁采取行动以提升透明度和问责性。与此同时，仍需更优的政策和监管。本章旨在阐述全球、欧洲以及国家层面上，政策与监管如何应对AI所带来的挑战、机遇与风险。首先，我们聚焦于欧洲法院对算法透明度与可解释性的澄清。随后，我们探讨了美国、中国以及欧盟在地缘政治层面围绕AI的挑战以及它们的应对方式。在《人工智能法》的框架下，欧洲也强调了创新的重要性以及对基本权利提供充分保护的必要性。这体现在指导方针、标准以及监管沙盒的发展上。过去几个月的进展表明，欧盟正在逐步构建一个更具体的框架，以负责任的方式在社会中应用算法和AI。保持并尽可能加快这一进程至关重要。 - 算法的透明度和可解释性
当算法和人工智能（AI）用于自动化决策时，人们需要能够理解该系统是如何得出该决策的。新的欧洲判例法阐明了在自动化决策中，根据《通用数据保护条例》（GDPR）的要求，何时提供的信息符合要求。这些要求涉及在涉及个人的决策过程中使用算法和 AI 时的透明度。2025 年 2 月，欧洲法院对一项关于信用评估的预审裁决（案件 C-203/22，Dun & Bradstreet Austria GmbH）作出了裁决。该案件涉及拒绝一个每月费用为 10 欧元的电话订阅，原因是客户信用不足。在此案中，奥地利法院此前已得出结论，Dun & Bradstreet 没有提供关于信用拒绝的底层逻辑的有意义信息。新的裁决为在何种情况下提供有意义信息提供了更多明确性。
使用算法和 AI 进行自动化决策的组织必须确保提供的解释既不太复杂，也不太简单。法院强调，个人有权获得关于决策逻辑和所依据数据的解释。为了使信息有用并使个人能够（例如）对决策提出异议，信息必须简洁、透明、易于理解且易于获取。这需要量身定制，一端是仅告知使用了算法，但这不足以提供可理解性；另一端是提供对整个算法的详细描述，但这既不简洁，也可能在某些情况下涉及商业秘密信息的披露。
中间的黄金法则取决于具体情况。一个可行的例子是，在自动拒绝申请时，个人可以了解如何通过调整数据来影响决策结果。例如，解释可以是：如果个人的月薪增加 500 欧元，那么在相同条件下，相同的信贷申请将被批准。同时，在实践中，这种解释存在挑战（现在的解释并不总是对未来提供保证），并且在某些 AI 系统中，许多参数可能对结果产生决定性影响。政策制定者和有实践经验的组织需要考虑的问题是，是否应向个人提供所有可能影响决策的方式，或者是否只需提供一种可能的方式。
使用算法和 AI 进行自动化决策的组织必须对其解释给予足够关注。因为要提供关于系统决策的有意义解释，决策必须能够从算法的运作中逻辑地追溯。当算法过于复杂时，这可能很困难。然而，如果缺乏这种可解释性，也会阻碍个人对决策提出异议或获得可能更正的权利。因为不清楚个人需要改变什么才能使组织做出不同的决策。此外，个人也无法检查决策是否经过了仔细的考虑。这种可解释性要求的后果是，开发者在设计和记录 AI 系统时必须考虑到人类自主性的必要性。受算法或 AI 自动化决策影响的个人必须获得有关该决策的解释。
这一解释还为《人工智能法》提供了进一步的背景。欧洲法院的预审裁决阐明了在自动化决策中行使知情权的应用，如GDPR中所规定的。此外，《人工智能法》规定了个人在个体决策中的知情权。简而言之，该权利意味着，受高风险 AI 系统决策影响的个人必须收到清晰且相关的信息。解释必须涉及 AI 系统在决策中的作用以及所做决策的主要要素。这与《通用数据保护条例》中类似的条款密切相关。法院在 Dun & Bradstreet 案中的裁决也为 AI 开发者和使用者如何设计和记录其系统以满足个体决策中的可解释性要求提供了指导。从数据保护监管的角度来看，AP 今年将提供进一步关于有意义信息提供的指导。 - 国际发展
在国际层面，关注的焦点是围绕人工智能（AI）的地缘政治发展。在全球 AI 竞赛中，权力平衡正在发生变化。主要是美国和中国在争夺 AI 基础设施开发的领导地位。Deepseek 的推出，既作为聊天服务也作为开源模型，标志着中国在全球 AI 基础设施中日益增长的作用。AI 的快速发展伴随着越来越多的地缘政治问题。这主要是因为这种技术对全球权力平衡、经济结构和社会进程的深远影响。
美国和中国在 AI 领域的领导地位得益于对 AI 的大量投资。斯坦福大学以人为中心的人工智能研究所发布的《2025年AI指数报告》得出结论，美国和中国之间的领导力差距显著缩小。尽管美国在私人投资和 AI 模型生产方面仍然领先，但中国通过质量改进缩小了差距。中国还在 AI 出版物和专利数量方面保持领先。
自 2025 年初以来，美国公开强调简化和放松 AI 监管的新方向。与此同时，美国也在制定与《人工智能法》类似的具有约束力的具体法规。例如，通过一项行政命令，旨在消除 AI 创新的障碍并保持美国的领导地位。这一行政命令取代了拜登政府早期的行政命令，后者强调联邦政府内部安全和可靠 AI 使用的先决条件。尽管最近宣布的备忘录强调简化监管和对安全与个人权利保护的担忧，但备忘录中包含的保障措施与早期行政命令中的类似。备忘录《通过创新、治理和公共信任加速联邦使用AI》宣布了对“高影响 AI”的要求，包括文档化、影响评估、测试以及人类干预的可能性。值得注意的是，“高影响 AI”的定义与《人工智能法》中的定义相似。例如，基于教育、住房、保险或就业决策的 AI 被视为高风险。
中国正在制定具有约束力的监管框架，关注具体标准。从 2025 年 9 月 1 日起，AI 生成的内容必须对用户清晰可辨。正在制定国家 AI 标准，中国也积极参与国际标准的开发。
全球对 AI 的私人投资大幅增长，2023 年至2024 年间增长了 44.5%。除了美国、欧盟成员国和中国之外，其他国家也在大力投资。2024 年，英国投资了 45.2 亿美元，加拿大投资了 28.9 亿美元，阿拉伯联合酋长国投资了 17.7 亿美元。 这表明许多国家都看到了 AI 的机会。 - 国家发展
在国家层面，过去半年中，数字化国务秘书的工作尤为突出，以及众议院通过的一些动议。同时，对数字服务法（DSA）的监管也正式启动。
内阁在 4 月发布了关于政府使用生成式 AI 的新立场。新立场较为宽松，鼓励使用生成式 AI。该立场与一份指导手册一同发布，旨在帮助政府组织负责任地使用生成式 AI。他们还必须与供应商达成协议，并适用单独的条件。AP 预计，由于这一立场，政府将更多地使用生成式 AI。尽管 AP 认为谨慎行事是必要的，但也看到该立场和指导手册中包含了许多关于使用生成式 AI 的良好要素。
AP 强调，应用层面的某些先决条件应得到更多关注。这主要涉及生成式 AI 在实践中使用的先决条件。一个例子是确保足够的 AI 素养。此外，将生成式 AI 放在更广泛的背景下也很重要。如果不这样做，可能会无意中改变现有流程。我们在 2023 年秋季的报告中更多地讨论了所谓的算法扭曲。
AP 也通过发布关于生成式 AI 的愿景咨询草案，为社会辩论做出贡献。AP 与开发、使用和研究生成式 AI 的各方就该愿景进行了讨论。除了促进辩论外，AP 还在此描绘了期望的未来愿景，以实现合法和负责任地使用生成式 AI。
此外，关于“算法决策和行政法”的互联网咨询的结束进一步推迟。这一咨询于 2024 年 4 月结束，AP 在之前的报告中已经指出需要关注后续情况。在政府数字化的进程中，将（法律）体系纳入其中至关重要。这确保了政府的行为保持可审查性、可解释性和公正性。
最后，政府在过去一段时间内进一步开展了关于模型和算法使用科学标准的开发工作。 该标准基于莱顿大学的工作进一步开发。AP 再次强调，需要将这些要求与《人工智能法》中的条款联系起来。不希望在不同（产品）标准中对类似要求有不同的解释。
众议院于 5 月 20 日通过了一项动议，要求政府更多地开展算法注册工作。72 该动议特别关注可能使用风险分析和自动化选择工具的算法。之前要求公布此类算法的请求尚未完全执行。该动议试图合理地改变这一现状。
荷兰数据保护局（AP）也注意到欧洲在简化法规方面有明确的动向。目前，欧洲的法律框架强调基本权利和公共价值观，例如透明度。然而，欧洲也对国际上人工智能（AI）的能力表示担忧，并且有人对法律框架的复杂性及其对欧洲竞争地位的影响提出了疑问。2024 年 9 月发布的德拉吉报告之后，对这些问题的关注进一步增加。该报告警告说，复杂的法规可能会使欧洲在与美国和中国相比处于劣势。 最近，十三个欧洲成员国签署了一份声明，呼吁增加对 AI 的投资，消除障碍，并简化欧盟的规则和程序。在这些讨论中，欧盟委员会最近宣布了一系列措施。其中之一是人工智能大陆行动计划（AI Continent Action Plan），旨在使欧洲成为人工智能领域的世界领导者。
人工智能大陆行动计划主要关注在欧盟内推动人工智能创新。为此，欧洲人工智能基础设施需要升级，以便为训练和微调人工智能模型提供研究和创新的可能。该计划还投资于确保高质量数据用于人工智能创新。此外，该计划旨在提高人工智能技能和人工智能素养。
欧洲在人工智能和算法方面的投资意愿很大，这从上述人工智能大陆行动计划中可以看出。此外，欧盟最近启动了 InvestAI 计划，旨在释放 2000 亿欧元的人工智能投资。其中，200 亿欧元的基金将用于资助未来的人工智能巨型工厂，这些工厂将训练复杂且庞大的人工智能模型。荷兰内阁宣布将投资于一个人工智能工厂，该工厂也将成为 EuroHPC 欧洲人工智能设施网络的一部分。该人工智能工厂将成为人工智能开发的一站式商店，通过作为知识中心、提供人工智能计算能力和数据存储来促进人工智能开发。 在欧洲内部，简化法规的呼声得到了回应，但也有其他不同的声音。一些专家强调，欧洲的数字监管框架正是为了通过控制潜在风险来促进创新和增强信任而设计的。其他人则指出，由于缺乏私人投资，欧洲的投资落后了。这可能是由于资本市场联盟的弱点和关于国家援助规则的不足。
4.《人工智能法》的澄清和具体化
在《人工智能法》生效一年多后，也看到了对该法律的进一步澄清和具体化的步骤。AI 办公室和预期的国家监管机构正在开展举措，以促进遵守该法规。这通过指南、通用目的 AI 的行为准则和行为规范来实现。
欧盟委员会在 2025 年发布了关于《人工智能法》的第一批指导方针。2 月发布了关于（1）禁止性AI和（2）人工智能系统定义的前两份指导方针。其他主题的指南将在未来几年内发布。
AP 认为，尽管有了这些指导方针，但在进一步具体化和框架设定方面仍有很大的空间。这些指导方针被作为一份“动态文件”发布，欧盟委员会将保持其最新状态，并在必要时进行调整。例如，这些调整可能基于监管机构的经验、新的判例法或技术发展。在关于禁止人工智能（AI）的指南中，欧盟委员会对 AI 提供者防止禁止实践的责任进行了广泛的解释。AI 提供者必须能够很好地评估其 AI 系统被用户使用的程度。基于这种评估，他们必须建立保障措施以防止禁止使用。例如，提供情感识别系统的人必须确保该系统不会在学校或工作场所使用。此外，欧盟委员会在详细的指南中对禁止内容进行了更具体的阐述，包括一些示例。
尽管有了这些指南，关于“AI 系统”定义的不确定性仍然存在。例如，没有充分明确一个系统是否可以由多个组件或流程组成。也不清楚系统界面是否也属于“AI 系统”。关于“推理能力”的要求也存在不确定性，以及哪些系统不属于定义范围内的示例。积极的一面是，欧盟委员会在指导方针中强调，AI 系统的定义既涉及系统的开发阶段，也涉及使用阶段。因此，即使是简单算法的 AI 技术使用也在《人工智能法》的范围内。
在未来一段时间内，欧盟委员会将发布更多指南。AP 预计今年夏天至少会发布关于高风险 AI 系统严重事件报告的额外指南。此外，《人工智能法》规定，到 2026 年 2 月 2 日，必须有关于高风险人工智能系统分类规则的指南。这不仅应使人们更清楚哪些类型的人工智能系统属于这一类别，还应明确在何种情况下适用豁免。
关于通用目的人工智能（GPAI）的行为准则，是《人工智能法》具体化的一个重要方面。遵守行为准则是通用目的 AI 提供者证明其符合法律的一种方式。我们在之前的报告中更详细地讨论了这一点。在撰写本报告时，行为准则的最终版本尚未发布。由于从 8 月起，通用目的 AI 模型已经需要遵守法规中的更严格规则，因此行为准则也备受期待。
通用目的 AI 的行为准则
欧洲标准对于高风险 AI 系统的实践要求的实施暂时还处于等待状态。委员会向标准化组织 JTC-21 提出的第一份标准化请求的截止日期（2025 年 4 月 1 日）已经过去。此外，目前还不清楚何时会交付所有标准。鉴于目前的进展，AP 建议 AI 提供者根据法规文本和尽可能多的良好实践，开始遵守法规。重要的是不要等待这些标准的发布。与此同时，政策制定者和监管者需要在 2026 年 8 月高风险 AI 系统的首次要求生效之前，明确这将对《人工智能法》的遵守和监管意味着什么。
除了指南、行为准则、模板和标准之外，还有更多举措旨在澄清《人工智能法》。例如，委员会启动了AI Pact，以帮助 AI 提供者实施该法规。过去几个月还组织了多个网络研讨会，这些研讨会对所有人开放。这些网络研讨会为参与者提供了对法规及其实施的更好理解。这些网络研讨会可以回看。
人工智能办公室正在启动一个人工智能法规服务台。该服务台的目标是支持企业和政府遵守法规。截至5 月 19 日，有一个招标活动正在进行，由人工智能办公室指导，外部团队将就 AI 提供者关于法律的问题提供建议。该服务台将作为一个互动平台，作为中心枢纽，还提供一般信息和支持材料。目前还不清楚该服务台何时启动。
此外，无论是国家层面还是欧洲层面，都在努力落实人工智能素养的义务。人工智能办公室正在为此制定行为准则，作为AI Pact的一部分。此外，欧盟委员会最近发布了一个常见问题解答（FAQ）。在国家层面，AP 发布了一个征求意见的呼吁，以收集人工智能素养的实践案例。基于这些回应，AP 将制定一份包含良好实践案例的文件。荷兰组织可以从中获得启发，制定自己的人工智能素养政策。这些结果在 6 月 18 日关于人工智能素养的研讨会上进行了介绍。
最后，欧洲公共采购者社区发布了一个更新版本的现有示范合同条款。这些条款旨在支持公共部门的 AI 系统采购者。该更新包含一个针对高风险 AI 采购的示范合同，并且完全符合《人工智能法》的最终版本。此外，这些条款可以根据采购非高风险 AI 的具体需求进行调整。还有一个关于这些条款使用的说明。示范合同很有用，因为在采购 AI 系统时，确保采购条件是有序的非常重要。例如，你还需要清楚地了解 AI 系统处理的数据会发生什么，以及这些数据的权利是如何安排的。 - 国家发展《人工智能法》
3 月，AP 与国家数字基础设施检查局共同发布了一份关于荷兰实施监管沙盒的提议。该提议是在与多个监管机构和部委合作下制定的，描述了监管沙盒的预期出发点和流程安排。该提议的目标是为未来的合作和协调奠定坚实基础。最迟在 2026 年 8 月，监管沙盒将正式启动。在发布提议之前，通过与多个组织就《人工智能法》的问题进行试点和对话，与荷兰 AI 生态系统中的利益相关者进行了沟通。
该提议描述了如何使荷兰沙盒在法律确定性和创新方面发挥最大作用。为此，所有相关《人工智能法》的监管机构积极参与至关重要。这样可以通过一个中央入口点安排进入沙盒。这避免了 AI 提供者需要自行确定与哪些监管机构联系。此外，这种工作方式有助于确保监管机构对法规的解释保持一致。最后，这种方法使得可以将相关法规作为一个整体进行解释。
沙盒的附加值在于支持 AI 提供者遵守法规。例如，通过法律和技术咨询关于法规的解释、测试或验证。由于监管机构无法满足所有需求，沙盒必须与 AI 工厂、测试和实验设施以及欧洲数字创新中心等其他举措良好衔接。
鉴于上述提议，众议院于 5 月 20 日通过了一项动议，要求优先开发监管沙盒。该动议要求政府确保该沙盒最迟在 2026 年第一季度可用。AP 欢迎这一呼吁，并致力于尽快启动沙盒。AP 与部委合作，以实现这一目标。
AI 与情感识别 - 基于生物特征的情感识别
生物特征数据越来越多地被用于识别人们的情感。生物特征数据是人体和行为特征。这些数据长期以来一直被用于验证和识别个人。自动分析生物特征和使用更多数据源使得新应用的开发成为可能。现在也有越来越多的系统旨在识别情感。这些系统分析生物特征数据并尝试识别情感。这可以成为决策、建议或其他输出的基础。生物特征系统不仅查看你是谁，还查看你的情绪状态。
早在 20 世纪 70 年代，研究人员就开始基于生理和心理信号识别情感，为情感识别系统奠定了基础。随着计算机的兴起，研究人员开发了能够分析面部表情和语音的算法。机器学习的出现是一个突破，它使 AI 能够处理大量数据。这使得系统更加易于使用和准确。从那时起，企业和组织看到了将这种技术用于各种应用的机会。
如今，各个行业都在关注各种情感识别系统，或者已经在使用这些系统。有些系统试图通过分析面部表情来确定某人所经历的情感。还有些系统测量皮肤电导、心率或语音，并进行评估。许多组织出于不同目的使用这种技术，例如营销、客户服务、招聘、教育、公共安全和医疗保健。监测压力和预防倦怠的市场也在迅速增长。情感识别可以不被察觉地使用。例如，在广告和营销中使用情感识别来评估和影响购买行为。
情感识别的发展和应用正在增长，因为组织和个人认为它可以带来很大的好处。组织使用识别的情感来改善产品、服务和健康，或者用于安全。此外，可穿戴设备使私人使用变得更加容易，例如用于监测压力。企业也看到了情感识别在改善与客户互动方面的重要性。第4 章将讨论情感识别的不同应用示例。一些科学文章提到了情感识别的潜在好处。例如，研究人员描述了系统如何通过使患者的情感更加清晰来改善医疗保健。这可能使预测患者的需求变得更加容易，并减少护理负担。情感识别也被用于支持患有自闭症的人进行社交互动。无论是关于情感识别的研究还是市场，都在增长。
然而，专家对情感识别系统的理论基础表示怀疑，并警告说可能会侵犯基本权利和公共价值观。在开发和应用过程中，可能会侵犯基本权利和公共价值观，例如隐私、人类尊严和非歧视。但对系统所基于的两个有争议的假设也存在疑问：可测量性和普遍性。 - 情感识别的不稳定基础原则
第一个原则是情感识别系统对每个人都使用相同的情感分类。这种假设认为存在一种普遍的情感分类，即每个人都以相同的方式体验和表达情感。这被称为“普遍性假设”。情感识别系统通常基于西方对情感的概念进行训练，而这些概念并不一定适用于所有人。实际上，情感往往是复杂且依赖于情境的。文化对情感的体验、表达和命名方式有着强烈的影响。这并不意味着人们完全没有共同的情感体验。
为了创建情感识别系统，必须假设情感可以通过一般且可测量的信号来识别。这种假设认为存在一般性的（生理和心理）信号，可以表明特定情感的存在。例如，微笑被认为是快乐的表达，高心率被认为是恐惧的指标。开发人员利用信号与情感之间的关系。信号因此成为情感的“代理”。认为代理足以将情感归因于一个人的想法是有争议的。一个信号可能表明不止一种情感。例如，高心率并不总是恐惧的指标，大声说话也不一定表示愤怒。这些信号也可能是更积极情感的指标。这使得情感识别不够可靠、不够具体，且不具有普遍适用性。 - 情感识别系统的工作原理
这两个有争议的假设在 AI 系统的训练和工作方式中都有所体现。对于许多不同类型的情感识别系统，其训练和工作原理大致相同。
情感识别系统可以使用不同类型的生物特征数据，例如语音分析、面部表情分析、心率、出汗、脑电活动、DNA 和气味。除了使用单一模态的系统外，还有多模态系统。这些系统结合了不同类型的生物特征数据，例如将手势与心率相结合。
AI 系统首先测量数据以识别情感。这可以通过多种方式完成。摄像头和麦克风可以捕捉语音、面部表情和姿势等信息。这些是众所周知且广泛使用的测量系统。还有可穿戴设备可以测量心率甚至脑电活动，例如智能手表、戒指和耳机。这些设备越来越便宜、越来越小，因此也更容易被大众使用。可穿戴设备佩戴在身体上。还有可以在远处测量的测量系统，例如具有面部识别功能的摄像头。
测量的数据首先需要为情感识别系统进行预处理，以便在系统中使用。在预处理过程中，例如对照片进行裁剪，或从语音记录中去除噪声。然后，系统通常会选择某些特征，例如照片中的面部表情。这些特征被转换成 AI 系统可以使用的格式。例如，通过使用代码来表示眉毛上扬。只有数据的抽象形式，即代码，会进入后续的 AI 系统。数据的预处理和转换通常也由 AI 模型完成。因此，情感识别系统实际上由多个 AI 模型组成。
AI 模型分析输入数据，并根据情感的某种分类将最有可能的情感分配给数据。有许多不同的情感分类方式。许多情感识别系统的开发人员使用六种基本情感的某种版本：恐惧、愤怒、悲伤、厌恶、快乐和惊讶。有时还会添加羞耻、内疚、自豪、同情、释然、希望和爱等情感。这种分类在 AI 系统中被广泛使用，因为它很容易转化为算法。情感也可以进一步在具有两个维度的模型中进行分类。第一个维度是情感是被体验为积极还是消极（“效价”）。第二个维度是情感的唤起程度（“唤醒度”）。例如，积极情感且唤醒度中等的是快乐，消极情感且唤醒度低的是无聊。
AI 模型是通过带有情感标签的数据进行训练的。不同系统的情感标签制作方式各不相同。如果模型使用面部表情，训练数据可能包含带有情感标签的照片。标签可以通过多种方式制作。受试者可以自己报告他们所经历的情感，或者其他人可以为数据分配情感标签。数据可以在“野外”收集，也可以在实验室中收集。在实验室中，有时会通过展示特定图像来诱发情感。也可以要求某人表演一种情感。这并不一定意味着该人真正体验到了该情感。所有这些因素都决定了系统将学习预测什么。
最终分配的情感随后被用于特定目的。情感识别系统通常是更大 AI 系统的一部分，情感识别的结果被进一步用于提供建议、评估或警告。这有时需要更多关于情境的数据。
有时，情感识别本身是最终目的。例如，用于监测情感或压力状态的应用程序。第4 章将讨论情感识别系统在实践中的不同应用示例。 - 情感识别的风险
使用情感识别系统及其结果时，可能会对公民的基本权利和公共价值观造成侵犯。这些风险可能在 AI 系统的不同步骤中产生，开发过程也会导致这些风险的出现。
情感识别系统可能会因训练数据中的标签偏见而产生歧视性工作。通常，情感识别 AI 系统的训练数据标签是由人完成的，这些标签是系统最终需要识别的情感。标注者的偏见可能会传递给训练数据，进而成为 AI 系统的一部分。因此，系统所学习的内容以及标注者的身份都很重要。
如果训练数据不够具有代表性，系统也可能导致歧视。模型可能无法很好地选择测量点并将情感分配给在数据集中出现频率较低的群体。数据集通常在文化、肤色、年龄和性别方面不够多样化。例如，研究表明，生物特征系统并不能同样有效地适用于所有肤色。有时，这些系统甚至会错误地将负面情绪分配给黑人。数据集中也常常缺乏儿童和老年人的数据，而情感和表情会因年龄组而异。最后，神经多样性人群（如自闭症患者）和患有健康问题的人可能会与训练数据有所不同。如果使用情感识别，某人可能会因此在工作中获得不公正的评价，或者在求职时被认为不适合。
情感识别系统可以根据其分析提出建议或具体建议。这可能会限制个人的选择自由和自主性。基于分配情感的建议可能会有意识或无意识地影响人们的行为。例如，如果购买行为是基于确定的情感而受到影响，这可能会侵犯选择自由。特别是如果这种影响是以操纵性或欺骗性的方式发生时，这与基本权利是相悖的。
此外，这些系统对情感的持续监测也可能侵犯人类尊严。如果用户已经知晓系统使用，情感的持续监测可能被视为烦人的、过于私密的监控。这可能发生在工作场所、教育领域和（半）公共空间。人们可能会因此感到压力增大，或者感到需要隐藏自己的情感。即使系统使用不为人知，它们也可能损害人类尊严，因为人们及其情感被简化为系统的简单测量。
私人使用情感识别系统也越来越容易。重要的是用户要意识到风险。可穿戴设备使人们更容易自行监测情感和情绪状态，如压力。应用程序还提供减少压力和改善福祉的提示。这些系统也可能在人们如何体验情感方面发挥重要作用。因此，可能会产生依赖性和过度自我监测。例如，人们可能会开始怀疑自己的判断。AI 系统可能会在用户和他们自身情感体验之间产生隔阂。因此，人们可能更少地独立理解和控制自己的情感。当然，如果用户意识到潜在的局限性，这种技术也可以提供情感福祉和健康方面的机会和见解。
由于情感识别系统使用个人数据（如照片）来分析情感，因此它们对数据保护和隐私构成风险。识别的情感也是非常私密的信息，因此很敏感。因此，重要的是人们要知道情感识别系统使用哪些数据以及分析哪些情感。
在某些情况下，由于权力不对等，人们可能难以拒绝情感识别。例如，在工作场所或教育领域使用情感识别时，权力关系是不对等的。因此，员工和学生可能难以拒绝情感识别的使用。鉴于情感识别系统的理论基础存在争议，自 2025 年 2 月 2 日起，根据 AI 法，禁止在教育和工作场所使用基于生物特征的情感识别。
这与情感识别系统在其他应用领域可能难以拒绝的情况有关，例如在医疗保健、公共空间或某些营销环境中。
因此，使用生物特征的情感识别系统的透明度非常重要，以便人们能够做出知情的决定。人们通常不是自行决定使用这些系统。除了上述权力不对等的情况外，还可能存在知识不对称的情况。使用情感识别系统的组织比情感被识别的人知道得更多。例如，他们可能不知道情感是否在后台被记录。因此，获得情感识别系统的使用和工作方式的透明度很重要，以便人们能够做出知情的决定。组织必须获得被分析人员的同意，这是组织负责任地使用这些系统的首要步骤。
情感识别系统因其假设的情感理论、技术工作方式以及随之而来的风险而备受争议。开发和使用这些系统的人需要谨慎行事。谁开发和使用这些系统，谁就有责任明确说明这种技术为实现既定目标带来的附加值。