布达佩斯银行利用算法分析客服语音案

GDPR作为引入Privacy by Design的第一部法律，已经有了不少案例实践。这些案例的解析可以为我们展示Privacy by Design是作为单独违法行为，还是被用作了万能的兜底条款。进一步推断Privacy by Design是否增加了数据控制者的义务。
案件事实
布达佩斯银行作为一个金融机构，经营了客服电话业务，根据部分法律要求有义务对客服电话的内容进行录音和保留。但是布达佩斯银行使用了人工智能语音分析软件，对客服电话进行进一步分析。人工智能软件可以分析客服电话录音中的等待、沉默、交谈、关键词检索和说话者的情绪情感等。这些电话可以于45天内在语音分析软件中被重播。在分析之后会形成一个客户满意度的列表，提供给客服部门，由客服部门决定回电给哪一些客户解决不满意的问题。布达佩斯银行说明使用该软件是为了监测通话质量，防止投诉和客户流失并提高客服处理人员的效率，是基于自身合法利益而处理的个人数据。
在本案中匈牙利数据保护机构认为虽然在语音文件匹配了一个内部加密化后的ID，但是结合布达佩斯银行所拥有的数据，仍然能识别客户和对应的客服人员，所以认定处理了个人数据。布达佩斯银行认为该处理行为是基于企业的合法利益，但是在其合法利益和数据主体的个人权利和自由的利益均衡性测试中，仅仅考虑了布达佩斯银行自身的商业利益，并未将用户的个人权利和自由纳入考虑之中，因此企业的合法利益不构成数据处理的合法性基础，违反了GDPR的第6条合法性基础。同时在向用户的告知中仅简单地告知为了呼叫质量予以录音，但未向用户披露情绪分析等，也未披露相应的处理目的、合法性基础和可享有的权利，因此也违反了GDPR关于信息提供和数据主体权利的规定。同时关于防止客户流失会类似于向客户营销的目的，应当提供给数据主体拒绝权或反对权，但是布达佩斯银行并没有提供。关于布达佩斯银行采取人工智能软件分析情绪属于高风险技术运用，应当进行数据保护影响保护评估中，虽然在形式上进行了评估，并由DPO发表了意见，但是如上所述未进行对数据主体个人自由和权利的分析，同时就该项技术在运用之前以常识可知将会对用户造成较大的侵入性，但布达佩斯银行未采取任何替代性措施等降低风险，因此也违背了GDPR第24条数据控制者的义务和第25条关于从设计着手的数据保护和默认数据保护规定。
最终匈牙利数据保护局基于其违法事实（包括损害结果和持续时间）以及所采取的措施（包括假名化、未直接进行自动化决策）处罚布达佩斯银行约65万欧元罚款。
案件中Privacy by Design相关分析
（一）语音分析软件
本案中所用的语音分析软件，在网站上的介绍是"该软件是一个基于语音和数据分析的客户服务综合性能和质量管理解决方案。该应用程序可以分析客户的语音和语言表现以及客户的语音和语言体验。从客户和接线员两方面进行的客户服务对话，识别所讲的话、愤怒、不满意、失望、不确定、中立或满意的情绪以及影响客户服务质量和绩效的其他因素，如沉默、等待音乐、语速、音量、语音质量和语调以及其他质量特征。通过处理所有的对话，该软件提供了对客户服务质量和绩效指标有决定性影响的要素的完整分析与洞见。从你的客户服务中获得最大的收益，减少你的平均通话时间，提高你的业绩，同时改善客户服务的质量。超越基于高级商业智能的分析、在自动化性能管理的支持下，该系统将使你作为一个操作员更有效地工作。该软件使用机器学习和人工智能来识别和测量情绪、关键词和基于短语的情绪和语音特征，如语速、转折和衔接，并声称一个经过精心训练的神经网络将语音细节分为三个主要类别"。
匈牙利数据保护局认定该语音分析软件使用了人工智能、机器学习以及神经网络。人工智能是对计算机和机器人的开发，使其能够以模仿或超越人类能力的方式运作。使用人工智能的程序可以分析数据和上下文，以提供信息或自动触发某些事件，而无需人工干预。
机器学习是人工智能的可实现路径之一，事实上是其工具之一。在人工智能的这一领域，算法的使用方式是学会自动识别数据中的模式和关系，然后运用所学知识做出（或建议）越来越好的预测决定。
神经网络是一种可能的机器学习方法，它建立在人脑功能的简化模式上，以解决普通算法无法应对的问题。神经网络由简单的单元--神经元组成，每个神经元都像真正的神经元一样，接收输入并将其相加以产生输出。然而，每个神经元在决定输出时对输入信号的考虑程度不尽相同，而是在统计学上进行了加权。
本案中，语音分析软件可以基于人工智能识别出如下事项：
（1）在声音文件中等待、沉默、互相交谈。等待是指播放音乐以填充客户等待客服接起电话的时间，沉默是指员工在听到客户提出问题后作出解答的时间间隔。通过分析可以判断客服员工是否按照了公司流程进行应答，以及对相关知识掌握是否准确、熟练，进而提出相应的个人、地区等培训或改进流程。
（2）识别和检测声音文件中的关键词。基于布达佩斯银行内部的字典进行关键词识别能筛选出抱怨的客户，防止客户流失，并检测出禁止使用的词语。
（3）检测声音文件中的情感/情绪元素。检测电话中的情感/情绪元素可以揭示真实的客户体验或客户的烦躁。
其后，语音分析软件每天对录音进行排名。排名的依据是来电者对服务不满意的结论。排名靠前的电话将由更高资质和授权的工作人员选择是否进行回拨，以试图纠正不满意的问题。
（二）关于对违反GDPR第25条的分析
匈牙利数据保护局指出根据GDPR第25条，在开始使用人工智能进行自动语音分析之前，布达佩斯银行应该有义务评估在当前的技术和社会环境下，在确保最大限度地遵守数据保护规则的情况下，该处理是否可行。
本案涉及到使用人工智能，而人工智能的运行原理一般是很难理解的，Privacy by Design要求控制者不仅是纸面上描述，而且需要实质上遵守透明性和问责制。GDPR第24条和第25条强调的是风险导向的路径，则在采用人工智能技术前就应当充分评估其所产生的风险以及相应的技术和组织措施。而且关于金融行业使用人工智能的技术，匈牙利数据保护局早在2012年的年度报告指出“金融机构是处于新数据处理技术应用的最前沿。银行从分析与客户服务对话的录音中，可以提取出隐藏的信息，用来推断客户的支付意愿和能力，在此类场景下仅仅检查是否有有同意是不够的，因为数据主体无法充分理解对其个人的影响。”关于使用人工智能来理解情绪，《EDPB-EDPSJointOpinion5/2021ontheproposalforaRegulationoftheEuropeanParliamentandoftheCouncillayingdownharmonisedrulesonartificialintelligence(ArtificialIntelligenceAct)》指出“使用人工智能来理解自然人的情绪是一种这是非常不可取的，应该被禁止，除非是在某些明确定义的使用情况下，即出于健康或研究目的（例如对情绪检测很重要的病人），在所有情况下都要有适当的保障措施，当然还要遵守所有其他数据保护条件和限制，包括目的限制"。
同时，布达佩斯银行在语音对话之前仅是简短的告知录音事实，未告知语音分析尤其是情绪分析目的的处理数据，使数据主体处于不公平的处境，也未给予数据主体拒绝或反对的途径。布达佩斯银行称因受限于客服电话的场景和技术限制。
布达佩斯银行内部的利益均衡测试评估里仅考虑了布达佩斯银行的商业利益，基于其提升效率、改进质量的目的是相称的，但是没有考虑数据主体的基本权利和自由，因系统设计导致没有提供给用户足够的信息以及对应的反对权，从而损害了数据主体的自主权利。可以认定布达佩斯银行已经可以从事实上知晓缺陷和风险的存在，未考虑任何替代方案，而直接实施了该高风险的、应当被禁止的行为。
更进一步说，该行为在GDPR生效前就已经进行了，而布达佩斯银行提供的证据中未显示有定期的审查，包括GDPR生效的审查。采用高风险的新技术应当进行定期的审查。
所以，本案中匈牙利数据保护局结合了合法性基础、数据主体权利、透明性原则，展开分析布达佩斯银行在使用人工智能进行语音分析前未进行有效的风险分析和选择恰当的措施，并提出了未进行定期审查，来论证是否违反GDPR第25条从设计着手的数据保护和默认数据保护。
对Privacy by Design的洞见
本案是典型的采取了高风险技术，可以说是最合适适用Privacy by Design条款的场景。因此，匈牙利数据保护局清晰地指出在使用该技术前分析当前的技术和社会背景，基于风险导向采取相关的措施。此时，监管侧出具的对该技术的论证和数据保护分析将是最佳的参考资料，匈牙利数据保护局的年度报告以及EDPB和EDPS联合意见均对该类型提出了高风险的提示。
同时，本案的论述强化了流程上贯彻Privacy by Design，在采用技术之前，以及在其后需要定期的复核和分析措施相比于风险是否得当与合适。
再次，本案的论述持续强调控制者的义务不是“纸上谈兵”，需要在数据保护意识、采取措施等均将保护数据主体的基本原则和基本权利落实到位，这也是Privacy by Design的应有之义。