知我心者，当谓我心忧——个人信息自动化决策的合规要求！（附前沿报告）

大数据时代，数据平台和算法成为了更懂我们的“人”，用户的个人信息保护日益成为各界关注的热点。“大数据杀熟”、人工智能、自动化决策等信息技术都与人工智能规制的命题息息相关。人工智能的发展一方面能够极大地促进经济社会发展，另一方面也令我们担忧如何在未来实现精准的风险防御。
本文通过探讨个人信息自动化决策的合规要求，立足于当前来展望人工智能未来的发展趋势，以期建立对人工智能发展的多维认知，预测可能存在的合规风险并制定相应解决方案。
✨温馨提示：
文末附配套阅读材料《人工智能前沿观点报告汇总》&《人工智能国际/国内法律规范》（汇编版），读者朋友如有需要，可自行下载！
目录索引
01 自动化决策之“大数据杀熟”
02自动化决策之算法解释权
03 自动化决策之人工智能伦理风险评估
04 自动化决策之三大合规要点
01 自动化决策之“大数据杀熟”
（一）“大数据杀熟”底层逻辑
“大数据杀熟”需要放在特定的语境下进行分析判断，我国《个人信息保护法》《电子商务法》等法律对于“大数据杀熟”以及自动化决策相关规定的都设置有一定的前提条件，如《个人信息保护法》明确规定，个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。《反垄断法》以及《电子商务法》等法律中也有类似规定，总结发现上述法律对于“大数据杀熟”设置的前提为交易人处于相同的交易条件。
《国务院反垄断委员会关于平台经济领域的反垄断指南》规定交易条件相同是指，在交易安全、交易成本、信用状况、所处交易环节、交易持续时间等方面不存在实质性影响交易的差别，但是交易相对人的隐私信息、交易历史、个体偏好、消费者习惯等方面存在的差异，不影响认定交易相对的人条件相同。
若将此类规定直接投射于互联网，不排除可能会造成过度“标准化”的问题，即享有相同交易条件的交易者都会被投送相同的交易信息，而现实生活中，过度标准化却导致消费者难以精确购买到心仪的产品，造成成交率下降，反而定制化的服务越来越成为未来生活发展的刚需，由此我们需要对“大数据杀熟”保有辩证批判思维，若盲目将“大数据杀熟”与“个性化服务”混为一谈、一棍子打死，可能会带来一定问题。
一方面需要对其保持警惕，在未明晰其运作情况以及个人信息收集掌握情况的前提下，对其所推送的不同交易内容情况保持警惕，另一方面也需要分清楚“大数据杀熟”与个性化定制服务精准推送、精准营销的区别，不自缚手脚，将“大数据杀熟”转变为“大数据定制”，让大数据更加“懂”我们，为消费者解忧。
（二）通过规范自动化决策方案以治理“大数据杀熟”
若消费者在不知情的情况下发现遭受不公平待遇行为，自然可以对于“大数据杀熟”行为进行规制；若消费者被告知，但仍认为遭受不公平待遇，此时可以通过以下几种方式进行规制：
第一，《个人信息保护法》中规定个人信息处理者不得对个人在交易价格等交易条件上实行不合理的差别待遇。该规定对比《反垄断法》的要求，原因在于前文所述的信息差，而对于“不合理”的表现，《个人信息保护法》尚未给出明确的要求，建议参考其他合法利益进行综合判断。如前文所述，“大数据杀熟”以及自动化决策带来的消极后果中可能影响到的利益包括消费者权益保护、个人信息保护以及竞争秩序。以竞争法为例，《国务院反垄断委员会关于平台经济领域的反垄断指南》规定了具备正当理由的差别待遇，即若经营者提供的差别待遇符合正当交易条件和行业惯例，则可以认为属于具备正当理由的差别待遇，如购买股票、期货等自身具备风险波动的产品，此时个人信息处理者可以参考上述内容作为自身提供合理差别待遇的合法性支撑。
第二，回归到自动化决策本身，需要明确自动化决策是什么以及自动化决策与自动化辅助的区别。《个人信息保护法》规定，自动化决策，是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动，其可能会对个人权益造成影响，因此需判断自动化决策结果的公平公正性。而自动化辅助则是为相关交易决策提供信息收集、分析和结果预估的内容，自动化技术仅仅作为辅助工具，由人工作出最终判断，并非由计算机程序作出最终的结果。
02 自动化决策之算法解释权
（一）算法解释权成为算法治理制度核心
1、人类对于算法的不信任
算法解释权的核心在于人类对于算法本身的恐惧和不信任，人类在无法充分了解算法运行决策过程时，将会对于自动化决策结果公平公正性产生质疑。原因在于算法与自动化决策是人为创造的词汇，人工智能只是将人脑过往形成的算法规律、经验进行总结，形成代码以及逻辑，最终形成的软件算法或者数据产品，其表现形式是多样的，但背后的逻辑原理往往是相同的。
2、人工智能会放大人类社会歧视性规则
人类社会自身存在大量的歧视，而作为人类智慧成果的算法其本源就是带有歧视性的，因为其设计过程中难免会掺杂工程师的个人偏见或者数据本身所存在的歧视性，同时又由于人工智能算力远远超过人类，因此会无限放大此类歧视，使得未经干预和公平性测验的自动化决策的结果更加偏离公平，自动化决策的透明性也更低。
3、人工智能缺乏人工干预
当前人工智能的发展已经超出人类想象，而其中缺乏人工干预将会造成极大的危险，如自动驾驶领域，若其面临电车难题，人类社会尚未给出明确的定论，而此种情形下需要自动驾驶汽车自主作出决策，恐怕会引发民众的恐惧。此时需要人工介入，以及设置合适的人工介入时间点。
03 自动化决策之人工智能伦理风险评估
基于上述情况，社会各界从业者对于人工智能道德伦理领域展开积极的探索研究，当前各国针对人工智能道德伦理研究工作陆续展开，对于人工智能进行分级分类，如欧洲基于不同风险等级的AI提出不同的监管和内部评估要求，与数据分级分类一脉相承。但也会引发一系列问题，AI算法是企业核心的算法机密，这将会涉及到是否需要向主管部门悉数进行报告，若是，将可能会对于商业秘密造成的保护造成威胁，传统“人对人”的场景尚且属于棘手问题，而在人工智能时代，要实现人机对抗，则需要格外注意人工智能道德伦理风险评估。
基于实践经验，一般需要从三个方面提出人工智能道德伦理风险评估指标，包括算法、数据以及社会影响。
（一）算法
算法方面提出了透明性、准确性、可靠性、可解释性、可验证性、可重复性、可追溯性、问责性等要求。
1)透明性要求使得用户在沟通阶段明晰是否存在AI交互，在用户产品中是否披露AI应用及其目的和受益主体，以及AI应用本身是否涉及自动化决策，自动化决策所承担的作用，是否设置机制向用户解释AI系统产生结果的原因，是否考虑用户意见等都需要进行评估，确保用户事后救济各项权利有明确的途径。
2)准确性是人工智能系统最为重要的一点，AI系统的准确性包括数据的全面性，即是否及时更新数据、是否建立多样化的数据池以降低数据自身所具有的歧视性，是否有纳入额外数据的必要性以及是否设置提高系统的方法和步骤，对于不准确的结果是否设置反哺和纠错机制。
3)可靠性是指要利用不同数据池训练和验证算法的科学性，原因在于数据池自身大小以及准确性和多样性程度需要算法进行推算，因此需要考虑是否设置专门算法验证的数据池，是否建立防御攻击系统以及设定不同级别AI系统错误流程等内容。
4)可解释性，要求相关算法工程师制定符合法律要求的算法声明，同时企业需要配备相关的人工智能道德伦理委员会或者算法监管治理委员会，并设置一系列制度流程，指引算法工程师明确算法歧视场景，确保算法可解释的颗粒度。
5)可验证性，是指相关因素成为算法结果的充分条件，若将其剔除，将会影响算法最终结果。
6)可重复性则是指两因素之间的因果关系或者关联关系是可重复的。
7)可问责性是指企业内部对于AI系统的审核机制，目前许多互联网企业已经未雨绸缪，开始设置人工智能道德委员会、人工智能监管委员或者算法治理委员会等机制。《互联网信息服务算法推荐管理规定》也提出了相关要求，企业需要逐步开启相关工作的筹备。
上述工作不免会增加企业的运营成本，但其一方面能够为企业建设完整的机制和合规要求提供强有力的支撑，得到监管部门和消费者以及投资人的充分认可。另一方面企业需要考虑其行为将会对社会个人产生的深远的影响，在其车轮尚未提升转速时纠正其位置，提高警惕，提高隐私保护能力。
（二）数据
数据方面会涉及到隐私保护的充分性以及数据质量、数据治理人员管控等各方面内容，也是日常生活中大家最为熟悉的领域，在此不多做赘述。
（三）社会影响
社会影响可以被称为是人工智能的人类判断价值，第一性要求便是向善，AI系统的发展需要以满足人类社会福利为目的以及AI系统不被用于伤害或者欺骗人类，如人工智能小助手如实披露用户物流情况，同时还要考虑该系统是否考量可持续发展，以及最为重要的无偏正性和公正性，如人工介入场景及其时点、纠错和数据验证内容等，均需要社会各界主体进行充分的研究和思考。
04 自动化决策之三大合规要点
（一）保证自动化决策透明度
从理论而言，自动化决策的重要任务是透明度，而目前理论研究所需要的颗粒度与实操中企业所提供的颗粒度相差深远。根据现有法律规定，To C端企业实现自动化决策透明度需要向用户承担告知同意的义务，说明数据使用场景以及可能对用户造成的权益影响，除此之外，企业需要更加深入的思量若相关企业或用户个人提出更高的自动化决策透明度要求，应当如何应对。
（二）保证决策结果的公平公正性
“大数据杀熟”本质在于侵犯了消费者的公平交易权，而何谓公平交易、以及其引申而出的如差别定价、价格歧视等内容，尽管表述形式类似，但本质内涵却存在较大差别。
当前社会对于公平公正尚未形成绝对的判断标准，而是一个动态变化的过程，因此在判断上述内容差别时，需要对比一个固定的参照物，而差别待遇的参照物为相同交易条件。实现公平公正，需要判断自动化决策本身所依赖的要素是否与现有判断交易条件相同的要素。
此外，除竞争法领域之外，《个人信息保护法》领域是否可以有所突破，需要各界在后续进行更加深入的探索，如《国务院反垄断委员会关于平台经济领域的反垄断指南》将个体差异性、隐私相关的交易条件排除在外，而《个人信息保护法》是否一定要遵循这一思路，若将其排除在外，是否有可能影响未来个体定制化服务？
同时，把握自动化决策机制结果公正性要求的关键在于确保交易价格等交易条件上的“差别待遇”被控制在“合理”的范围之内。而法律理解难题在于，“合理”作为一个法律术语，其可解释空间较为宽泛，属于描述性概念，事实上具有较大的不确定性。从理论上看，“合理的范围”至少需要符合法律以及社会一般价值观念对于“公平公正”的预期。因此需要企业就自动化决策结果的公平公正性要求进行自证的准备，证明其产生的后果将会是公平公正的。
公平公正的要求众多，《互联网信息服务算法推荐管理规定》中对于算法监管公平工作原则提出较多实操性的指南：
1、定期审核算法模型的公德伦理性
企业通过定期审核算法模型留存的材料，可以作为自证的资料。但其中也存在较多难以实行的内容，如确保未设置诱导用户沉迷或者高额消费等违背公序良俗的算法模型，何为诱导用户沉迷/高额消费的算法模型？对于此类问题，建议通过反向思维，即到底在相应的应用和服务中是否设置反沉迷或限制高消费的机制，如儿童游戏强制下线等。企业既要增加用户粘性，又要设置相应防范机制，做好守门人角色。
2、用户模型和用户标签管理
此外，用户模型和用户标签管理也是重要的要求之一，一旦出现辱骂性、带有歧视性甚至不良信息的标签或模型，将会最终影响自动化决策结果的公平性。如将性别带入到薪酬计算的算法中，将会在极大程度上造成自动决策结果在性别上的歧视，此种情况物理层面本就存在，而在人工智能领域需要更加关注，原因在于人工智能领域是人机对抗的时代，对于机器相关操作，无法通过正常的投诉、举报等渠道纠正其不公平问题。
3、禁止网络操控
网络操控本身已经代入了第三方的观点，若该观点本身存在歧视性，就意味着客观事实受到扭曲，在这种情况下，自动化决策结果的公平公正性便会受到质疑。因此理论上来说，禁止网络操控也是企业证明自动化决策公平公正的一个方面。
（三）保证自动化决策方式的个人选择权
《个人信息保护法》第二十四条第二款规定，通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式。
实践中如何实现这一点要求是非常有讲究的，因为部分针对个人特征的选项用户是无法察觉的，同时实践中用户所能看到的信息已经是经过个性化推荐的，如不同用户搜索引擎等推荐内容会有差异。反之，部分平台商业模式为个性化推荐，如短视频APP，此时企业设置不针对个人特征选项的法律要求将会造成企业发展困境，降低用户粘性。
因此理论而言，是否保证自动化决策方式的个人选择权是非常有讲究的。就监管角度而言，需要对其进行监管是因为自动化决策所采用的算法是沉迷式算法，除非用户明确拒绝，否则将视为用户喜欢；而多数情况下缺乏用户明确拒绝的选项，将会造成用户个人选择权的被侵犯，因此需要企业提供有边界的拒绝方式，如设置不喜欢选项、以后不要推送选项等。上述内容的核心在于如何实现监管算法、监管人工智能，只有顺利地监管好二者，才能更好的推动自动化决策技术和行业的良好持续发展。