自动化决策国标修改建议及学习笔记

2023年8月18日，信安标委发布关于征求国家标准《信息安全技术基于个人信息的自动化决策安全要求》（征求意见稿）意见的通知。
本标准通过“数据安全”和“服务安全”两个维度，对个人信息处理者自动化决策活动开展过程中涉及的数据处理环节安全保护要求作出明确规范，同时对自动化决策在实践应用层面如何充分保障用户权利、避免侵害用户权利作出指导，以实现明确个人信息处理者在进行自动化决策及相关应用的典型场景中数据安全和个人信息保护义务要求的整体目的。
国家标准《信息安全技术基于个人信息的自动化决策安全要求》（征求意见稿）编制说明
看到这些国标，又希望有个指引，又怕要求太高，没法落实。读完之后确实也感觉，可能大厂努努力可以落实，但是对于非互联网企业而言，合规成本还是比较高。
个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。
通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式。
通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。
《个人信息保护法》第24条
一起看看《个人信息保护法》第24条具体应该如何落实。
图片里是原文，但不看图片不影响阅读。第11、12章（本文八、九）的各个场景还是很有参考价值。
一、修改建议
（一）几个笔误


（二）匿名化定义与上位法不一致

建议删去图中内容，匿名化信息具有绝对性，即任何人都无法重识别出自然人，而不是在模型训练过程中未用于识别自然人即构成匿名化处理。
根据现有技术水平，认定个人信息已经匿名化严谨性存疑，具体与《个人信息保护法》的对比见后文论述。
二、定义
（一）自动化决策 automated decision-making
通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动。
[来源：《中华人民共和国个人信息保护法》第七十三条第（二）款]
注：自动化决策可进一步分解为特征生成和决策两个环节。
定义是《个人信息保护法》附则的重复，并且强调，自动化决策分两块，一是特征生成--画像，二是作出决策。
（二）计算机程序 computer Program
符合特定编程语言规则的语法单元，由解决特定功能、任务或问题所需的声明和语句或指令组成。
P似乎不应该大写。
我国现行法律法规对自动化决策的界定中强调“对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等”的“分析、评估”应是通过计算机程序自动完成，意在突出个人信息处理者为了实现特定的目的而事先自行开发并部署（或使用第三方开发的）特定的计算机程序。例如为了完成精准广告投放，个人信息处理者有意识地通过在网站或App页面上“埋点”收集个人的点击或浏览等行为信息，并通过预设的特征模型计算出特定个人的特征信息。除了特征生成由计算机程序完成之外，决策也可以由计算机程序辅助人工完成，或完全由计算机程序根据特征生成形成的个人特征信息而作出。
（三）算法algorithm
用于解决问题的有限有序规则集。
这个定义挺重要的，《互联网信息服务算法推荐管理规定》仅对算法推荐作列举式描述，并未明确算法是什么。但这里明确了，有四个要件：
1、目的：用来解决问题的；
2、有限：有限度的，不是啥都能做；
3、有序：有一定规律，不是随机的，可解释；
4、规则集：复杂的算法可以由很多个函数集合而成。
计算机程序是具体的指令序列，而算法是对计算机上执行的指令序列背后的计算过程的具体描述。因此完成特征生成的或用于决策的算法，在很大程度上决定了自动化决策过程的透明性和自动化决策结果的公平公正性等。
（四）特征生成
（竟然没有对应英文有些粗糙啊，我来翻译一个：characteristics forming）
通过计算机程序自动处理个人信息，经过个人特征提取、特征选择、特征计算、特征输出等步骤，生成开展针对个人决策所需的输入信息的过程。
特征生成是为实现特定业务目的，选定和收集特定的个人信息，并通过计算机程序自动分析、评估、预测特定个人的行为习惯、兴趣爱好等个人特征，以及作为决策输入用于针对个人的具体决策之中。一般来说，特征生成的过程包括特征提取、特征选择、特征计算、特征输出等步骤。特征提取是指从原始的个人信息中提取出有价值信息的过程。特征选择是指从提取的特征中选择就特定业务目的来说最有用的特征的过程。它的目的是降低维度，减少计算量，并避免过拟合。特征计算是指基于选择的特征计算新的特征或修改现有特征的过程。特征输出是指将处理好的特征信息作为输入，以支持针对个人的决策作出。得益于目前大数据和人工智能技术的发展，上述步骤主要由计算机程序自动开展，无需人工参与。
（五）决策 decision-making
以生成的个人特征信息为输入，作出针对个人将采取具体行动的决定。
注：具体行动包括但不限于雇佣或解聘特定个人、授予特定个人贷款、针对个人开展特定的信息推送和商业营销、针对服务提供报价等能够对个人人身财产状态、行为、意识等产生影响的动作。
决策是在特征生成环节所提供的个人特征信息的参与下，对个人采取具体行动，如：招聘、放贷、个推、定价等。决策活动可以由不同程度的人工参与，例如特征生成环节所提供的个人特征信息是人工决策的唯一依据，或者特征生成环节所提供的信息仅仅是人工决策所依赖的依据之一。决策活动也可以无需人工参与，完全由计算机程序作出具体决定。
（六）对个人权益有重大影响的决定 decision with significant impact on individual’s rights and interests
对个人法定权益的实现造成法律影响以及对个人其他权益造成类似显著影响的决定。
注1：影响可以是正向的也可以是负向的。
注2：法律影响包括但不限于：被赋予享有或被剥夺享有一种法律上的特定权益，如子女抚养或房产权益；被剥夺或限制行动自由；拒绝进入边境或特定区域；被有关执法机构强制增加安全或监管措施等。
注3：类似显著影响包括但不限于：对个人不合理的排斥或歧视行为、对个人可能产生长期或永久影响的决策行为、以及其他对个人的处境、行为或选择产生普遍认知方面的重大影响。
这个定义特别重要，直接决定了《个人信息保护法》第24条3款个人所享受的要求解释权和拒绝纯自动化决策权的范围大小。
注1：影响可以是正面也可以是负面，正面的：入学、奖金发放，建议释明。
注3：法律影响：抚养权；房产利益；剥夺自由；禁止入境；采取社区矫正措施等；
注3：其他显著影响：歧视；影响长久或永久；认知方面重大影响，还是太抽象了
（七）个人特征信息 individual characteristics
个人偏好以及个人职业、经济、健康、教育、信用情况等可以对特定自然人形象加以描绘，并分析、预测个人行为的信息类型。
画像的原料且有分析的价值。
（八）不合理的差别待遇 unreasonable differential treatment
通过收集、分析作为交易相对方的用户的交易信息、浏览内容及次数、交易时使用的终端设备品牌及价值等情况，对交易条件相同的交易相对方不合理地提供不同交易条件的行为。
点名，大数据杀熟，会依赖的数据：手机型号，交易信息，浏览记录等。
（九）个人信息保护影响评估 personal information protection impact assessment
针对个人信息处理活动，检验其合法合规程度，判断其对个人信息主体合法权益造成损害的各种风险，以及评估用于保护个人信息主体的各项措施有效性的过程。
《个人信息保护法》第55条、第56条的扩展。
​​​​​​​​​
三、概述
（一）自动化决策活动处理信息的范围，也是本标准调整的范围
1、个人信息主体主动提供的个人信息；
2、个人信息处理者自动收集的个人信息；
3、个人信息处理者从第三方获得的个人信息；
4、以前述三类个人信息为处理对象，经由计算机程序分析形成的衍生信息（如与个人相关的标签、参数等）。
（二）自动化决策活动的安全风险
1、违法、过度收集个人信息，未充分告知；
2、无合法性基础，过度分析、挖掘，侵犯隐私；
3、不具备可解释性；
4、特征不准确，与实际不相符；
5、标签不恰当，包含黄赌毒、恐怖、迷信、暴力等不良导向或歧视；
6、未PIA，完全依赖画像做决策；
7、未结合影响程度，适当设置人工干预决策结果的机制；
8、个人信息权利保障不当；
9、造成不公正结果，造成重大影响且无法修复。
四、原则
（一）合法正当原则
应符合相关法律法规规定，不应以欺诈、诱骗、误导的方式进行处理
注：开展自动化决策处理活动的合法性基础包括充分告知，取得同意或为订立/履行个人作为一方当事人的合同所必需或履行法定职责或法定义务所必需等
其他几个合法性基础呢，尤其是“履行人力资源管理所必需”，是不是都在那个“等”里面了。
（二）公开透明原则
应以明确、易懂和合理的方式向用户公开自动化决策处理活动的方式、范围、逻辑、目的、规则等
做好告知，说人话，易于查阅。
（三) 公平公正原则
应遵循维护社会公平、道德伦理的精神进行处理活动，自动化决策的结果应公平、公正，不应造成不合理的差别待遇
确保结果公平工作。
（四）主体参与原则
应向用户提供关于自动化决策的选择、解释、拒绝、投诉等方法。
提供救济渠道。
（五）确保数据质量原则
自动化决策应当保证所处理的个人信息的质量，避免因个人信息不准确、不完整对个人权益造成不利影响。
总结一下，这些原则是对《个人信息保护法》中原则的重申和强度。
五、自动化决策算法的安全要求
（一）算法影响评估

1、明确使用场景，如：（1）行业、领域及用户需求；（2)互动方式；（3）用户群体基本情况和合理期待。
2、明确具体任务，如：（1）定价；（2）内容推荐；
3、评估内容：（1）预期表现及效率、收益提升；（2）错误决策表现形式和成本；（3）可能的负面影响，尤其是对个人权益的影响；
4、可能造成重大影响的，应由第三方或组建专家委员会进行自动化决策算法评估（要花钱了）。
5、根据算法评估结果，明确相匹配的算法安全目标，如：技术特征、逻辑特征、人工介入、训练和测试数据要求。
（二）算法安全的技术原则

准确、可靠、稳健、复原，好专业，转发给IT老师。
（三）算法安全的逻辑原则

能解释清楚，用户能理解相应的结果如何产生，对个人隐私侵扰可控，避免人为歧视，平等地适用于所有符合条件的人。
（四）算法安全的人工介入要求

1、开发一个人机交互界面，可以实时监测相关检测相关参数，确保算法运行符合相关技术特征和逻辑特征要求；
2、人机交互界面应该：（1）了解算法的能力和限制，监测运行情况，可以即时发现并解决突发问题；（2）可以正确地解释结果；（3）可以任何时刻不用算法或忽略算法输出；（4）可以及时干预，尤其是中断运行。
算法服务开发商，又有合规任务了。
（五）算法安全的训练和测试数据要求

1、准确、均衡、相关、充分、可靠，有点抽象；
2、数据选择和标注环节保持中立，不含偏见；
3、未被污染；
4、数据来源合法，具备合法性基础。这个注释需要关注一下。
对于预处理（向量化）的数据，也可能会构成个人信息，若确实有证据可证明无法直接或间接根据在模型训练过程中所涉及的数据用于关联或识别个人，即相关数据进行了匿名化处理，此类数据不再构成个人信息。
只需要证明，在模型训练过程中，相关数据未用于关联或识别个人，相关数据即匿名化了。
匿名化，是指个人信息经过处理无法识别特定自然人且不能复原的过程。
《个人信息保护法》
对比一下就可能看出差异，《个人信息保护法》对匿名化定义是绝对的，“无法识别”，而国标中对匿名化理解是，只要模型训练过程中，只要未用于关联或识别相关个人，即使具备可识别性，但还是算匿名了。
（六）算法安全的训练和测试数据要求

算法开发商的IT开发老师看吧，我不看了。
（七）算法安全的运行要求

如果正式稿出来了，是要用了自动化决策的企业都得出一个公司级制度了，明确如下内容：
1、明确定量或定性的监测指标和方法；
2、应对各负面影响的监测方法，如客诉；
3、影响追踪机制，必要时聘请外部人员检测算法表现偏差；
4、定期评估，可能对个人权益产生重大影响的，半年评估一次；
5、根据结果采取减轻负面影响的措施；
6、事先建立负面影响应对机制，如更新、替代、停用。
六、特征生成的安全要求
（一）特征生成的个人信息处理要求
应选择和收集与特定业务目的相匹配的个人信息类型。
1、真实性要求

（1）来源真实；（2）未经篡改；（3）必要时进行身份验证；（4）保障个人信息收集和情形过程透明。
2、准确性要求

（1）可以反映实际情况，必要时进行客观性验证；（2）确认相关性和典型性；（3）确保个人信息时效性。
3、合法性要求

（1）合法性基础列举了：同意，履行合同所必需，履行法定义务，其他的都没列举，比如：人力资源管理所必需，履行法定职责等，但也用了“包括但不限于”，没说其他的不行；（2）最小必要性；（3）公开透明、主动披露、事先告知。
（二）特征生成的计算安全要求
​​​​​​​​​​​​​​
利用计算机程序开展特征提取、特征选择、特征计算、特征输出时，个人信息处理者应确保计算机
程序及其算法满足前述“自动化决策算法的安全要求”
的要求。
1、特征提取

（1）有效预处理，数据清洗+特征工程；（2）排查缺失值、异常值、重复值，规范格式结构类型等要素；（3）确保一致性、有效性、可用性；（4）确保提取特征不存在偏见。
2、特征选择和计算

（1）选择最有预测能力的特征；（2）考虑特征关联性，避免关联性冗余；（3）避免引入可能引起歧视性的特征；（4）确保平衡性，避免因某个单一特征导致错误；（5）存在不足关系时，开展进一步的特征计算。
3、输出安全要求

（1）避免输出歧视内容，如：性别、民族、种族、年龄、宗教、残疾、疾病、性取向；（2）审慎评估测试函数，定期采取特定机制削弱偏见和歧视。
七、决策的安全要求
（一）基本要求

1、不侵犯他人合法权益；
2、符合社会主义核心价值观；
3、不传播暴力色情信息，不编造传播虚假信息。
（二）告知要求

1、易于理解的说明，说清楚：用了什么个人信息，处理逻辑；
2、享有的权利和行权方式；
3、便捷有效的反馈渠道。
（三）个人权益保障要求

1、及时解释说明，但《个人信息保护法》仅明确“通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明”，这边扩展了，只要有解释请求就需要解释。
2、响应干预请求：（1）删除个人特征标签，这个标签应该是后台个推系统的标签，还是蛮难落实的，并非法定义务；（2）《个人信息保护法》第24条第2款的重述；（3）提供拒绝仅基于自动化决策作出决定的机制，挺难的。
八、重大影响的特殊场景要求
（一）教育和职业机会

1、不应设置歧视性标签，如：已婚未育，性别歧视等等；
2、提供拒绝仅基于自动化决策作出决定的机制，比如人工审核，但是还有可能大部分基于自动化决策，少部分人工参与。
（二）信贷或保险评估

1、不得基于用户间接标签直接拒绝申请；
2、不应设置歧视性标签，如：残疾、患有恶疾；
3、提供拒绝仅基于自动化决策作出决定的机制。
（三）社会福利资格

比如，评定社保、建档立卡户认定等场景时，应该：
1、考虑重大影响，提供有效申诉渠道，及时反馈；
2、安全可靠的公示方式，保障知情权，接受监督；
3、提供拒绝仅基于自动化决策作出决定的机制。
（四）特殊人群
1、儿童

（1）原则上不得使用个性化决策，除非具备充分理由且考虑儿童最大利益且采取适当措施避免儿童伤害；
（2）需要保障小朋友看得懂；
（3）不得用算法推荐诱导未成年人沉迷网络，这是不是意味着，青少年模式就不能用个推？
（4）不得针对儿童特征个性化营销。
2、老年人

做好适老化改造。
3、劳动者

（1）不得用自动化决策算法压榨劳动者；
（2）保护劳动者合法权益；
（3）绩效考核、人事管理等若使用算法的，应在算法层面引入劳动者保护考虑因素；
（4）应该为配送小哥、网约车司机提供工作调度意见反馈、投诉处理机制。
九、其他典型场景要求
（一）信息推送、商业营销

1、不得过度利用用户标签；
2、不应将“拜金炫富”“色情低俗”等关键词标记用户，并推送信息；
3、不得打违法、不良标签，并进行推送；
4、不得设计歧视标签；
5、规避算法茧方；
6、提供动态调整个性化推荐信息比例。
（二）商业交易

1、不得大数据杀熟；
2、不得采取虚构原价等不正当价格行为；
4、收费透明；
5、不得用算法操纵中奖；
6、不得用算法进行反不正当行为。
十、风险管理

（一）做好PIA，全流程保护个人信息，留存日志；
（二）定期合规审计；
（三）采取加密、去标识化等手段确保数据安全；
（四）建立完善的用户标签访问管控机制；
（五）设置便捷反馈渠道。