观点摘要
01、自动化决策流程合规
《标准》将自动化决策分为“特征生成”和“决策”两个环节,并进一步明确两个环节的概念。《标准》提供了多层次、多方位的自动化决策安全要求,企业还需同步关注规范数据处理活动、个人信息处理活动的相关国标。
02、设置九条红线
《标准》聚焦于算法及数据(含个人信息)安全的风险,提出了九个“不准”。
03、搭建算法影响评估机制
《标准》要求个人信息处理者或者算法开发方在自动化决策算法开发前进行算法影响评估,包括对算法所能达到的效果、所花费的成本的预期评估以及对可能产生的负面影响的预判。
04、训练数据合规
《标准》对算法训练数据提出了要求,关注数据的准确性、均衡性、相关性、充分性、可靠性、规范性。
05、自动化决策典型场景合规
《标准》提供了多个典型场景下的特殊要求,将营销场景分为了消息推送场景及实际的商业交易场景,并提供了合规指引。
一、《标准》出台背景
近年来,我国通过《中华人民共和国个人信息保护法》(以下简称“《个保法》”)等法律、法规,和《GB/T41391-2022信息安全技术移动互联网应用程序(App)收集个人信息基本要求》、《GB/T35273-2020信息安全技术个人信息安全规范》等相关标准,对企业利用个人信息进行自动化决策进行规范。工信部等有关部门对违规收集、使用个人信息的App采取通报、下架等处罚措施[1]。
2023年8月18日,全国信息安全标准化技术委员会发布《信息安全技术基于个人信息的自动化决策安全要求(征求意见稿)》(以下简称“《标准》”),面向社会征求公开意见。该《标准》明确规范了个人信息处理者在自动化决策活动中的数据安全和服务安全要求,同时指导了如何保障用户权利,避免侵害用户权益,实现数据安全和个人信息保护的目标。我们着重关注了自动化决策安全风险、自动化决策基本安全要求、算法影响评估、算法训练数据合规要求几个方面,结合企业营销场景,以期为企业提供有效可行的合规指引。
二、《标准》六大方面解读
(一)《标准》将自动化决策拆解为“特征生成”和“决策”两个环节
《个保法》第24条对个人信息处理者利用个人信息进行自动化决策的合规要求作出了规定[2],第73条第(二)款对自动化决策进行了定义。《标准》在依据《个保法》的定义的基础上,进一步将自动化决策分解为“特征生成”[3]和“决策”[4]两个环节,并对这两个环节进行了定义。为清晰体现自动化决策过程,《标准》给出了自动化决策行为环节的图示:

来源:参见《标准》第5.1 自动化决策行为的环节
(二)聚焦于算法及数据(含个人信息)安全的“自动化决策九不准”
在企业商业营销场景下,自动化决策的环节可以理解为,企业通过收集大量的个人信息、行为数据,通过预先设计开发完成的计算机程序生成针对进行个人决策所需的信息,例如个人的收入情况、消费习惯、消费偏好等,帮助企业向用户进行精准营销。我们知道,算法和数据(包含个人信息)是开发计算机程序的重要工具和资料,《标准》也进一步指出“完成特征生成的或用于决策的算法,在很大程度上决定了自动化决策过程的透明性和自动化决策结果的公平公正性等。”因此,《标准》着重于算法及数据的安全风险,提出了九大自动化决策风险,可以概括为“自动化决策九不准”:
不准违法违规处理用户个人信息;
不准在不具备合法性基础的情况下过度分析或挖掘个人信息、侵犯用户隐私;
不准不具备可解释性的算法逻辑或模型;
不准特征生成不准确、不客观的内容;
不准特征生成淫秽、暴力等违法犯罪的内容及歧视性内容;
不准未经评估仅依据特征生成信息的决策活动;
不准未设置人工干预机制的决策活动;
不准不向个人披露自动化决策的方式及范围;
不准未经事前评估决策结果是否公正的自动化决策活动。
(三)《标准》提供了多层次、多方位的自动化决策安全要求
《标准》给出了自动化决策的基本安全要求,又进一步提出了自动化决策算法开发、特征生成、决策等环节以及典型场景的安全要求。我们认为,可以将其分为:开发层面的算法安全,执行层面的特殊生成及决策环节的安全,应用层面的典型场景安全以及风险管理要求。

因此,企业可以以本《标准》所列出的各个层次的安全要求作为纵轴,每个层次中对应的标准要求及其他国标要求作为横轴,对自身自动化决策活动进行风险评估及合规整改,建立自动化决策活动风险地图。
(四)《标准》要求在自动化决策算法开发前进行影响评估
《标准》对自动化决策算法提出了一系列的安全要求,其中值得关注的是算法影响评估机制。《标准》提出,个人信息处理者或者算法开发方在自动化决策算法开发前进行算法影响评估。
《个保法》规定利用个人信息进行自动化决策应进行个人信息保护影响评估,着重从利用个人信息进行自动化决策的目的、场景、方式及影响等方面进行影响评估。同时,《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》提出了算法备案,备案关键材料之一的算法自评估与《标准》所称的算法影响评估类似。应履行备案义务的算法类型里包含了个性化推送类、调度决策类等,这些算法通常会应用到自动化决策活动的决策环节。
结合我们的算法备案服务经验,算法备案里所要求的算法自评估的评估内容及相关要求与自动化决策算法影响评估具有一定的相似性,同时也存在明显的差异。以算法推荐服务及自动化决策都可能涉及到的个性化推送算法为例,两者的对比如下:

综上所述,我们理解自动化决策的算法影响评估兼顾了对算法所能达到的效果、所花费的成本的预期评估以及对可能产生的负面影响的预判;而算法自评估则更加注重算法服务应用层面的风险评估。
对此,我们认为,如果企业是以个人信息处理者的角色开展算法影响评估,可以将其纳入自动化决策的个人信息保护影响评估活动中,避免因场景重合而增加多余的合规成本。对于算法开发方的企业而言,及时对自动化决策算法进行影响评估能够在确保满足合规要求的前提下提升算法应用的效率和准确性,有利于增强市场竞争力。此外,算法影响评估还可以作为企业评估应履行何种合规义务的前置环节,帮助企业梳理合规义务清单、完成合规整改。
(五)《标准》对算法训练数据提出要求
《标准》对算法训练数据提出了相关要求。参考《生成式人工智能服务管理暂行办法》的规定,应确保所使用的训练数据来源的合法性,保障训练数据的质量。若使用了个人信息,还应获得个人信息主体的同意或者单独同意等合法性基础。
针对可能利用个人信息作为训练数据的情况,《标准》也指出,若确实有证据可证明无法直接或间接根据在模型训练过程中所涉及的数据用于关联或识别个人,即相关数据进行了匿名化处理,此类数据不再构成个人信息。
因此,企业在进行自动化决策算法开发时,建议同步建立训练数据的管理机制,从训练数据的来源管理、训练数据的质量管理、训练数据的标注管理等方面确保训练数据的准确性、均衡性、相关性、充分性、可靠性、规范性。
(六)自动化决策重点场景合规要点
在建立自动化决策风险地图、进行自动化决策算法影响、建立训练数据管理机制的基础上,建议企业可以将业务场景和相关风险及合规措施进行对应,进一步场景化风险地图。
以企业的商业营销场景(包括营销推送和商业交易)为例,《标准》第12.1款、第12.2款将营销场景分为了信息推送场景和实际的商业交易场景,在“九不准”的基础上提出更针对营销场景的要求(同时,还请注意针对特殊群体的自动化决策场景要求,例如,不应出于营销目的对儿童进行特征生成分析并开展相应个性化营销服务)。
除了禁止的行为以外,企业还应当向个人提供动态调整的推荐比例选项,在实践中一般表现为:
应为用户提供标签管理的功能;
应为用户提供关闭信息推送、商业营销的路径或功能;
可以在App、网页或其他客户端中为用户提供营销信息推送频率、营销信息推送方式、营销信息推送类型等选项,供用户自行选择。
此外,《标准》还列出了其他典型场景下的特殊要求,我们将相关场景的特殊要求梳理如下:
三、小结
随着大数据、算法不断嵌入社会生活的方方面面,自动化决策为企业在理解客户、定位客户、优化产品或服务、精准营销、提升转化率等方面提供了有力支撑;也为用户减少了信息过载、提供更为优质的服务。但同时也伴随着用户对个人信息、隐私安全的担忧,企业也同样面临着算法、数据方面的合规风险。在自动化决策被广泛应用的现在,《标准》能够为企业在商业营销等场景下的合规建设提供指引,但在实践中,自动化决策的应用与企业业务紧密相连且更为复杂,我们期待能够深入企业的业务场景,帮助企业评估相关风险,进而提供切实有效、具有可操作性的合规建议。
[1] http://www.news.cn/fortune/2023-02/08/c_1129348169.htm,最后访问时间:2023年9月1日。
[2] 《个保法》第二十四条:个人信息处理者利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正,不得对个人在交易价格等交易条件上实行不合理的差别待遇。
通过自动化决策方式向个人进行信息推送、商业营销,应当同时提供不针对其个人特征的选项,或者向个人提供便捷的拒绝方式。
通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。
[3] 参见《标准》第3.4款,特征生成是指通过计算机程序自动处理个人信息,经过个人特征提取、特征选择、特征计算、特征输出等步骤,生成开展针对个人决策所需的输入信息的过程。
[4] 参见《标准》第3.5款,决策是指以生成的个人特征信息为输入,作出针对个人将采取具体行动的决定。
01、自动化决策流程合规
《标准》将自动化决策分为“特征生成”和“决策”两个环节,并进一步明确两个环节的概念。《标准》提供了多层次、多方位的自动化决策安全要求,企业还需同步关注规范数据处理活动、个人信息处理活动的相关国标。
02、设置九条红线
《标准》聚焦于算法及数据(含个人信息)安全的风险,提出了九个“不准”。
03、搭建算法影响评估机制
《标准》要求个人信息处理者或者算法开发方在自动化决策算法开发前进行算法影响评估,包括对算法所能达到的效果、所花费的成本的预期评估以及对可能产生的负面影响的预判。
04、训练数据合规
《标准》对算法训练数据提出了要求,关注数据的准确性、均衡性、相关性、充分性、可靠性、规范性。
05、自动化决策典型场景合规
《标准》提供了多个典型场景下的特殊要求,将营销场景分为了消息推送场景及实际的商业交易场景,并提供了合规指引。
一、《标准》出台背景
近年来,我国通过《中华人民共和国个人信息保护法》(以下简称“《个保法》”)等法律、法规,和《GB/T41391-2022信息安全技术移动互联网应用程序(App)收集个人信息基本要求》、《GB/T35273-2020信息安全技术个人信息安全规范》等相关标准,对企业利用个人信息进行自动化决策进行规范。工信部等有关部门对违规收集、使用个人信息的App采取通报、下架等处罚措施[1]。
2023年8月18日,全国信息安全标准化技术委员会发布《信息安全技术基于个人信息的自动化决策安全要求(征求意见稿)》(以下简称“《标准》”),面向社会征求公开意见。该《标准》明确规范了个人信息处理者在自动化决策活动中的数据安全和服务安全要求,同时指导了如何保障用户权利,避免侵害用户权益,实现数据安全和个人信息保护的目标。我们着重关注了自动化决策安全风险、自动化决策基本安全要求、算法影响评估、算法训练数据合规要求几个方面,结合企业营销场景,以期为企业提供有效可行的合规指引。
二、《标准》六大方面解读
(一)《标准》将自动化决策拆解为“特征生成”和“决策”两个环节
《个保法》第24条对个人信息处理者利用个人信息进行自动化决策的合规要求作出了规定[2],第73条第(二)款对自动化决策进行了定义。《标准》在依据《个保法》的定义的基础上,进一步将自动化决策分解为“特征生成”[3]和“决策”[4]两个环节,并对这两个环节进行了定义。为清晰体现自动化决策过程,《标准》给出了自动化决策行为环节的图示:

来源:参见《标准》第5.1 自动化决策行为的环节
(二)聚焦于算法及数据(含个人信息)安全的“自动化决策九不准”
在企业商业营销场景下,自动化决策的环节可以理解为,企业通过收集大量的个人信息、行为数据,通过预先设计开发完成的计算机程序生成针对进行个人决策所需的信息,例如个人的收入情况、消费习惯、消费偏好等,帮助企业向用户进行精准营销。我们知道,算法和数据(包含个人信息)是开发计算机程序的重要工具和资料,《标准》也进一步指出“完成特征生成的或用于决策的算法,在很大程度上决定了自动化决策过程的透明性和自动化决策结果的公平公正性等。”因此,《标准》着重于算法及数据的安全风险,提出了九大自动化决策风险,可以概括为“自动化决策九不准”:
不准违法违规处理用户个人信息;
不准在不具备合法性基础的情况下过度分析或挖掘个人信息、侵犯用户隐私;
不准不具备可解释性的算法逻辑或模型;
不准特征生成不准确、不客观的内容;
不准特征生成淫秽、暴力等违法犯罪的内容及歧视性内容;
不准未经评估仅依据特征生成信息的决策活动;
不准未设置人工干预机制的决策活动;
不准不向个人披露自动化决策的方式及范围;
不准未经事前评估决策结果是否公正的自动化决策活动。
(三)《标准》提供了多层次、多方位的自动化决策安全要求
《标准》给出了自动化决策的基本安全要求,又进一步提出了自动化决策算法开发、特征生成、决策等环节以及典型场景的安全要求。我们认为,可以将其分为:开发层面的算法安全,执行层面的特殊生成及决策环节的安全,应用层面的典型场景安全以及风险管理要求。

因此,企业可以以本《标准》所列出的各个层次的安全要求作为纵轴,每个层次中对应的标准要求及其他国标要求作为横轴,对自身自动化决策活动进行风险评估及合规整改,建立自动化决策活动风险地图。
(四)《标准》要求在自动化决策算法开发前进行影响评估
《标准》对自动化决策算法提出了一系列的安全要求,其中值得关注的是算法影响评估机制。《标准》提出,个人信息处理者或者算法开发方在自动化决策算法开发前进行算法影响评估。
《个保法》规定利用个人信息进行自动化决策应进行个人信息保护影响评估,着重从利用个人信息进行自动化决策的目的、场景、方式及影响等方面进行影响评估。同时,《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》提出了算法备案,备案关键材料之一的算法自评估与《标准》所称的算法影响评估类似。应履行备案义务的算法类型里包含了个性化推送类、调度决策类等,这些算法通常会应用到自动化决策活动的决策环节。
结合我们的算法备案服务经验,算法备案里所要求的算法自评估的评估内容及相关要求与自动化决策算法影响评估具有一定的相似性,同时也存在明显的差异。以算法推荐服务及自动化决策都可能涉及到的个性化推送算法为例,两者的对比如下:

综上所述,我们理解自动化决策的算法影响评估兼顾了对算法所能达到的效果、所花费的成本的预期评估以及对可能产生的负面影响的预判;而算法自评估则更加注重算法服务应用层面的风险评估。
对此,我们认为,如果企业是以个人信息处理者的角色开展算法影响评估,可以将其纳入自动化决策的个人信息保护影响评估活动中,避免因场景重合而增加多余的合规成本。对于算法开发方的企业而言,及时对自动化决策算法进行影响评估能够在确保满足合规要求的前提下提升算法应用的效率和准确性,有利于增强市场竞争力。此外,算法影响评估还可以作为企业评估应履行何种合规义务的前置环节,帮助企业梳理合规义务清单、完成合规整改。
(五)《标准》对算法训练数据提出要求
《标准》对算法训练数据提出了相关要求。参考《生成式人工智能服务管理暂行办法》的规定,应确保所使用的训练数据来源的合法性,保障训练数据的质量。若使用了个人信息,还应获得个人信息主体的同意或者单独同意等合法性基础。
针对可能利用个人信息作为训练数据的情况,《标准》也指出,若确实有证据可证明无法直接或间接根据在模型训练过程中所涉及的数据用于关联或识别个人,即相关数据进行了匿名化处理,此类数据不再构成个人信息。
因此,企业在进行自动化决策算法开发时,建议同步建立训练数据的管理机制,从训练数据的来源管理、训练数据的质量管理、训练数据的标注管理等方面确保训练数据的准确性、均衡性、相关性、充分性、可靠性、规范性。
(六)自动化决策重点场景合规要点
在建立自动化决策风险地图、进行自动化决策算法影响、建立训练数据管理机制的基础上,建议企业可以将业务场景和相关风险及合规措施进行对应,进一步场景化风险地图。
以企业的商业营销场景(包括营销推送和商业交易)为例,《标准》第12.1款、第12.2款将营销场景分为了信息推送场景和实际的商业交易场景,在“九不准”的基础上提出更针对营销场景的要求(同时,还请注意针对特殊群体的自动化决策场景要求,例如,不应出于营销目的对儿童进行特征生成分析并开展相应个性化营销服务)。
除了禁止的行为以外,企业还应当向个人提供动态调整的推荐比例选项,在实践中一般表现为:
应为用户提供标签管理的功能;
应为用户提供关闭信息推送、商业营销的路径或功能;
可以在App、网页或其他客户端中为用户提供营销信息推送频率、营销信息推送方式、营销信息推送类型等选项,供用户自行选择。
此外,《标准》还列出了其他典型场景下的特殊要求,我们将相关场景的特殊要求梳理如下:
| 典型场景 | 特殊要求 |
| 教育或职业机会 | 不应设置歧视性或者偏见性用户标签并据此设定筛选策略 |
| 信用贷款或保险评估 | 不应在用户不知情且未获得用户授权或具备其他合法性基础前提下,仅通过用户的行为指标进行自动化评分 |
| 社会福利资格等公共治理领域 | 提供便捷有效的方式为个人提供申诉渠道,及时对个人诉求予以处理 建立安全可行的公示方式,在合理范围内确保公众知情权,接受公众监督 |
| 特殊群体的自动化决策场景安全要求 | 儿童: 原则上不应对儿童开展自动化决策处理 确有需要的(例如为了保护儿童的福利),需要提供适合该年龄段理解的信息,说明儿童个人数据会怎么处理以及潜在风险,并采取适当的保障措施确保有效保护儿童的权利和合法利益 不得设置诱导未成年人沉迷的机制 |
| 老年人: 个人信息处理者应在自动化决策算法设计中做好针对老年人的适老化改造,避免将老年人排除于自动化决策之外。 | |
| 劳动者: 利用算法进行绩效管理、人事管理时,应在算法设计层面引入劳动权益保护考量 向劳动者提供工作调度功能时(劳动报酬、休息休假,订单分配、工作时间、奖惩措施等功能),应为劳动者设立便捷明晰的意见反馈与投诉处理机制 |
三、小结
随着大数据、算法不断嵌入社会生活的方方面面,自动化决策为企业在理解客户、定位客户、优化产品或服务、精准营销、提升转化率等方面提供了有力支撑;也为用户减少了信息过载、提供更为优质的服务。但同时也伴随着用户对个人信息、隐私安全的担忧,企业也同样面临着算法、数据方面的合规风险。在自动化决策被广泛应用的现在,《标准》能够为企业在商业营销等场景下的合规建设提供指引,但在实践中,自动化决策的应用与企业业务紧密相连且更为复杂,我们期待能够深入企业的业务场景,帮助企业评估相关风险,进而提供切实有效、具有可操作性的合规建议。
[1] http://www.news.cn/fortune/2023-02/08/c_1129348169.htm,最后访问时间:2023年9月1日。
[2] 《个保法》第二十四条:个人信息处理者利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正,不得对个人在交易价格等交易条件上实行不合理的差别待遇。
通过自动化决策方式向个人进行信息推送、商业营销,应当同时提供不针对其个人特征的选项,或者向个人提供便捷的拒绝方式。
通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。
[3] 参见《标准》第3.4款,特征生成是指通过计算机程序自动处理个人信息,经过个人特征提取、特征选择、特征计算、特征输出等步骤,生成开展针对个人决策所需的输入信息的过程。
[4] 参见《标准》第3.5款,决策是指以生成的个人特征信息为输入,作出针对个人将采取具体行动的决定。
