前 言
人工智能(AI)作为一种模拟和执行人类智能任务的技术,正颠覆性地改变着人类的生活、工作和交流方式,与人类社会融为一体。然而,在人工智能产业保持高速发展态势的同时,其技术自身也面临着诸多困境。人工智能所带来的隐私泄露、偏见歧视、价值观渗透风险、技术滥用等伦理问题已引起各界的广泛关注。基于此,本文将根据我国现行的法律法规,对人工智能伦理的基本内容进行梳理,总结出人工智能项目的伦理合规要点,供相关主体参考。
一、人工智能伦理概述
(一) 人工智能伦理的内涵
如何定义人工智能伦理?2023年3月发布的《人工智能伦理治理标准化指南》(以下简称为“《指南》”)将人工智能伦理总结为三方面:一是人类在开发和使用人工智能相关技术、产品及系统时的道德准则及行为规范;二是人工智能体本身所具有的符合伦理准则的道德准则或价值嵌入方法;三是人工智能体通过自我学习推理而形成的伦理规范。
(二) 人工智能伦理规制的必要性
在人工智能的高速发展中,面临着许多风险,其中人工智能伦理风险可能导致各类伦理问题的出现,极端情况下可能引发重大公共安全问题等伦理危机,因此有必要从伦理层面对人工智能进行严格的规制。《指南》将人工智能发展所面临的伦理风险总结为四大类:
1.数据
在当前的数据驱动时代,数据集规模正呈指数级扩大。然而,这同时也加剧了个人信息泄露的风险,使得保护个人隐私和识别个人敏感信息的重要性日益突出。人工智能的发展离不开大规模的数据支持,但也带来了数据盗用、信息泄漏等伦理风险。在人工智能系统的开发过程中,数据集的代表性、规模以及均衡性等设计问题,可能会影响数据集的公平性,进而关系到算法的公平性。同时,数据标注过程中的数据泄露等数据预处理安全问题,也会对个人信息保护造成威胁。此外,缺乏对数据层面的可追溯技术,也会增加人工智能系统在责任认定以及问责风险方面的压力。
因此,我们需要关注数据集的公平性、个人隐私保护等问题,并积极寻求解决方案,以期在充分利用数据价值的同时,避免相关的伦理风险。
2.算法
在人工智能算法的实现中,主要包括以下三种主要风险:首先,由于模型参数的泄漏或恶意篡改,以及容错和韧性不足,存在算法安全风险。其次,由于采用了复杂的神经网络算法,导致决策过程不透明,无法进行充分的解释。同时,数据的输入输出关系理解不清晰,可能引发可解释性安全风险。最后,由于算法推理结果的不可预见性和人类认知能力的局限性,无法预测智能系统的决策原因和结果,从而产生算法决策偏见。
此外,在算法的运行和推理环节,存在被错误使用或滥用的可能。例如,一旦智能推荐算法被不法分子利用,将会使虚假信息、违规言论等不良信息的传播更具针对性和隐蔽性,从而在扩大负面影响的同时,降低被举报的可能性。及时针对算法的潜在风险实施有效的防控措施,将有助于确保人工智能算法的安全、可靠和公平运行,从而更好地服务于社会和用户。
3.系统(决策方式)
在当前的人工智能发展阶段,现有系统不仅承袭了过去信息技术的伦理问题,而且受到数据和算法风险的影响。随着人工智能在生产生活的各个领域的广泛应用,其固有的不透明性、低可解释性等特性,以及系统漏洞、设计缺陷等风险,可能导致个人信息等数据泄露、工业生产线停止等社会问题,进一步威胁到个人权益、社会秩序以及国家安全。例如,人工智能武器的滥用可能在全球范围内加剧不平等,威胁人类生命和世界和平;借助人工智能系统犯罪,会给法益带来更严重的侵害且将增加案件的侦查难度等。
4.人为因素
人为因素在算法歧视中占据主要地位,主要包括两类:一是算法设计者导致的算法歧视,二是用户导致的算法歧视。首先,算法设计者可能会为了追求利益或表达主观观点而设计出具有歧视性的算法,算法的设计目的、数据运用以及结果表征等都反映了开发者、设计者的主观价值观和偏好。更有甚者会将自己的偏见和喜好嵌入或固化到智能算法中。这会导致人工智能算法在学习过程中,将这种歧视或倾向进一步放大或强化,从而产生出带有偏见的算法设计者所期望的结果,最终使得基于算法的决策带有偏见。此外,用户也可能会导致算法歧视。这种情况主要出现在需要从与用户的互动过程中进行学习的算法中。由于用户与算法的交互方式,算法的执行结果可能产生偏见。在运行过程中,算法会向周围环境学习,但它无法决定保留或丢弃哪些数据、判断数据的准确性,而都只能在用户提供的数据基础上进行判断,无论这些数据质量如何。
由此可见,人为因素在算法歧视中起着关键作用,要想消除这种歧视,就需要从算法设计和用户互动两方面入手,以确保算法的公平性和中立性。
(三) 我国人工智能伦理的规制沿革
我国颁布了一系列关于科技伦理和人工智能伦理的法律法规和政策,旨在规范科技的发展和应用,确保科技的发展符合伦理道德的要求,防止科技的发展给社会和人类带来不良的影响(详见表一:我国人工智能伦理的相关法律法规、文件)。具体而言:
2017年7月,《新一代人工智能发展规划》提出“分三步走”的战略目标,且明确指出要加强人工智能相关法律、伦理和社会问题研究,建立保障人工智能健康发展的法律法规和伦理道德框架。
2019年6月,《新一代人工智能治理原则——发展负责任的人工智能》提出了人工智能治理的框架和行动指南。治理原则着重强调了发展负责任的人工智能这一主题,阐述了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共同责任、开放协作、敏捷治理等八条原则。
2021年9月,《新一代人工智能伦理规范》提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理规范。同时,提出人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。
2022年3月,《意见》中的第三、四、五项明确提出了要健全科技伦理治理体制、加强科技伦理治理制度保障和强化科技伦理审查和监管的要求。
2023年10月,《科技伦理审查办法(试行)》(以下简称“《审查办法》”)划定了科技伦理范围,明确了科技伦理审查的责任主体、科技伦理(审查)委员会的设立标准和组织运行机制,明确了科技伦理审查的基本程序,确定了伦理审查内容和审查标准,为各地方和相关行业主管部门、创新主体等组织开展科技伦理审查提供了制度依据。
发布机构 | 法律法规/文件名称 | 发布时间 |
国务院 | 《新一代人工智能发展规划》 | 2017年7月 |
中华人民共和国工业和信息化部 | 《促进新一代人工智能产业发展三年行动计划(2018-2020年)》 | 2017年12月 |
国家新一代人工智能治理专业委员会 | 《新一代人工智能治理原则——发展负责任的人工智能》 | 2019年6月 |
全国人民代表大会常务委员会 | 《新一代人工智能伦理规范》 | 2021年9月 |
国家互联网信息办公室 | 2021年12月 | |
中共中央办公厅、国务院办公厅 | 2022年3月 | |
国家互联网信息办公室 | 2022年11月 | |
中华人民共和国外交部 | 《中国关于加强人工智能伦理治理的立场文件》 | 2022年11月 |
国家人工智能标准化总体组、全国信标委人工智能分委会 | 《人工智能伦理治理标准化指南》 | 2023年3月 |
国家网信办、国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局 | 2023年7月 | |
科技部、教育部、工业和信息化部科技部、农业农村部、国家卫生健康委、中国科学院、中国社科院、中国工程院、中国科协、中央军委科技委 | 2023年10月 |
表一:我国人工智能伦理的相关法律法规、文件
(四) 我国人工智能伦理的基本准则
2022年3月中共中央办公厅、国务院办公厅印发的《关于加强科技伦理治理的意见》(以下简称为“《意见》”),明确了科技伦理的五大类原则。《指南》以五大原则为基础,梳理细化了十类可实施性较强的人工智能伦理准则,为后续具体标准的研制提供可操作的方向,具体内容如下表所示:
《关于加强科技伦理治理的意见》科技伦理原则 | 《人工智能伦理治理标准化指南》人工智能伦理准则 | 关键词 |
1.增进人类福祉 | (1)以人为本 (For Human) | 福祉、尊严、自主自由等 |
(2)可持续性 (Sustainability) | 远期人工智能、环境友好、向善性等 | |
2.尊重生命权利 | (3)合作(Collaboration) | 跨文化交流、协作等 |
(4)隐私(Privacy) | 知情与被通知、个人数据权利、隐私保护设计等 | |
3.坚持公平公正 | (5)公平(Fairness) | 公正、平等、包容性、合理分 配、无偏见与不歧视等 |
(6)共享(Share) | 数据传递、平等沟通等 | |
4.合理控制风险 | (7)外部安全(Security) | 网络安全、保密、风险控制、物理安全、主动防御等 |
(8)内部安全(Safety) | 可控性、鲁棒性、可靠性、冗余、稳定性等 | |
5.保持公开透明 | (9)透明(Transparency) | 可解释、可预测、定期披露和开源、可追溯等 |
(10)可问责 (Accountability) | 责任、审查和监管等 |
二、人工智能伦理审查的适用范围
《审查办法》明确了适用伦理审查的科技活动范围。根据第二条规定,以下四类科技活动应当进行伦理审查:
(1)涉及以人为研究参与者,包括利用人类生物样本、个人信息数据等的科技活动;
(2)涉及实验动物的科技活动;
(3)不直接涉及人或实验动物,但可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动;
(4)依据法律、行政法规和国家有关规定需进行科技伦理审查的其他科技活动。
除此之外,《互联网信息服务深度合成管理规定》第七条规定,深度合成服务提供者应当落实信息安全主体责任,建立科技伦理审查等管理制度。
综上,需要进行伦理审查的人工智能活动包括但不限于以下几种:
1.算法模型涉及个人信息数据的;
2.算法模型涉及公共秩序的;
3.提供深度合成服务的。
三、 人工智能项目的伦理合规路径
《审查办法》规定,高等学校、科研机构、医疗卫生机构、企业等是本单位科技伦理审查管理的责任主体,以上各主体应根据《审查办法》第2条规定内容梳理是否涉及人工智能伦理审查触发的条件,严格按照要求设立伦理(审查)委员会,建立伦理(审查)委员会审查机制,涉及审查事项的应当组织伦理(审查)委员会逐项审查,并出具相关审查意见和合规建议。因触发条件在第二部分已明确梳理,下文仅就伦理审查委员会的设立、运行机制建立等事项进行梳理,具体内容如下:
(一) 设立伦理审查机构
1.设立要求。设立时应注意,委员会人数应不少于7人,设主任委员1人,副主任委员若干。委员会由具备相关科学技术背景的同行专家,伦理、法律等相应专业背景的专家组成,并应当有不同性别和非本单位的委员,民族自治地方应有熟悉当地情况的委员。委员任期不超过5年,可以连任。
2.职责。科技伦理(审查)委员会的职责包括:
(1)制定完善科技伦理(审查)委员会的管理制度和工作规范;
(2) 提供科技伦理咨询,指导科技人员对科技活动开展科技伦理风险评估;
(3)开展科技伦理审查,按要求跟踪监督相关科技活动全过程;
(4)对拟开展的科技活动是否属于“需要开展伦理审查复核的科技活动清单”范围作出判断;
(5)组织开展对委员的科技伦理审查业务培训和科技人员的科技伦理知识培训;
(6)受理并协助调查相关科技活动中涉及科技伦理问题的投诉举报;
(7)按照《审查办法》第四十三、四十四、四十五条要求进行登记、报告,配合地方、相关行业主管部门开展涉及科技伦理审查的相关工作。
3.健全工作制度。设立后,应配备健全的工作制度,包括但不限于:
(1)建立审查、监督、保密管理、档案管理等工作规范、工作规程和利益冲突管理机制;
(2)建立简易审查程序的工作规程;
(3)建立应急审查程序的工作规程。
(二) 建立伦理审查机制
审查程序包括一般程序、简易程序、专家复核程序、应急程序。
1.伦理审查的一般程序
一般审查程序的流程如下图所示:
一般审查程序 | |
(1) 提交申请材料 | 由科技活动负责人向本单位科技伦理(审查)委员会申请伦理审查,并提交申请材料。 |
(2) 作出受理意见 | 科技伦理(审查)委员会提出是否受理的意见,并通知申请人。 |
(3) 开展审查 | 科技伦理(审查)委员会原则上采取会议审查的方式(包括视频会议)进行伦理审查。 |
(4) 作出审查决定 | 科技伦理(审查)委员会一般在申请受理后30日内作出审查决定,包括批准、修改后批准、修改后再审或不予批准等。 |
(5) 书面申诉 | 申请人有异议的,可以向作出审查决定的科技伦理(审查)委员会提出书面申诉,并由科技伦理(审查)委员会重新作出最终决定。 |
(6) 跟踪审查 | 科技伦理(审查)委员会应当对审查批准的科技活动开展伦理跟踪审查,必要时可作出暂停或终止科技活动等决定。跟踪审查间隔一般不超过12个月。 |
(7) 重新审查 | 如果科技活动实施过程中调整实施方案,可能导致科技伦理风险发生变化的,必要情况下科技伦理(审查)委员会可以重新进行伦理审查。 |
其中,科技活动负责人向委员会申请审查的申请材料包括:
(1)科技活动概况,包括科技活动的名称、目的、意义、必要性以及既往科技伦理审查情况等;
(2)科技活动实施方案及相关材料,包括科技活动方案,可能的科技伦理风险及防控措施和应急处理预案,科技活动成果发布形式等;
(3)科技活动所涉及的相关机构的合法资质材料,参加人员的相关研究经验及参加科技伦理培训情况,科技活动经费来源,科技活动利益冲突声明等;
(4)知情同意书,生物样本、数据信息、实验动物等的来源说明材料等;
(5)遵守科技伦理和科研诚信等要求的承诺书;
(6)科技伦理(审查)委员会认为需要提交的其他材料。
跟踪审查的主要内容包括:
(1)科技活动实施方案执行情况及调整情况;
(2)科技伦理风险防控措施执行情况;
(3)科技伦理风险的潜在变化及可能影响研究参与者权益和安全等情况;
(4)其他需要跟踪审查的内容。
根据跟踪审查需要,委员会可以要求科技活动负责人提交相关材料。
2.伦理审查的简易程序
简易程序审查由委员会主任委员指定两名或两名以上的委员承担,工作规程由委员会制定。审查过程中,可要求申请人就相关问题进行说明。审查决定应载明采取简易程序审查的理由和依据。采取简易程序审查的,委员会可根据情况调整跟踪审查频度。
下列情形可适用简易程序审查:
(1)科技活动伦理风险发生的可能性和程度不高于最低风险;
(2)对已批准科技活动方案作较小修改且不影响风险受益比;
(3)前期无重大调整的科技活动的跟踪审查。
简易程序审查过程中出现下列情形之一的,应按规定调整为会议审查,适用一般程序:
(1)审查结果为否定性意见的;
(2)对审查内容有疑义的;
(3)委员之间意见不一致的;
(4)委员提出需要调整为会议审查的。
3.伦理审查的专家复核程序
《审查办法》通过附件形式,将七类科技活动列入“需要开展伦理审查复核的科技活动清单”,其中涉及人工智能领域的有:
(1)对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发;
(2)具有社会舆论动员能力和社会意识引导能力的算法模型、应用程序及系统的研发;
(3)面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。
这就意味着,涉及以上三种科技活动的相关人工智能企业不仅需要通过科技伦理(审查)委员会的初步审查,还需要报请所在地方或相关行业主管部门开展专家复核。具体科技活动是否属于上述清单范围,由单位的科技伦理(审查)委员会作出判断(《审查办法》第五条第五款)。至于“具有社会舆论动员能力”、“社会意识引导能力”等条件的判断标准,仍待有关部门作出进一步的明确。
4.伦理审查的应急程序
应急审查制度由委员会制定,根据科技活动紧急程度等实行分级管理,可设立科技伦理审查快速通道,及时开展应急审查。应急审查一般在72小时内完成。对于适用专家复核程序的科技活动,专家复核时间一并计入应急审查时间。应急审查应有相关专业领域的委员参会。无相关专业领域委员的,应邀请相关领域顾问专家参会,提供咨询意见。任何单位和个人不得以紧急情况为由,回避科技伦理审查或降低科技伦理审查标准。
(三) 进行备案与年度报告
1.科技伦理(审查)委员会的设立备案
企业应在设立科技伦理(审查)委员会后30日内,通过国家科技伦理管理信息登记平台进行登记。登记内容包括科技伦理(审查)委员会组成、章程、前文所述的相关工作制度及规程等,登记内容发生变化时应及时更新。
2.科技活动的审查完成备案
企业应在纳入清单管理的科技活动获得伦理审查批准后30日内,通过国家科技伦理管理信息登记平台进行登记。登记内容包括科技活动实施方案、伦理审查与复核情况等,登记内容发生变化时应及时更新。
3.提交年度报告
企业应于每年3月31日前,向国家科技伦理管理信息登记平台提交上一年度科技伦理(审查)委员会工作报告、纳入清单管理的科技活动实施情况报告等。
四、结语
建议相关企业及时根据上述合规要点准备人工智能伦理审查相关事宜,确保人工智能相关科技活动的合规性。由此,企业才能够更好地应对可能的伦理风险,确保人工智能产品的研发和发布过程符合伦理要求,同时也能够增强企业的公众形象和社会责任感。
