英国ICO发布关于AI监管的战略方法

本文的摘要
本文是英国信息专员办公室（ICO）发布的关于人工智能（AI）监管的战略方法的文件。文中讨论了AI带来的机遇和风险，特别是与个人数据的处理相关的风险，以及数据保护法在AI监管中的作用。ICO强调了其在推动AI法规原则方面的职责，并概述了其在AI领域的工作，包括政策和指导、建议和支持、监管行动以及即将到来的发展。ICO还强调了与其他监管机构合作的重要性，并介绍了其在AI领域的能力。
全文翻译
引言
在ICO，我们支持政府的雄心，确保以使英国成为最聪明、最健康、最安全和最快乐居住和工作的地方的方式采用人工智能（AI）。我们相信数据保护是实现这一目标的关键部分。
本文档根据 Secretary of State for Science, Innovation and Technology 的要求，阐述了ICO对人工智能法规的战略方法。它解释了我们如何推动 AI Regulation White Paper 中制定的原则和政府关于实施这些原则的指导。
第一部分：人工智能的机会和风险
人工智能的潜力不容置疑。它在医疗、娱乐等多个领域展现出巨大潜力，能够极大地改善我们的生活。它的自主性、适应性和扩展能力正在帮助我们的社会解决新问题，提高效率，并带来更多乐趣。
然而，如果不妥善处理人工智能开发和部署中固有的风险，这些潜在的好处可能会受到威胁。人们对人工智能可能带来的公平性、偏见、透明度、可解释性、安全性、责任和补救等问题表示了合理的担忧。人工智能不仅可能因为其自主性、适应性和扩展性而加剧现有风险，还可能产生新的风险。
许多这些风险源于个人数据在人工智能系统开发和部署中的使用方式。任何涉及个人数据处理的地方，都属于ICO作为英国数据保护监管机构的监管范围。ICO有能力在整个人工智能供应链中进行监管，从模型开发者到部署者，根据风险最大或最需要缓解的地方采取行动。
数据保护法是技术中立的，适用于任何个人数据的处理，无论使用何种技术。因此，该法律具有适应性，能够应对包括人工智能在内的新技术的发展。
重点：基础模型
英国政府将基础模型定义为“在大量数据上训练的机器学习模型，能够适应广泛的任务”。同样，欧盟AI法将通用目的AI定义为“展现出显著普遍性，能够胜任执行各种不同任务的模型，无论这些模型如何进入市场，都能够集成到多种下游系统或应用中”。
这些模型通常利用个人数据进行开发，以便它们可以部署用于一般一组目的。尽管数据保护法没有明确提到基础模型或通用目的AI，但立法的范围允许ICO在个人数据被处理的任何地方进行监管。
数据保护法适用于模型生命周期的每个阶段，以及供应链中处理个人数据的每个参与者，使ICO能够在上游和下游针对公平性和透明度等问题采取行动。违规的罚款可能高达公司年度全球营收的4%。
数据保护法基于风险。负责处理个人数据的组织需要识别风险、采取措施减轻这些风险，并能够展示他们如何做到这一点。风险对人们及其权利的严重性和可能性在很大程度上取决于人工智能应用的场景和涉及人员的具体情况。通过让组织承担责任，我们允许他们根据自己所处的场景和运营目标采取最合适的方法。
我们要求通过技术和组织措施来管理和减轻风险，而不一定需要完全消除风险。这种方法灵活、针对具体情况，适合于本质上具有概率性并因此存在误差范围的技术。如果组织识别到他们无法充分减轻的高风险，这些风险可能严重影响个人的权利和自由，他们需要与ICO协商。
为了帮助组织识别和减轻风险，ICO开发了获奖的人工智能和数据保护风险工具包，该工具包基于我们在人工智能和数据保护方面的指南。我们的损害分类法说明了ICO如何评估风险和损害，包括对人们的权利和自由产生的不利影响。
ICO对政府采取的方法表示欢迎，该方法利用现有监管机构的优势，这些机构非常适合应对其监管领域内出现的人工智能风险。我们认为，与人工智能相关的风险并不需要全新的、广泛的、跨领域的立法，而是需要为现有的英国监管机构提供适当的资源，并赋予它们追究组织责任的能力。
重点：高风险AI应用
全球正在就人工智能风险可能更大的场景达成共识。例如，白宫关于安全、安全和值得信赖的AI开发和使用的行政命令提出了在教育、医疗保健、金融服务、法律、教育、招聘等领域可能造成伤害的风险，包括歧视性结果。
同样，欧盟AI法列出了在教育、司法行政、福利提供、就业和生物识别中使用的AI应用作为一些高风险应用，并列出了一个禁止应用的清单，包括工作场所的情感识别、操纵性AI和基于分析的犯罪预测。
数据保护法可以减轻这些举措寻求解决的许多风险。例如，公平原则已经要求组织不要进行数据处理，对个人产生不合理的不利影响。ICO已经就情感识别技术等新兴AI用途发出警告。
虽然一些风险源于AI部署的特定场景（例如医疗保健、执法或教育），但其他风险源于AI开发过程。例如，建立在不准确或不具代表性的数据集上的面部识别技术可能无论应用于何种场景都可能产生歧视性结果，因此需要尽职调查和操作测试。
重点：面部识别技术和生物识别
面部识别技术（FRT）已成为英国和国际上引起重大公众辩论的首批AI应用之一。ICO已通过我们关于公共场所使用实时FRT的意见，以及特别是执法部门使用FRT的意见，明确了我们对FRT负责任使用的期望。
我们认识到，如果得到适当的管理、监管和部署，FRT可以为安全和公共安全等问题提供潜在的好处。然而，无论是出于执法目的还是其他原因，所有FRT部署都必须是成比例的，并在侵犯隐私和它们寻求实现的目的之间找到正确的平衡。
我们还制定了关于更广泛使用生物识别技术的指南，为组织提供了具体和实际的问题，当它们考虑使用这些技术时应该考虑这些问题。这些问题从生物识别识别系统所做的“决策”的性质，到如何适当考虑数据权利请求，以及如何确保生物识别数据的安全。
弱势群体，包括儿童，更容易受到风险的影响，使用或部署AI的组织需要将其纳入其总体风险管理框架。
重点：儿童和AI
适当的年龄设计守则（“儿童守则”）要求在线服务为儿童提供更好的隐私保护，确保他们的个人信息在数字世界中得到保护——包括当使用AI进行处理时。通过我们对组织使用人工智能方法的审查，已经促成了一些最大的社交媒体和视频分享平台在儿童在线隐私方面做出重大改进。
2024年3月，我们推出了2024/25年的儿童守则战略，以推动进一步的进展。在审查平台时，我们将优先考虑的问题之一是他们使用儿童信息在推荐系统中——算法生成的内容源，可能使用行为分析和儿童搜索结果的分析来推荐内容。
我们还采取了行动，因为我们担心由于AI产品和服务，儿童可能受到伤害。例如，我们调查了Snap的“我的AI”生成性AI聊天机器人的风险评估流程，特别关注确保已经适当识别和减轻了对儿童的风险。我们将继续采取行动，确保儿童的隐私在网上得到保护。
许多AI风险不在数据保护法的范围之内，或通过其他监管机制更有效地解决。例如，数据保护法对使用AI开发新的生物或化学威胁提供的保护很少。它不能解决由敌对国家合成媒体（“深度伪造”）的发展对国家安全和选举完整性的威胁。ICO正在与AI安全研究所合作处理属于其职权范围内的风险。
第二部分：数据保护法的作用
数据保护法是基于原则的，这为我们提供了一个灵活的框架，以适应人工智能技术的发展。AI法规白皮书中提出的原则在很大程度上与ICO已经监督的法定原则相呼应。这些原则包括完整性和保密性（安全）、合法性、公平性和透明度、可归责性、目的限制、数据最小化、准确性、存储限制等。
ICO已经根据现有的数据保护法律原则，对AI法规白皮书中提出的原则进行了详细的映射和实施。这表明ICO在采纳和执行AI法规白皮书中的目标和宗旨方面，已经具备了积极的经验和实践。
安全、稳健与可靠性
“AI系统应该在整个AI生命周期中以安全、稳健和可靠的方式运作，并且应该持续识别、评估和管理风险。” —— AI法规白皮书，英国政府，2023年
安全是数据保护的一项原则。组织必须确保适当的安全水平，以防止数据未经授权或非法访问、处理、意外丢失、破坏或损坏。人工智能引入了需要减轻的新安全风险，这在ICO关于人工智能和数据保护的指南中有涵盖。
透明度和可解释性
“AI系统应该是适当透明和可解释的。” —— AI法规白皮书，英国政府，2023年
透明度原则要求组织在使用个人数据时，必须向数据主体提供清晰、准确的信息，确保数据处理活动的公开性和可理解性。
公平性
“AI系统不应削弱个人或组织的法律权利，不应不公平地歧视任何个人或造成不公平的市场结果。AI生命周期中所有阶段的参与者应考虑适合系统使用情境、结果和相关法律应用的公平性定义。” —— AI法规白皮书，英国政府，2023年
公平性是数据保护的一个关键原则，要求组织处理个人数据的方式应当是合理预期的，并且不应对个人产生不合理的不利影响。
可归责性和治理
“应建立治理措施，以确保有效监督AI系统的供应和使用，在整个AI生命周期中建立清晰的可归责性线。”
可归责性是数据保护的一项原则，要求组织对他们如何处理个人数据以及如何遵守所有其他数据保护原则负责。
可抗辩性和补救
AI法规白皮书中提出的可抗辩性原则不是数据保护法的原则，但它与个人可以行使的一套数据主体权利相呼应，例如访问正在处理的个人数据的权利。这些数据保护规定使人们能够对它们认为不公平的完全自动化决策提出异议。
第三部分：我们在人工智能方面的工作
人工智能并非新鲜事物，ICO在这一领域的规范工作已经超过十年。我们于2014年首次发布了关于大数据、人工智能、机器学习和数据保护的开创性报告。以下是我们提出的一系列指导、建议、保证和执行措施的总结。
我们的政策和指导
我们提供了一系列指导产品，帮助组织将数据保护法应用于人工智能。这些包括：
*定期更新的关于人工智能和数据保护的指导，以解决新出现的风险和机遇。
*关于自动化决策和分析的补充指导，针对数据保护法的这些具体规定。
*与艾伦·图灵研究所共同制定的关于使用人工智能做出决策的解释的补充指导。
*随附的人工智能和数据保护风险工具包，该工具包在2022年获得了全球隐私和数据保护奖。
我们还提供了关于人工智能特定应用的指导，例如与生物识别技术相关的指导以及年龄验证技术。
译者注：地平线扫描是一种前瞻性研究方法，ICO通过此方法来识别和评估新兴技术可能带来的未来趋势和影响，特别是在数据保护领域。
我们跟踪人工智能的发展，以确保组织能够获得最新的指导。例如，随着人们对生成性人工智能的兴趣增加，我们迅速为开发者和用户提供了建议。我们进行地平线扫描，以检测新的数据保护风险和机遇，并发布了关于神经技术、新兴生物识别技术、个性化大型语言模型和下一代搜索引擎等的报告。
我们的建议和支持
我们为人工智能创新者提供了一系列建议服务，确保他们在引入新想法时获得监管上的明确指导和确定性。
我们的监管沙盒为支持使用数据以创新和新颖的方式开发产品和服务的组织提供了深入支持。以前的参与者包括提供远程生物识别身份验证技术的Onfido，以及寻求为年轻人开发“金融虚拟助手”的GoodWith。
我们的创新建议服务旨在在10-15天内回应创新者的监管问题，确保我们的建议与市场发展一样迅速。该服务在2023年PICCASO奖项中被评为最佳创新隐私项目，已经就从生成性人工智能到自动呼叫系统的各个主题提供了建议。
我们的创新中心与加速器、孵化器和其他机构合作，指导创新者将数据保护纳入他们新想法的实施中。我们的合作包括与科学、创新和技术部（DSIT）、内政部和GCHQ合作开展安全技术创新挑战赛，与DSIT、Innovate UK和EHRC合作开展公平创新挑战赛，以及与数字弹射桥接人工智能团队合作。
译者注：同意审计计划是ICO与组织合作进行的一种审计，这种审计是在组织同意的基础上进行的，目的是评估组织在使用人工智能处理个人数据时是否符合数据保护法规的要求，并提供改进建议。
为了帮助教育和协助组织履行其监管义务，我们还开展了一系列同意审计计划，评估他们使用人工智能处理个人信息的方式，并提供实用的建议，以改善他们处理数据主体权利问题的方式。我们目前正在对提供基于人工智能的年龄估计和验证服务以及招聘领域内的基于人工智能的产品的公司进行审计。
我们的监管行动
我们采取行动执行法律并保护人们免受伤害，确保开发和部署人工智能的组织面临公平的竞争环境。我们使用我们的全部监管工具箱确保遵守法律，包括：
*信息通知，可用于要求我们监管的组织提供信息；
*评估通知，可用于要求访问场所以检查设备和现场处理活动；
*执行通知，可用于命令组织停止处理、删除数据或采取其他补救措施；
*罚款通知，可用于对违反法律的组织处以罚款。
我们适当地通报我们的监管行动的结果，以促进遵守法律并保护人们免受伤害。与人工智能相关的最近行动包括对Clearview AI, Inc的罚款，以及对Serco Leisure使用面部识别技术和指纹扫描监控员工出勤的执法通知。
第四部分：即将到来的发展
人工智能——以及其在生物识别技术中的应用——是ICO在2024/25年的三个重点领域之一，另外两个是儿童隐私和在线跟踪。
在这一部分，我们列出了一些组织可以预期在未来几个月内看到的关键发展，补充了我们的建议服务和我们对使用个人数据开发或部署人工智能的公司的监督的持续工作。
我们的政策和指导
我们继续确保我们的建议和指导与人工智能技术的发展和采用速度以及立法变化保持同步。
关于生成性人工智能的咨询系列
1月，我们启动了关于生成性人工智能的咨询系列，探讨数据保护法的各个方面应如何适用于该技术的开发和使用。到目前为止，该系列已经考察了：
*网络抓取的合法基础，用于训练生成性人工智能模型；
*生成性人工智能生命周期中的目的限制；
*训练数据和模型输出的准确性。
进一步的证据征集将重点关注数据主体权利和控制权。
ICO正在寻求包括生成性人工智能的开发者和用户、民间团体和对这项技术感兴趣的其他公共机构在内的各方利益相关者的意见。
译者注：数据主体权利指的是个人在数据保护法律下拥有的权利，如访问权、更正权、删除权、数据携带权和反对权等。
关于生物识别分类的咨询
2024年春季，我们将征求意见，了解如何开发和部署生物识别分类技术，例如那些用于推断人们的情感或特征的技术。这遵循了我们今年早些时候发布的关于生物识别识别的指导。
更新关于人工智能和数据保护的指导
2025年春季，我们预计将就我们的人工智能和数据保护指导以及自动化决策和分析进行更新，以反映《数据保护和数字信息法案》通过后数据保护法的变化。
我们的建议和支持
我们将继续为寻求以新颖方式开发和部署人工智能的组织提供支持，包括通过我们的监管沙盒、我们的创新建议服务、我们的创新中心合作伙伴关系和DRCF人工智能和数字中心。
新的监管沙盒项目
在接下来的几个月里，ICO的监管沙盒将支持一些与人工智能相关的项目，包括：
*一个帮助预防老年人跌倒的系统；
*为那些受到癌症影响的人提供的个性化人工智能；
*用于帮助识别可能面临家庭暴力风险的个人的人工智能；
*用于从无人机图像中删除个人数据的人工智能。
正在进行的创新中心项目
在接下来的几个月里，ICO的创新中心将继续通过与以下合作伙伴的合作，支持人工智能创新者：
*与DSIT、内政部和GCHQ合作开展安全技术创新挑战赛；
*与DSIT、Innovate UK和EHRC合作开展公平创新挑战赛；
*与数字弹射桥接人工智能团队合作。
我们的保证项目
我们继续进行同意和强制审计，以推动最佳实践。今年晚些时候，我们将报告我们与提供基于人工智能的招聘解决方案的供应商进行的一系列参与之后的发现。
译者注：同意审计是组织自愿参与的审计，目的是评估其数据处理活动是否符合数据保护法规的要求。强制审计是ICO根据法律授权进行的审计，以确保组织遵守数据保护法规。
我们目前正在对提供基于人工智能的年龄估计和验证服务以及招聘领域内的基于人工智能的产品的公司进行审计。
我们的监管行动
我们继续积极审查整个经济中人工智能的开发和部署，以保护人们免受伤害。这包括审查生物识别技术（如用于生物识别或行为分类的技术）的开发和使用方式。我们将继续向市场通报监管行动的结果，以推动整体改进。
第五部分：共同合作
与其他监管机构合作
作为全行业监管机构，我们监管私营和公共部门的个人数据处理，并与广泛的监管机构密切合作，以保护人们免受伤害，并确保组织的一致监管。
数字监管合作论坛（Digital Regulation Cooperation Forum）
我们是数字监管合作论坛（DRCF）的创始成员之一。通过该论坛，我们与竞争和市场管理局（CMA）、通信管理局（Ofcom）和金融行为监管局（FCA）合作，共同为数字监管提供一致的方法，造福于人民和企业。我们与DRCF合作伙伴一起：
*发布了一份文件，阐述了我们对人工智能利益和风险的共同看法；
*分享了我们对生成性AI等技术以及公平和AI等问题的看法；
*对第三方审计市场进行了研究，并与这个市场的参与者进行了接触；
*成立了AI和数字中心，使创新者能够获得跨越DRCF成员监管机构监管范围的复杂问题的答案。
工作与政府
我们与我们的支持部门——科学、创新和技术部（DSIT）——紧密合作，为政府的人工智能法规白皮书提供信息，并期待在实施方面进行合作，包括建立中央职能，以促进监管一致性。我们将继续分析和审查立法中的潜在差距，并在适当的时候就此向政府提供建议。
与国际伙伴合作
我们与国际同行密切合作，以保护人们免受伤害，并促进跨界监管的一致性。这包括与数据保护和隐私机构等同行进行双边合作，如我们与澳大利亚信息专员办公室就Clearview AI进行的联合调查；通过G7数据保护和隐私机构小组进行多边合作；通过全球隐私大会进行多边合作；作为经济合作与发展组织人工智能专家组在人工智能、数据和隐私方面的成员；以及为技术中的数据保护国际工作组（柏林集团）做出贡献。
附件
我们的人员
随着人工智能改变我们的经济，越来越多的ICO监管角色涉及人工智能——包括在通信、政策、建议、投诉、审计、调查和诉讼中工作的人员。我们预计，在未来，几乎所有ICO的数据保护角色都将在某种程度上涉及人工智能。
我们监管行动的核心是我们的人工智能和数据科学团队，它作为人工智能的卓越中心，通知我们的政策、咨询和执行干预。该单位由专业人员组成，他们全职致力于人工智能治理，并预计将在未来几年内增长。
与增强我们监管人工智能的能力同时，我们也在投资员工的技术能力。我们将继续发展我们的人员，确保我们具备成为有效的人工智能监管机构所需的正确技能组合。
我们的技术
我们致力于在ICO内部展示负责任的人工智能使用，这是我们企业数据战略的一部分。通过人工智能和机器学习，我们使组织决策过程更加依赖于数据分析，从而提高我们为客户提供服务和支持的质量和效率。
我们赞赏政府在政府部门以及更广泛的公共部门推动算法透明度记录标准的努力。这将有助于提高公共部门采用人工智能的透明度和可审查性。我们已经在我们的内部人工智能部署中实施了这一标准，并将继续这样做。
我们将开展内部数据素养计划，提升组织内的数据和分析技能。我们还将开发一系列人工智能培训和资源，确保ICO的人工智能应用与我们对他人的监管期望保持一致。