AI安全贯彻全生命周期的教科书级指南|新加坡CSA发布《AI系统安全指南及配套手册》（全文翻译）上篇

写在前面的话：
上周五我刚发布了AI安全全景图，展示了整体AI安全的结构化资源。不曾想，又一次追指南追成连续剧，上周五就看到了新加坡CSA发布了《AI系统安全指南及配套手册》(征求意见稿)，继续AI安全全景图增补篇，也是没想到来的这么快
标题：CSA《AI系统安全指南及配套手册》（征求意见稿）
简介：新加坡CSA贯彻了AI系统应从设计之初就考虑安全性，即"安全设计"和"默认安全"，制定了《AI系统安全指南》，说明了风险评估以及全生命周期各阶段的安全原则。CSA正在与AI和网络安全从业者合作开发《AI系统安全配套手册》（Companion Guide for Securing AI Systems），这是一个社区驱动的资源，旨在补充《确保AI系统安全指南》，不是强制性或规定性的。它汇集了来自行业和学术界的实用措施和控制，以及MITRE ATLAS数据库和OWASP Top 10 for Machine Learning和Generative AI等资源的建议。
推荐阅读亮点：虽然全生命周期各阶段的安全原则与我上周发布的AI安全全景图中总结的一致，与其他几个多国机构发布AI安全开发指南是类似的，但是亮点在于：首先，小白科普式地介绍了AI网络安全与传统网络安全的区别、AI SDLC即AI系统安全全生命周期；其次，强调了风险评估的重要性和步骤；再次，最最最最亮点地是提供了一份74页的配套手册，包括了实施措施表、AI安全实施措施表运用示例解读、AI测试工具列表、AI对抗式安全与权衡分析，主打一个包教包会。
今天先推送上篇《AI系统安全指南》（全文翻译）
新加坡CSA《AI系统安全指南》

1. 引言
人工智能（AI）为经济、社会和国家安全带来益处。它有潜力推动几乎所有行业的效率和创新——从商业、医疗保健到交通和网络安全。
为了充分利用人工智能（AI）的优势，用户需要对AI系统有信任感，相信它们会按照设计时的预期行动，并且能够提供安全和可靠的结果。然而，除了安全风险外，AI系统也可能容易受到对抗性攻击，恶意行为者可能会故意操纵或欺骗AI系统。AI的采用可能会引入或加剧企业系统现有的网络安全风险。这些风险可能导致数据泄露，或者导致有害、不公平或不希望的模型结果。
因此，作为一个关键原则，AI应该理想地通过设计实现安全，并且默认安全，就像所有软件系统一样。这将使系统所有者能够提前管理安全风险。这将补充系统所有者可能采取的其他控制和缓解策略，以解决AI的安全性问题，以及其他相关的考虑，如公平性或透明度，这里不涉及。
新加坡网络安全局（CSA）为系统所有者制定了《人工智能系统安全指南》，以在其整个生命周期中安全使用AI。随着AI被越来越多地集成到企业系统中，安全应该在系统级别上全面考虑。因此，这些指南应与现有的IT环境安全最佳实践和要求一起使用。
AI安全是一个持续进化的领域，相关的缓解措施也在不断地更新和改进。因此，新加坡网络安全局（CSA）正与AI和网络安全的专业人士合作，共同制定了一份人工智能系统安全配套手册。配套手册旨在成为一个由社区推动的资源，为本指南提供实用的参考，列出了系统所有者在遵循这些指南时可能会考虑的一系列实践控制措施，具体应用将根据他们的具体情况而定。需要注意的是，配套手册不具有强制性，也不是一成不变的，更不是包罗万象的。随着AI安全领域的迅速发展，这本手册也将定期更新，以反映该领域的重要进展。
1.1 本文档的目的和范围
目的
本指南旨在支持考虑保护其AI系统应用的系统所有者。本指南识别了与AI使用相关的潜在安全风险，并为AI生命周期的各个阶段制定了缓解安全风险的指南。
本指南可与AI系统安全配套手册一并参考阅读。该配套手册汇集了一系列实用的安全控制措施，供系统所有者在执行这些指南时参考使用。
范围
本指南的目的在于应对AI系统的网络安全风险，而不是解决AI的安全性问题（AI Safety）或其他相关问题，如公平性、透明度或包容性。此外，它们不涵盖由AI系统引入的网络安全风险，尽管在某些建议行动上可能存在交集。同样，本指南不包括AI技术在网络攻击中的滥用情况，例如通过AI驱动的恶意软件、散布虚假信息或进行诈骗（包括深度伪造技术）。
2. 理解AI威胁
AI是一种软件系统，它本身容易受到网络威胁的攻击，并且对它所集成或交互的更广泛的企业系统构成了新的攻击界面。因此，确保AI的安全不仅是实践良好的传统网络安全的一部分，还引入了传统IT系统中可能不熟悉的新挑战。
除了传统的网络安全风险外，AI本身也容易受到诸如对抗性机器学习（Adversarial Machine Learning, AML）等新型攻击的威胁，这些攻击旨在改变模型的行为。有关AI安全威胁的详细信息，请参阅附录A。

图1. IT系统的经典风险与AI风险对比图——改编自OWASP资料
AI系统的传统网络安全风险AI系统需要大量的数据进行训练；一些系统还需要导入外部模型和库。如果安全措施不足，AI系统可能会受到供应链攻击的破坏，或者可能容易受到通过AI模型或底层IT基础设施中的漏洞进行的入侵或未经授权的访问。此外，组织和用户如果遇到云服务、数据中心运营或其他数字基础设施（例如通过拒绝服务攻击）的中断，可能会失去访问和使用AI工具的能力，这反过来可能使依赖AI工具运作的系统失效。
对抗性机器学习恶意行为者可能会使用新颖的对抗性机器学习技术攻击AI模型和数据，影响机器学习模型产生不准确、有偏见或有害的输出；和/或泄露机密信息。对抗性机器学习攻击包括：数据投毒（在训练数据集中注入恶意或损坏的数据）或规避攻击（针对已训练的模型）以扭曲结果，推理攻击或提取攻击（探测模型）以暴露敏感或受限数据，或窃取模型。
3. 人工智能安全
人工智能（AI）的安全性是业界广泛关注的问题，但这一领域本身还处于发展初期。尽管从业者们在不断扩展关于AI安全威胁的研究和资源库，本指南还是列出了一些关键因素，系统所有者在考虑如何安全地采用AI时应该予以关注。鉴于AI技术的快速发展，系统所有者需要持续关注AI安全领域的最新进展，并据此不断更新他们的风险管理策略。
3.1. 采取全生命周期的路径
AI系统有五个关键阶段——规划与设计、开发、部署、运维与维护以及生命周期结束。
与良好的网络安全实践一样，CSA建议系统所有者采取全生命周期的路径来考虑安全风险。仅仅强化AI模型不足以确保全面防御与AI相关的威胁。参与AI系统生命周期的所有利益相关者应寻求更好地理解安全威胁及其对AI系统预期结果的潜在影响，以及需要做出哪些决策或权衡。AI全生命周期的路径代表了为满足业务或运营需求而设计AI解决方案的迭代过程。因此，系统所有者在交付AI解决方案的过程中，可能会多次重新进行规划与设计、开发和部署阶段。

图2：人工智能系统开发生命周期（AI SDLC） 某些组织可能已经实施了机器学习运维（ML Ops），它可能不完全符合AI SDLC。尽管如此，运行包含ML设计、开发和运营阶段的开发运维管道的ML Ops团队（类似于图3），将发现AI SDLC的规划与设计、开发、部署和运维阶段的指南是相关的。

图3：ML-DevOps示例（来源：Nvidia博客）
3.2. 从风险评估开始
鉴于AI用例的多样性，没有一种适用于所有情况的安全解决方案。因此，有效的网络安全始于风险评估。这将使组织能够识别潜在风险、优先事项，并随后确定适当的风险管理策略。
AI与传统软件的一个基本区别在于，传统软件依赖于静态规则和明确的编程，而AI使用机器学习和神经网络自主学习并做出决策，无需对每个任务进行详细说明。因此，组织应考虑比传统系统更频繁地进行风险评估，即使它们通常基于现有的治理框架和制度进行风险评估方法。这些评估也可以通过持续监控和强大的反馈循环来补充。我们建议基于这四个步骤来定制一个系统防御计划，以最好地解决组织的最优先风险——保护你最关心的事情。
步骤1：对AI系统进行风险评估，重点关注安全风险进行针对AI系统安全风险的风险评估，可以基于最佳实践或组织的现有企业风险评估/管理框架。风险评估可以参考CSA发布的指南（如果适用）： ▪ 网络威胁建模指南 ▪ 对关键信息基础设施进行网络安全风险评估的指南
步骤2：根据风险/影响/资源优先处理领域基于风险级别、影响和可用资源，确定优先处理哪些风险。
步骤3：确定并实施相关措施以确保AI系统安全为确保人工智能（AI）系统的安全，需要确定并采取相应的措施和控制手段。可以参考《AI系统安全配套手册》中概述的措施，并在AI的整个生命周期中执行这些措施。
步骤4：评估剩余风险以决策进行缓解或接受风险在为AI系统实施安全措施后，评估剩余风险，以进行接受或处理剩余风险的决策。
3.3 人工智能系统安全指南
本指南覆盖了AI系统的整个生命周期的各个阶段，并为系统所有者在采用AI时必须考虑的关键问题提供了指导。考虑到不同的应用场景和AI安全技术的不断发展，本指南并未设定硬性的规定或要求。系统所有者应根据自身具体情况，将这些建议融入到实践中，并可以参考《AI系统安全配套手册》，以获取更多可能的控制和防护措施。
1. 规划与设计
1.1 提高对安全风险的认识和能力
组织需要充分理解人工智能（AI）可能带来的安全风险，这有助于做出明智的采用决策。应向所有相关人员，包括开发人员、系统所有者和高层领导，提供关于AI安全风险的全面培训和指导。
1.2 进行安全风险评估
风险管理策略应当建立在安全风险评估的基础之上，这一评估有助于识别关键风险点和确定优先处理的事项。应当遵循相关的行业标准或最佳实践，采用全面的流程对AI系统的潜在威胁和风险进行系统化建模。
2. 开发
2.1 确保供应链安全
AI供应链包括（但不限于）训练数据、模型、API和软件库。这些组件每个都可能引入新的漏洞（例如，模型可能包含恶意软件或使攻击者能够在用户机器上注入恶意代码）。在整个生命周期中评估和监控AI系统供应链的潜在安全风险。确保供应商遵守政策和安全标准，或者以其他方式适当管理风险。考虑评估供应链组件（例如，通过代码检查或基于漏洞数据库的分析）。
2.2 考虑安全利益和权衡，选择合适的模型使用
不同的AI模型（例如，机器学习、深度学习、生成式）具有独特的特性和风险（例如，大型语言模型可能容易受到输入操纵攻击），因此需要不同的安全措施。在开发或选择系统适用的AI模型时，考虑可能影响其安全的因素（如复杂性、可解释性、可理解性和训练数据的敏感性）。
2.3 识别、追踪和保护与AI相关的资产
随着AI系统日益融入业务运营，它们将成为组织的战略资产，并应相应地得到保护。否则，敏感数据、知识产权和组织资产可能面临潜在威胁和违规风险。必须充分认识到与人工智能（AI）相关的资产的价值，这些资产包括模型、数据、提示、日志和评估。应建立一套流程，用于跟踪、认证、进行版本控制以及保护这些资产。
2.4 确保AI开发环境的安全
AI模型需要访问大量训练数据，不安全的开发环境可能引入数据泄露的风险（例如，暴露个人身份信息或机密商业信息）。不安全的开发还可能使AI模型容易受到攻击（例如，投毒），导致模型行为受损，或使模型和其他知识产权面临盗窃、未经授权的复制或滥用的风险。采用标准基础设施安全原则，例如实施适当的访问控制和日志记录/监控、环境隔离和默认安全配置。
3. 部署
3.1 确保AI系统的部署基础设施和环境安全
与2.4节“确保AI开发环境的安全”考虑因素类似。采用标准基础设施安全原则，如访问控制和日志记录/监控、环境隔离、默认安全配置和防火墙。
3.2 建立事件管理程序
人工智能系统因其复杂性和适应性，有时可能会展现出不可预测的行为。考虑到AI应用案例的广泛性，可能出现的事件范围很广，从轻微的问题，例如聊天机器人出现故障，到严重的结果，如关键基础设施的运行受到干扰。因此，系统所有者需要制定适当的事件响应计划、明确问题升级流程，并准备有效的补救措施。
3.3 负责任地发布AI系统
AI系统可能会遭遇滥用、数据泄露和模型操纵等风险，这些风险不仅影响用户对系统的信任和信心，还可能损害组织的声誉。因此，业界普遍认为，发布AI模型、应用程序或系统之前，应先进行彻底且有效的安全审查和评估，这是一项良好的实践。
4. 运营与维护
4.1 监控AI系统输入
人工智能系统是动态的，并且能够适应不同的输入。在现实生活的应用中，已经有案例显示，用户或攻击者会故意设计特定的输入，以误导AI系统做出错误或非预期的决策。因此，对输入到AI系统的所有内容，包括查询、提示和请求等，进行监控和记录是非常重要的。这样的日志记录对于确保合规性、进行审计、开展调查以及采取补救措施都是至关重要的。
4.2 监控AI系统输出和行为
AI系统在实际投入使用时可能会遇到中断或性能下降的问题。对部署后的模型进行持续监控，可以确保它们正常运行，并及时发现可能的问题，这些问题可能是由对抗性攻击或其他因素引起的。运维团队需要特别留意任何异常行为，这些异常可能是系统遭受入侵、数据泄露或数据漂移的迹象。
4.3 采用符合安全设计原则的更新和持续学习方法
数据和模型的变更可能导致行为变化。系统所有者应确保已经考虑并适当管理与模型更新相关的风险。
4.4 建立漏洞披露流程
尽管存在监控机制，人工智能（AI）的不透明性和自适应性仍可能使得检测攻击和异常行为变得复杂。因此，建立一个反馈流程非常重要，它允许用户报告他们的疑虑和发现的问题，这有助于暴露系统的潜在漏洞。
5. 生命周期结束
5.1 确保适当的数据和模型处置由于模型是在大量训练数据（包括潜在的机密信息）上训练的，不当处置可能导致数据泄露等事件。应根据相关行业标准或法规，适当且安全地处置/销毁数据和模型。
附录A
理解AI威胁
对抗性威胁是由故意造成伤害的威胁行为者引起的。通常，这些威胁行为者被称为攻击者或对手。为了理解这些威胁，系统所有者可以参考诸如OWASP LLM Top 10，或OWASP机器学习安全Top 10，或MITRE ATLAS™（针对人工智能系统的对抗性威胁景观）。特别是MITRE ATLAS为AI和网络安全专业人员提供了一个结构化的知识库，以理解和防御AI网络威胁。它根据现实世界的观察、ML红队和安全组的演示以及学术研究的最新可能情况，编制了基于真实世界的AI系统对手战术、技术和案例研究。
任何试图确保AI系统安全的努力都应该建立在“传统”良好的网络安全实践之上，例如实施最小权限原则、多因素认证、操作化安全监控和审计。
ATLAS矩阵（见表A1）涵盖了2种对抗性“技术”。
特定于AI/ML系统的技术（在橙色框中指示），以及
是传统的网络安全攻击技术，但适用于AI和非AI系统，并直接来自MITRE企业ATT&CK矩阵（在白色框中指示）。

系统所有者应继续利用这些资源提高对安全威胁的认识，以更好地理解可能影响其采用AI的新兴风险。随着这一领域不断发展，这些资源将帮助AI和网络安全团队进行安全风险评估和管理活动。