生成式人工智能服务安全基本要求

导读
NEWS
2024年3月4日，全国网络安全标准化技术委员会（TC260）正式发布《生成式人工智能服务安全基本要求》（以下简称“基本要求”）。
《基本要求》提出生成式人工智能服务提供者需遵循的安全要求，包括语料安全、模型安全、安全措施等。同时，《基本要求》作为《生成式人工智能服务管理暂行办法》（以下简称“暂行办法”）的支撑文件，也为《暂行办法》第十七条规定的“安全评估”确立了明确的评估标准。生成式人工智能服务提供者在按照有关要求履行算法备案手续时，需按照《基本要求》进行安全评估，并提交评估报告。
一、适用主体
《基本要求》中规定开展安全评估的主体为服务提供者，也即以交互界面、可编程接口等形式提供生成式人工智能服务的组织和个人，与《暂行办法》的适用主体保持一致。
二、评估内容
《基本要求》中针对服务提供者具体规定了语料安全、模型安全、安全措施等安全要求，简述如下。
1. 语料安全
语料来源安全
语料来源管理：语料采集前后应对语料进行安全评估或核验，语料内容中含违法不良信息不得超过5%。
语料来源渠道：应遵循开源协议、robots协议、审核交易相对方的语料合法证明材料等。
语料内容安全
语料内容过滤：应采取关键词、分类模型、人工抽检等方式，过滤语料中的违法不良信息。
知识产权：设立知识产权负责人、进行知识产权侵权风险识别、建立投诉举报渠道等。
个人信息：使用包含个人信息的语料前，应取得个人信息主体的同意，如涉敏感个人信息，还应取得个人单独同意。
语料标注安全
标注人员：对标注人员进行安全培训、考核、划分职能、留足合理的标注时间。
标注规则：包括标注目标、数据格式、标注方法、质量指标等内容。
确保标注内容的准确以及对安全性标注数据进行隔离存储。
2.模型安全
如需基于第三方基础模型提供服务，应使用经主管部门备案的基础模型。
生成内容的安全：将生成内容安全性作为评价指标、每次对话时应进行安全性检测、建立常态化监测手段。
生成内容的准确性：采取技术措施提供生成内容的准确性。
生成内容的可靠性：采取技术措施提高生成内容格式框架的合理性以及有效内容的含量。
3. 安全措施
模型适用人群、场合、用途：充分论证模型必要性、安全性以及适用性；服务用于关键信息基础设施的，应具备相适应的保护措施；设立保护未成年人的措施。
服务透明度：应公开服务适用的人群、场合、用途等信息。
收集使用者输入信息用于训练时：提供关闭输入信息用于训练的方式，并显著告知用户。
图片、视频等内容标识方面：满足国家相关规定以及国家标准要求。
接受公众或使用者投诉举报：提供投诉举报的途径及反馈方式
采取技术措施避免数据泄露、保证服务稳定等。
4. 其他要求
关键词库、生成内容测试题库、拒绝测试题库应具备全面性、代表性，《基本要求》同时规定了相应的数值标准。
三、安全评估要求
《基本要求》明确了前述各项规定的评估标准，该评估标准更有利于生成式人工智能服务提供者对合规要求的理解和落地执行，具体如下表所示。