本文《NISTTrustworthyandResponsibleAI:ReducingRisksPosedbySyntheticContent》由美国国家标准技术研究院（NIST）发布，旨在探讨合成内容（synthetic content）所带来的风险，并提供技术方法以提高数字内容的透明度。合成内容指的是通过算法，包括人工智能（AI），显著修改或生成的图像、视频、音频和文本等信息。报告详细分析了现有的标准、工具、方法，并探讨了进一步科学支持的标准和技术的潜在发展，以实现内容的认证、追踪其来源、标记合成内容、检测合成内容、防止生成AI儿童性虐待材料（CSAM）和非同意亲密图像（NCII），以及测试上述用途的软件和审计维护合成内容。
报告强调，数字内容透明度是记录和获取数字内容来源和历史信息的过程，包括记录和揭示内容的来源、提供标记和识别AI生成内容的工具，以及减少AI生成的CSAM和NCII的生产和传播。报告还讨论了技术方法的局限性，指出没有单一技术能提供全面解决方案，而是需要结合不同技术和措施。此外，报告还涉及了如何将这些概念应用于NIST AI风险管理框架生命周期，并提出了未来研究和开发的机会。
82页的报告干活满满，很好的技术普及资料，终于开始理解数字水印、元数据等技术以及技术选择时的考量因素了！
82页的报告分为三期给大家上清晰可理解的解读，今天带来上篇，聚焦在技术报告的概览、合成内容的链路和风险、数字水印的原理以及使用数字水印时的技术考量因素。
1. 摘要
本文《NISTTrustworthyandResponsibleAI:ReducingRisksPosedbySyntheticContent》深入探讨了由生成性人工智能（AI）技术产生的合成内容所带来的新风险，这些风险涉及信任、安全、透明度和数字信息及通信的可信度。合成内容，包括经算法显著修改或生成的图像、视频、音频和文本，可能被用于有益的新型应用，同时也可能加剧信息完整性问题、合成儿童性虐待材料（CSAM）、非同意亲密图像（NCII）和包括身份盗窃在内的欺诈行为。
报告的核心在于评估现有的标准、工具、方法，并探讨潜在的基于科学的标准和技术的发展，以实现对内容的认证、追踪其来源、标记合成内容、检测合成内容、防止AI生成CSAM或NCII，以及测试上述用途的软件和审计维护合成内容。报告反映了公众反馈和与不同利益相关者的咨询，包括对NIST信息请求的回应者。
数字内容透明度指的是记录和获取数字内容来源和历史信息的过程。报告讨论的方法可以帮助管理和降低与合成内容相关的风险，包括记录和揭示内容的来源、提供标记和识别AI生成内容的工具，以及减少AI生成的CSAM和NCII的生产和传播。透明度提供了一个工具，使个人和组织能够获取更多关于内容来源和历史的详细信息，这可能有助于提高可信度，但并不保证可信度，在某些情况下甚至可能破坏可信度。透明度可以帮助识别内容何时被误传，但也可能创造虚假的信任感，例如，当内容基于技术措施生成时看起来合法，但随后通过非技术手段（例如，将合法内容脱离上下文）被操纵时将违反法律。最终，透明度的影响取决于所使用的技术方法的有效性以及人们如何获取和与数字内容互动。在后一方面，数字信息素养以及正式和非正式教育可以影响个人如何感知内容。
报告指出，根据拜登政府《关于安全、可靠、可信地开发和使用人工智能的行政令》，“合成内容”指的是“已被算法显著改变或生成的信息，如图像、视频、音频剪辑和文本。”在此定义下，报告直接涉及由AI系统以影响人类解释的方式生成或修改的图像、视频、音频和文本内容。
报告概述了关于来源数据跟踪和合成内容检测的技术方法，并考虑了相关问题，同时审查了当前数字内容透明度技术的测试和评估。值得注意的是，这些技术方法的有效性尚未完全检验，大多数方法可能需要数年时间才能在移动设备上广泛部署。
对于选定的技术，文档识别了正在进行的研究和相关研究空白。它还讨论了技术缓解措施，以防止和减少合成CSAM和NCII的生产和分布，并将讨论的概念应用于NIST AI风险管理框架（NIST AI 100-1）中概述的AI生命周期。
报告强调，报告中描述的技术方法提供了通过明示AI用于生成或修改数字内容，来提高产生和传播数字内容的机构和个人的可信度的一种方式。这些技术本身并不提供全面的解决方案；任何给定技术的价值是特定于用例和场景的，并且依赖于有效的实施和监督。报告专注于技术方法，仍需要考虑本报告中未论述的教育性、监管性和基于市场的方法。
通过国际标准制定机构的全球行动所制定的基于科学的标准，可以促进这些工具的互操作性，以实现预期的影响。解决公众信任和数字内容造成的伤害问题没有完美的解决方案，但合成内容来源、检测、标记和认证技术和流程是支持内容生产者、分发者和公众之间信任的重要能力。
2. 合成内容的危害和风险
本节深入探讨了合成内容可能带来的各种危害和风险，尤其是在信任、安全、透明度和数字信息及通信的可信度方面。合成内容，包括由AI生成或显著修改的图像、视频、音频和文本，可能被用于有益的新型应用，同时也可能加剧信息完整性问题、合成儿童性虐待材料（CSAM）、非同意亲密图像（NCII）和包括身份盗窃在内的欺诈行为。
为了理解在哪里以及由谁干预可以降低合成内容的风险和危害，了解合成内容的链路是有帮助的，该链路从创建到发布再到消费（见图1）。每个阶段都涉及不同的AI参与者。本报告中讨论的大多数措施都涉及创建和消费阶段。
合成内容的风险和危害可能因多种因素而异，包括目标受众、内容的使用或滥用的场景、创建和/或传播内容的行为者的复杂性，以及与内容的创建和/或传播相关的社会、经济和健康相关（包括心理健康）成本。危害的范围也各不相同：有些集中在特定个体上，例如当CSAM或NCII涉及真实个体时；而其他危害则扩散到整个社会，如影响广泛消费信息的虚假信息。最有效的技术和措施将根据这些因素而异，可能需要超出本报告讨论的技术措施之外的措施。
哪种技术最为有效，还会因使用技术的主体、使用目的、使用方式以及该技术在其他人中的普及程度而有所不同。来源数据追踪技术能够记录数字内容的来源和过往情况，而检测这类追踪数据的技术，对于广大受众而言，或许有助于判定内容是合成的还是真实的。不过，这并不等同于内容就值得信赖，因为即便内容是真实的，也仍有可能存在有害或误导性的情况，只是这些技术通过提升透明度，或许能降低一些风险。
与此同时，其他用于检测合成内容的技术，可能更适合分析师使用（比如社交媒体平台或专业的民间社会组织中的分析师），以便确定特定内容是否由人工智能生成，以及采取何种应对措施才恰当。对于高风险应用或者要求高精度的应用（其中可能涵盖选举安全、国防应用、CSAM/NCII等情况），采取纵深防御的方法或许会有所帮助。在诸多情形下，这些因素可能需要与工具的接受程度相权衡，因为在很多时候，若技术能以广泛且协调的方式被采用，其效果往往会更好。
合成内容也可能带来网络安全和欺诈的风险。特别是，合成图像、声音或视频可能被用来欺骗生物特征认证系统或误导人类接收者促成欺诈性交易（例如，通过声音克隆）。
应对合成内容危害和风险的数字内容透明度努力仍相对较新。这些技术将继续发展，需要各种技术和社会技术评估来指导它们的实施。
本报告广泛适用于合成内容风险的技术措施。针对更具体的用例和上下文，以及生成性AI的其他风险的缓解和控制措施，可在NIST的《管理双重用途基础模型滥用风险指南》和《人工智能风险管理框架：生成性人工智能配置文件》中找到。后者还更详细地突出了来自生成性AI的十二个不同风险类别。
3. 数字内容透明度方法、问题和机遇
本节概述了用于实现数字内容透明度的计算工具，包括对各项技术的前沿发展状况、设计目标及参数的介绍，以及针对各类方法的其他考量因素和权衡情况，同时还指出了进一步研发的方向。
当前的工具可按如下类别进行划分，如图2所示：
来源数据追踪（第3.1节）：记录有关数字内容起源和历史的信息，这有助于判定其真实性。该类别包含显式或隐式数字水印，或是有加密签名或无加密签名的元数据。来源数据追踪可用于记录有关内容是合成的还是非合成的起源或修改情况。
合成内容检测（第3.2节）：用于对给定内容是否为合成内容进行分类的技术、方法及工具。合成内容检测可能会检测已记录的来源信息（如元数据或数字水印）是否存在，也可能会寻找其他特征，以帮助判定内容是否是由AI生成、修改或操纵的。
图2中的各项技术在一定程度上有所重叠。例如，隐式数字水印只有在能够被水印检测器（一种合成内容检测形式）检测到时才有用。这些技术也可以协同使用，以提供互补的益处；例如，在图像中嵌入一个牢固的隐蔽水印（该水印在图像跨平台传播时不太可能被去除），并附上经签名的元数据，为那些能够接收到它的人提供更多信息，这或许是很有用的做法。有些类型的水印甚至可以用于将任意元数据直接嵌入到内容当中（而非作为附属信息）。尽管存在这些重叠之处，但图2中呈现的各类别差异明显，足以能够在很大程度上分开进行讨论。
图2还突出了一个重要的第三类别，即通过规范、教育、监管以及基于市场的方法来增强人们对内容来源、信息完整性的认识，并激励那些能促进信息完整性的实践活动。数字内容透明度的技术方法只有通过相关人员和组织的采用和交互才能发挥作用。此类方法通常不在本报告的讨论范围之内。
3.1 来源数据跟踪（Provenance Data Tracking）
3.1.1 数字水印（Digital Watermarking）
数字水印技术通过将信息嵌入到内容本身（如图像、文本、音频或视频）中，以确保这些信息难以被移除。水印信息通常编码到内容的像素、文字等元素中，而不是通过单独的通道（例如元数据字段）传递信息。水印可以包含内容的起源、所有权细节、时间戳和唯一ID等有用信息，以协助验证内容的真实性或其来源、修改和传递特征。
数字水印的关键设计参数
数字水印技术的设计和实施依赖于几个关键参数：
1.明显（Overt）或隐蔽（Covert）：
明显水印可以直接被人感知，例如图像上的半透明标志。
隐蔽水印则需要机器检测，对人眼不易察觉，例如通过改变图像像素的最低有效位（LSB）。
2.私有（Private）或公共（Public）：
私有水印方案需要特定的算法或密钥来检测水印，只有授权的用户才能访问。
公共水印方案则允许任何人使用公开的算法来检测水印。
3.可逆（Reversible）或不可逆（Irreversible）：
可逆水印允许从水印数据重建原始未水印内容。
不可逆水印一旦应用，其引入的失真难以逆转。
数字水印的有效性
有效的数字水印应具备以下属性：
准确检测：在内容未被修改时，水印应能被准确检测，具有低误报率和漏报率。
鲁棒性：水印应能在各种典型无害修改下保持可检测性，如压缩、过滤或裁剪。
安全性：水印应能抵御恶意用户尝试移除或篡改水印信息，或插入伪造水印的企图。
低失真：水印不应影响人类对水印内容的感知质量。
高容量：水印应有足够的容量来嵌入所需的信息，如创建者信息。
高效性：水印算法应计算效率高，能够快速可靠地嵌入和检测/提取水印信息。
最小干扰：水印过程应对用户透明，不要求对内容创建、分发、维护或使用的过程进行重大更改。
3.1.1.1. 用于隐式水印的技术方法
隐式水印技术涉及在数字内容中嵌入难以被人眼察觉的信息，这些信息通常需要特定的机器检测器来识别。这种技术对于验证内容的真实性、来源和完整性非常有用，尤其是在版权保护、内容认证和防止伪造等方面。
如下是可以修改的属性来实现数字水印的例子：
| 个体样本（例如像素、音频样本）：在图像中，可以通过改变像素的某些值来嵌入水印，而不会对视觉质量产生影响 | 图像、音频、视频、文本 | LSB-based watermarking（图像）、EasyMark（文本）、词汇替换（文本） | 后生成 | 有限的鲁棒性和安全性（可以通过压缩、裁剪、过滤、缩放或简单查找/替换移除）；内容中的可感知失真；失真和容量可能取决于宿主内容（例如图像的纹理） |
| 频率系数：通过改变图像或音频信号的频率系数，在频率域中嵌入水印信息，这种方式对于人眼和人耳来说是不可察觉的 | 图像、音频、视频 | 离散余弦变换水印（图像）、离散傅里叶变换水印（音频） | 后生成 | 易受几何攻击（裁剪、旋转，在某些情况下是缩放）；可能需要大量的计算资源或处理时间 |
| 初始噪声用于扩散模型：基于噪声的图像或视频生成模型中，可以通过在生成过程的初始噪声阶段嵌入特定的模式或信息来实现水印 | 图像、视频，可能还有音频和文本 | Tree ring watermark（图像） | 生成中 | 有限的容量；主要适用于私有设置（检测水印需要访问模型和可能的安全密钥）；可能对某些模态复杂（仅对图像演示） |
| 输出的空间：对于某些类型的AI模型，可通过限制模型可以生成的输出范围来嵌入水印，这样只有符合特定条件的输出才能被认为是有效的，从而来实现水印的效果 | 图像、视频、文本、可能的音频 | Mirror diffusion models（图像）、SemStamp（文本） | 生成中或后生成 | 有限的容量（只能传达水印存在）；可能不适用于更大的输出（例如高分辨率图像）；添加更多禁止输出的约束减少了错误水印检测的机会，但增加了失真；鲁棒性和安全性不明确；可能对某些模态复杂（仅对图像演示） |
| 下一个标记概率：在文本生成中，可以通过调整下一个词的概率来嵌入水印，这种方式对于阅读者来说是不可见的 | 文本 | Red/green LLM watermark（文本）、无失真LLM watermark（文本）、语义不变水印（文本） | 生成中 | 某些版本可能会降低文本质量 |
对于这些属性，有一系列的技术可以用于系统化的修改并生成水印，如下是例子：
| 直接替换：直接用水印信息替换内容中的某些部分，例如图像中像素的最低有效位（LSB）或文本中的某些词汇。 | 个体样本、频率系数 | LSB-based watermarking（图像）、Discrete Cosine Transform watermark（图像）、Discrete Fourier Transform watermark（音频） | 可能比其他方法有更高的失真；倾向于鲁棒性和安全性较低（容易被覆盖） |
| 哈希或加密：使用哈希或加密技术生成一个值，这个值决定了如何对内容进行扰动。例如，可以基于内容的哈希值来决定哪些像素被改变以嵌入水印。 | 个体样本、频率系数、下一个标记概率 | 用于视觉水印的鲁棒哈希（图像）、Red/Green LLM watermarking（文本） | 哈希和密码的脆弱性对小变化敏感，可能降低鲁棒性和安全性；可能复杂难以实现；可能计算密集 |
| 随机性：利用随机密钥来决定如何对内容进行扰动，例如决定文本中某个词的概率是增加还是减少，或决定图像中哪些像素配置被视为禁止的。 | 个体样本、频率系数、可能的输出空间、下一个标记概率 | Mirror diffusion models（图像）、无失真LLM watermark（文本） | 水印检测器必须能够访问密钥，这通常意味着私有操作（公开密钥可能导致任何人重现随机扰动，从而可能应用水印） |
| 机器学习：训练一个机器学习系统来以一种可靠检测的方式扰动内容。这种方法可能会创建一个对人类来说不透明的样本模式，并且可能不需要预存在的内容包括覆写部分。 | 任何可以扰动的属性 | Stable Signature（图像）、StegaStamp（图像）、WavMark（音频）、Remark-LLM（文本）、SynthID（图像、音频、视频） | 计算密集；可能使检测不太可解释，因此对某些用户来说难以信任；性能可能在训练分布之外的数据上下降 |
3.1.1.2 水印相关技术的权衡
在数字水印的实施中，存在几个关键的技术权衡，这些权衡影响水印的有效性和实用性。
检测准确性、鲁棒性和安全性与水印容量的权衡
任何给定的水印机制本质上是一个信息通道，具有一定的通道容量。通道可能会因为“噪声”（如文件损坏、善意编辑或恶意操纵）而损坏水印信息。为了减少通道噪声的影响，可以通过增加水印数据的冗余度来提高检测准确性、鲁棒性和安全性，但这会牺牲水印的容量。例如，通过在多个图像频率系数中编码相同的水印数据，可以使得水印更难被擦除。然而，这种冗余占用了通道容量，即在有限的扰动预算下，增加冗余会降低水印的容量。
有一种方法可以在不增加冗余度的情况下提高水印的鲁棒性和安全性。例如，可以通过图像的替代表示来编码信息，使得水印在面对特定类型的编辑（如旋转）时具有内在的更强鲁棒性。
对于文本内容，大多数提议的水印方法是零比特的，即它们除了水印的存在之外不传递任何信息，这使得上述权衡变得不那么相关。但已有一些初步研究探索基于纠错码的多位水印方案，旨在通过使用纠错码来增加水印的容量，同时保持或提高其鲁棒性和安全性。
通道容量与失真的权衡
对于许多类型的水印，可以调节内容被扰动的程度。例如，可以在图像上应用更广泛的明显视觉水印，或者覆盖音频文件中更多的频率系数。增加扰动的程度可以提供更大的通道容量，这可以用来增加水印的容量或提高检测准确性、鲁棒性和安全性。但这通常会增加失真，例如在视觉上干扰更多的图像或扭曲对人类感知重要的更多频率。
3.1.1.3 鲁棒性和安全性
鲁棒性和安全性是数字水印技术中至关重要的特性，它们确保水印能够在各种操作和潜在攻击下保持完整性和可检测性。
易被移除（“擦除”）
水印需要能够在内容经历常见的修改（如压缩、裁剪、过滤）后仍然被检测到。然而，许多现有的水印方案对这些修改非常敏感，容易被移除。
图像水印：研究表明，即使是隐蔽的水印，也可以通过训练专门的AI系统来移除，即使不知道具体的水印方案。
文本水印：文本水印通常在文本熵较低时难以嵌入和检测，且容易被通过重新表述（paraphrase）来移除。
音频和视频水印：音频和视频水印的鲁棒性研究不如图像水印充分，但初步研究表明它们对特定类型的攻击和修改有一定的抵抗力。
伪造（“欺骗”）
水印技术需要能够抵御恶意用户尝试伪造或“欺骗”水印的行为。伪造水印意味着嵌入虚假的信号，这些信号可能会误导水印检测器，使其认为内容具有某种来源或属性，而实际上并非如此。
图像水印：在图像领域，已经存在实证研究，表明可以伪造水印的存在，这会降低水印检测器的性能。
文本水印：对于许多基于扰动标记概率的水印，攻击者可以通过精心设计的提示来提取扰动规则，尽管这个过程可能效率不高。对于某些水印，研究人员展示了攻击者可以使用自己的非水印模型生成文本，而检测器会将这些文本错误地分类为带有其他模型水印的文本。
音频和视频水印：在音频和视频领域，水印欺骗的研究不如图像水印充分，但初步研究表明音频水印在面对某些类型的欺骗时具有一定的抵抗力，尤其是当攻击者没有访问到水印模型时。
3.1.1.4 水印的规模性考量
如果AI模型开发者创建自己独特的水印方案，或者使用独特的非公开设置的通用方案，用户将需要使用不同的检测服务来检查内容是否由特定开发者的生成性AI工具创建，这可能导致效率低下并增加用户负担。私有水印方案中，检测算法、密钥或机器学习模型对检测至关重要，这些通常保持私有。这要求持有检测工具的实体是可信的，并且可能成为瓶颈。
与私有水印方案相比，公共水印方案允许更广泛的检测工具的传播，因为检测算法和任何必要的密钥或模型被广泛共享。这允许服务托管多个检测器，简化检测流程。公共水印可能允许恶意行为者伪造水印或绕过水印生成，通过操纵或反复生成内容以找到可以欺骗检测器的输出。特别是对于开源或不受速率限制的检测工具，可能更容易受到攻击，因为对手可能发现更难反复检查他们的最新生成是否成功绕过了检测器。
检测更复杂的水印形式可能会带来计算成本，特别是如果用户需要在自己的硬件上运行检测器。
用户需要了解如何使用水印检测器并解释结果，这可能需要一定的教育和培训。
3.1.1.5 水印的隐私考量
数字水印，尤其是那些能够携带额外数据的水印，可能会无意中泄露敏感信息，尤其是当用户不知情时。
进一步研究方向：
需要更多的理论研究来分析在什么情况下哪些类型的水印可以是安全的，以及这些理论假设在实践中的适用性。
需要更多的实证研究来分析视频和音频水印的特性，以及如何将现有的图像水印技术应用到视频和音频上。
需要研究用户如何与水印互动，包括他们何时尝试移除或伪造水印，以及这些尝试的成功率。
探索新的水印技术，可能包括识别新的特性来扰动、新的扰动方法，或将这些元素与内容模态结合的新方法。
研究如何修改模型权重，使得模型输出的内容本身就带有水印，而不需要额外的软件处理。
研究技术兼具像公共水印方案的可扩展性和私有水印方案的安全性。
开发方法来增加文本水印的容量，允许传递更多信息，如模型标识符或其他元数据。