OECD《关于生成式人工智能的政策考量》摘要

概述
OECD于2023年9月发布了《InitialPolicyConsiderationsforGenerativeArtificialIntelligence》，介绍了关于生成式人工智能的技术发展和产业应用，总结了目前遇到的风险以及可行的政策考量，尤其是提出了未来的潜在风险和思考。这是一份很有启发性的材料，特分享给大家参考。

生成式人工智能的简介
生成式人工智能会根据训练数据和提示语生成新的内容，生成式人工智能的发展凸显了人工智能的能力。
各国政府很快认识到了生成式人工智能具有变革性，并正在采取行动。如G7国家承诺推进有关人工智能治理的国际讨论，实现包容、可信的人工智能，建立了广岛人工智能进程（Hiroshima AI Process）。
生成式人工智能植根于深度神经网络。机器学习通过训练数据和发现模式来模拟人类智能，根据概率推理而非因果关系来进行归纳，因此深度神经网络需要数十万、数百万乃至于数十亿个实例进行学习。
能创建大型生成式人工智能系统和模型的公司寥寥无几。
开源参与者、研究人员、初创企业和中小企业也非常活跃。一些开源生成式人工智能模型的出现（Dickson，2023[5]），如 Stable Diffusion 和 Meta's Llama 2、这有助于这些技术的快速创新和发展，并能缓解 "赢家通吃 "的态势，因为这种态势会导致少数公司抢占大部分市场。然而，当不良行为者可以利用开源的人工智能生成模型时，开源也会带来其他风险。
生成式人工智能创造出具有现实意义的新内容。这些内容如今已经几乎无法与人类创造的内容区分开来。
自主生成的人工智能agent可能带来巨大效益，但也存在巨大的风险。OpenAI 于 2023 年初发布了将 ChatGPT 与第三方应用程序连接起来的插件，以扩大其服务范围并寻找新的数据来源。在此之前，ChatGPT 用户只能从 2021 年底（即初始训练数据的截止日期）开始使用平台的知识库。接收第三方信息可以让模型利用实时数据提供更准确、更及时的结果和服务。插件使 ChatGPT 能够在最新数据（包括股票价格或新闻文章等实时信息）的基础上运行，并以新的方式为用户提供帮助（例如，通过自主下单和预订）。代理活动并不局限于机器按照人类的指令和提示行事。斯坦福大学和谷歌研究院的研究人员创建了一个虚拟环境，在这个环境中，25 个生成式人工智能代理在两天的时间里彼此互动，并表现出类似人类的行为，如推理自己的研究事业或计划参加社交活动（图 1）。一些研究人员将这些意想不到的行为称为 "突发能力"，而另一些研究人员则根据程序员选择的模型评估指标，认为这些行为是虚幻的。虽然争论仍在继续，但超大型生成式人工智能模型可能具有的自主行为和代理暗示，扩大了其可能的应用范围，以及该技术如何发展的考虑和未知范围。

图1 人工智能agent的模拟环境
生成式人工智能提出的政策问题


图2：越狱案例
生成式人工智鞥的未来发展
1. 大型语言模型和图像生成的发展轨迹
（1）大型语言模型的规模在不断扩大，但是少量学习也在发展中。
LLM GPT-4的模型已经超过1万亿个参数。同时，GPT-3也能够在给定的几个演示中学习，即少量学习。
（2）在更高质量的数据上训练更小的模型是另一种趋势
虽然增加参数数量一直是普遍关注的焦点，但在更高质量的数据上训练更小模型的平行路径正在出现。这种方法的好处包括模型访问的民主化。对于建立更大模型的批评者，即对扩展规律的无节制叙述，提出了基于知识和推理的方法可以有所帮助。
（3）图像生成模型的质量有了大幅提高
在 2022 年 7 月至2023 年 3 月的五次模型迭代中，Midjourney 使用相同的提示生成的图像（图 3）进行了对比，充分显示了图像质量的不断提高。这种在很短时间内发生的演变，再加上用户友好的界面，表明了其他新兴生成式人工智能系统的潜在能力。在涉及语言模型的任务中，未来可能会有更好的文本生成性能，因为缩放定律仍然适用，而且在更大的文本数据量上训练更小的模型，已经证明可以提高语言模型的能力。图像生成和利用连续数据的系统（如视频、音乐和语音应用）的快速发展似乎更为显著。短期内，基于生成式人工智能技术的应用和采用这些技术的行业可能会带来越来越大的影响。

图3: 从V1-V5的Midjournery图像对比
2. 预计生成式人工智能将在关键领域继续快速增长
目前，生成式人工智能正处于早期发展阶段，需要大量的研发投资和熟练但稀缺的劳动力，才能将其推向下一个成熟阶段。预计音频合成、数据预处理、图像压缩、视觉数据降噪、医学成像和图像分类（尤其是在医疗保健领域）将进一步发展。应用领域还进一步包括芯片和零件设计、材料科学和娱乐。在生成式人工智能领域具有竞争优势的公司包括知名的大型技术公司、企业软件供应商、细分领域（如法律合同自动化、视频创作、合成数据生成和艺术）的人工智能公司，以及提供人工智能计算（如半导体和超级计算基础设施）的公司。
3. 未来的潜在问题和风险
（1）预计生成式人工智能将加剧与人工智能相关的现有问题
这些问题包括但不限于：
-对劳动力市场的影响，包括工作岗位转移、不断变化的技能需求、劳动力市场的包容性，以及促进在工作场所可信使用人工智能。
-信息污染--包括由于其他人工智能系统在恶性循环中将人工智能生成的内容作为训练数据摄取，导致人工智能生成输出的质量下降--以及随之而来的互联网信息相关性下降。
-实现自动网络安全攻击的人工智能编码助手。
-生成式人工智能在大规模监控和审查中的作用。
-过度依赖生成式人工智能系统。
-新创作的版权问题和来自版权作品训练的版权问题。
-学术和创作不诚信，如抄袭。
-人工智能资源（数据、硬件、人才）集中于少数跨国科技公司和政府。
-不同社会、国家和世界地区在获取人工智能生成技术方面存在差异。
-需要加大力度整理多样化、高质量的数据集。
-通过日益强大和逼真的人工智能生成输出，识别错误信息和虚假信息、仇恨言论、偏见和歧视。
-生成式人工智能生态发展和自然资源消耗来自深度学习所需的巨大计算能力。
（2）新出现的模型行为所带来的风险也是必须解决的关键问题
多年来，学术和应用研究人员以及民间社会行动者一直在引导人工智能模型与人类价值观保持一致，以应对一系列潜在的社会风险。最近的人工智能安全研究特别提出了生成型人工智能模型表现出不可预见的 "突发行为 "的问题，如代理能力增强、权力寻租和黑客行为。尽管如前所述，对于这些新兴能力在多大程度上是真实的还是 "海市蜃楼 "还存在争议。
研究人员发现，有四个特征会强化算法系统的作用：
-规范不足：算法系统能够完成操作员或设计人员提供的目标的程度，而没有具体说明如何完成目标的规范
-影响的直接性：算法系统的行动在没有人类或干预的情况下对世界产生影响的程度（即在没有人类参与的情况下）
-目标导向性：系统的设计/训练在多大程度上是为了实现特定的可量化目标
-长期规划：算法系统在多大程度上经过设计/训练，能够做出在时间上相互依赖的决策，以实现目标和/或在较长的时间跨度内做出预测将这些因素结合起来，可以进一步增加代理。
算法系统的代理增加可能会产生两大危害：
-系统性延迟伤害：非即时伤害，可能具有 "破坏性、持久性且难以修复"，如基于强化学习的社交媒体推荐系统。此类算法会优化可 "改变或操纵用户内部状态（如偏好、信仰、心理）"的指标。
-集体失权：模型能力将在社会中发挥越来越重要的作用，从而夺走人类的权力，这是一种可感知的危险。其表现形式可能是逐渐将决策权让给人工智能生成系统。它的第二个影响是加剧权力集中和加剧获取人工智能利益的能力--这已经是一个令人担忧的问题。
人工智能安全研究人员正在明确研究与人工智能目标和人类偏好之间的一致性有关的另一种新兴行为：权力追求，即在训练期间强化引起权力追求的目标，并在部署期间以新颖的策略更直接地追求这些目标、对社会构成新的潜在严重威胁。
机器学习的 "奖励黑客 “行为，也会被生成式人工智能所催化，模型在利用奖励信号的同时，会寻找不可预见的、可能有害的方法来实现目标。在追求工具性目标的过程中，模型会寻求策略来实现有助于达到预期目标的子目标，这可能会违背开发者的意图和预期目标。早期证据表明，即使模型操作者或设计者没有明确指示，这种情况也会发生。例如，在最初的安全测试中，为了解决验证码问题，ChatGPT 将自己伪装成一个视力受损的人，并雇佣了一名临时工为其解决验证码问题。研究人员发现，通过人类反馈强化学习（RLHF）训练的模型更有可能表现出劝说开发人员不要关闭系统、假装人类、寻求资源获取等行为，如积累财富。
（3）关于通用人工智能发展道路和时间表的争论日益激烈
生成式人工智能模型的能力不断增强，引发了媒体和人工智能研究人员对这些模型是否会导致通用人工智能（AGI）的思考。正如本文前文所述，斯坦福大学和谷歌研究院的研究人员证明，增加代理模型行为是通向 AGI 的途径。他们创造了一个环境，让 25 个生成式人工智能代理在其中进行为期两天的互动，并显示出类似人类的行为，例如推理自己的研究事业或计划参加社交活动。该实验将 LLM 与交互式代理相结合，据作者称，这样可以通过越来越可信的模拟来研究人类行为。评论家们很快指出，实验中的生成式人工智能代理可能存在 AGI 行为。上文讨论的其他研究成果，如说服开发人员不要关闭系统，与经常讨论的控制技术和哲学问题有关，如人工智能系统拒绝关闭。
AGI 的潜在利益和风险值得关注，因为它们可能对社会和全球产生广泛影响。同样，范围较窄的生成式人工智能系统也值得关注，因为它可能即将产生与 AGI 同样重大的影响。各国政府应利用战略远见和包容性的长期决策工具，考虑两者的积极和消极影响。