编者按
每年的4月26日是世界知识产权日，今年的主题是——知识产权和可持续发展目标：立足创新创造，构建共同未来。基于此，上海星瀚律师事务所特设“知产主题月”。在这一个月里，星瀚律师不仅会撰写一系列文章，内容涵盖专利、商业秘密等；举办一周线上分享（可进入「星瀚微法苑」视频号观看回放），本周五也将举行线下开放日活动，与从业者共探知识产权前沿问题。欢迎持续关注！
龙年伊始，Open AI突然发布了震惊世界的文生视频工具Sora，在公开的视频小样和技术文档中，长达60秒连贯的、逼真的画面质量和流畅度令全世界为之惊叹，人类似乎已经进入到“眼见不为实”的时代，笔者早年读《金刚经》读到“是实相者，则是非相”一直无法参透，但在如今AI工具带来的“虚虚实实”的世界里，也能隐约感知到古籍中提及的不应“着相”的意义。
可惜至今官方没有披露太多的技术细节，目前可知的一些技术信息都是AI专家以自己的经验和技术反推而得。鉴于目前可以获知的这些“平替”技术信息已经足以帮助分析Sora相关技术是否可以作为专利保护，所以本文将以各界AI专家学者研究出的技术原理作为分析基础。另外，本文仅涉及AI工具的可专利性技术，依据《专利法》第25条以及《专利审查指南（2024年1月20日起施行）》（以下简称“《指南》”）第九章对于Sora相关技术中的可授权专利的客体进行评价，但不会涉及对专利授权的三性的评价。
一、人工智能技术的可专利性的审查标准
《指南》第一部分第九章的第6节中规定：对于“涉及人工智能、“互联网+”、大数据以及区块链等的发明专利申请，一般包含算法或商业规则和方法等智力活动的规则和方法特征。而该章第2节和第3节对于“计算机程序的发明专利”的审查标准和撰写要求也与本主题相关。结合Sora技术的特点，笔者将同时以第2、3、6节的具体规定和示例，对Sora文生视频工具中的可专利性技术进行分析。
（一）早期的初级人工智能技术中的专利客体保护标准
笔者最早从事专利工作在2016年，那时候“互联网+”的概念和“万众创新”的概念弥漫商业社会，当时笔者服务的所有新兴企业，都在主打各种和互联网有关的软件产品或者平台。而也正巧第二年《指南》进行了修改，为“互联网+”的技术成果作为“商业方法”和“计算机软件”专利进行保护提供了可能性。
也正是在早期的、较为初级的人工智能专利撰写的过程中，笔者发现，对于包含算法、商业方法、计算机软件产品的专利撰写，当申请人想要把他们眼中有难度的“算法”和“数学模型”保护下来的时候，基本撰写方向都是结合机电中的技术特征做成组合技术方案，最后授权也是因为机械或者电学方面的技术特征，再结合算法和商业方法而被授权。例如，《指南》第9.2节中的例4“一种控制橡胶模压成型工艺的方法”。但现在，经过多次修改后的最新版《指南》显然已经可以让申请人不用再紧抓“机电”技术而“擦边”获取商业方法的专利。
（二）现行《指南》中规定的专利客体保护标准
第6.1.2条节第二款规定：对一项包含算法特征或商业规则和方法特征的权利要求是否属于技术方案进行审查时，需要整体考虑权利要求中记载的全部特征。如果该项权利要求记载了对要解决的技术问题采用了利用自然规律的技术手段，并且由此获得符合自然规律的技术效果，则该权利要求限定的解决方案属于专利法第二条第二款所述的技术方案。
第6.1.2节第三款规定：如果权利要求中涉及算法的各个步骤体现出与所要解决的技术问题密切相关，如算法处理的数据是技术领域中具有确切技术含义的数据，算法的执行能直接体现出利用自然规律解决某一技术问题的过程，并且获得了技术效果，则通常该权利要求限定的解决方案属于专利法第二条第二款所述的技术方案。
可以看出，现行审查标准将“算法的执行”用以“解决某一技术问题”，并“利用了自然规律”，且“获得了技术效果”的“技术方案”，视为专利可保护的对象。这一规定显然彻底颠覆了早期只能往机电技术靠的传统撰写思路，而是让申请人以“技术效果”为出发点挖掘和提炼任何与算法更加密切的“技术方案”，这些方案即使是抽象的“步骤”，也同样有被授予专利的前景。这一规定给予AI技术的开发者更多想象空间和自我保护手段，有助于激励高质量的AI专利申请。
根据上述基本规定，《指南》给予了其他例子进行分析说明：
A. 一种卷积神经网络模型的训练方法（《指南》第九章第6节，例2）
（权利要求略）
（分析）该解决方案是一种卷积神经网络 CNN 模型的训练方法，其中明确了模型训练方法的各步骤中处理的数据均为图像数据以及各步骤如何处理图像数据，体现出神经网络训练算法与图像信息处理密切相关。该解决方案所解决的是如何克服 CNN 模型仅能识别具有固定尺寸的图像的技术问题，采用了在不同卷积层上对图像进行不同处理并训练的手段，利用的是遵循自然规律的技术手段，获得了训练好的 CNN 模型能够识别任意尺寸待识别图像的技术效果。 因此，该发明专利申请的解决方案属于专利法第二条第二款规定的技术方案，属于专利保护客体。
应用在“图像识别”技术领域中，使用了模型训练方法的具体步骤，包括：处理图像数据的步骤、使用模型训练方法的具体步骤等，采用了在不同卷积层上对图像进行不同处理并训练的手段（技术方案），克服了 CNN 模型仅能识别具有固定尺寸的图像的技术问题（解决的技术问题），能够实现识别任意尺寸待识别图像的技术效果。鉴于算法和图像信息处理（应用领域）的密切相关，本发明中的技术方案中包含的各个步骤满足《指南》第三款的定义，同时满足专利法的规定应当被授予专利权。
B. 一种建立数学模型的方法（《指南》第九章第六节，例1）
（权利要求略）
（分析）该解决方案不涉及任何具体的应用领域，其中处理的训练样本的特征值、提取特征值、标签值、目标分类模型以及目标特征提取模型都是抽象的通用数据，利用训练样本的相关数据对数学模型进行训练等处理过程是一系列抽象的数学方法步骤，最后得到的结果也是抽象的通用分类数学模型。该方案是一种抽象的模型建立方法，其处理对象、过程和结果都不涉及与具体应用领域的结合，属于对抽象数学方法的优化，且整个方案并不包括任何技术特征，该发明专利申请的解 决方案属于专利法第二十五条第一款第(二)项规定的智力活动的规 则和方法，不属于专利保护客体。
对比上一个例子，本发明无法成为专利法客体的根本原因在于没有应用到具体领域。数学建模属于智力活动的成果。如果没有被利用到具体技术领域，数学模型则无法产生“技术方案”，更无法解决相关领域的技术问题。只有将“建立数学模型的方法”引入如例2中的“图像识别”等具体的技术领域，在技术方案中阐述如何提取、利用、训练图像数据的特征，并细化训练步骤，这样就能克服“最后得到的结果也是抽象的通用分类数学模型”这一缺陷，从而成为专利法可以保护的客体。
有了上文两个正反例子做对比，笔者尝试探索Sora技术中可专利性的客体。
二、Sora技术概述——“太阳底下无新事”
去年新年伊始， Chatgpt的登场已经让Open AI应用的GPT相关大模型为业内外所熟知，年中以后，Stable Diffusion的文生图片工具也让普通公众对“扩散模型”不再陌生。这些既有的技术，再加上Open AI自己的大型数据库、强算力等优势，Open AI让Sora站在了自己这个巨人的肩膀上。经过AI专家的研究，发现Sora虽然呈现的效果具有颠覆性意义，但是背后的大模型依然是业内熟悉的，是已经由技术论文充分公开的数学模型在工程化应用上的改进。
Sora = Video DiT = [VAE编码器 + ViT + 条件扩散 + DiT模块 + VAE解码器][1]
“这个框图和前面Stable Diffusion的架构框图非常像，其中对模型结构最大的改动，就是用大语言模型中常用的Transformer网络结构，替换了原来的UNET网络结构。”[2]
不熟悉AI领域的读者可能会被这些复杂的模型和数学公式吓到，但其实这些几乎都是AI领域的老面孔，Open AI自己提供的技术报告中也把相关技术论文引入作为参考资料。但如果都是现有的已经公开的技术，为什么Sora生成的视频质量能够让同行竞争者倒吸一口冷气？是因为Open AI在同样适用这些模型的前提下，对技术细节的工程化处理进行了完善，包括：如何提升算力、减少数据量、多次训练但又不至于占用太大的空间以达到逼真的效果等等。即使这些技术细节尚未浮上台面，但这些技术已经使得Sora生成视频与已有的两件著名的文生视频工具Pika和Runway产生了明显的区别：画面高连贯性、高清晰度、生成各种尺寸的画面而仍然保持清晰度和一贯性，视频时长可以达到1分钟、对输入的文字进行条件扩散（GPT技术）以输出更高精度、更复杂的视频。如果再回到上文中提到的《指南》中的规定，Sora背后蕴含的“技术方案”生成的视频显然已经产生了有突出进步的“技术效果”，解决了过去视频生成过程的“技术问题”，因此这一系列旧模型背后酝酿的“自然规律”（即：数学算法）结合工程化处理过程中的具体“技术方案”，就能形成被专利法保护的客体。
Sora文生视频工具中的两大技术优势包括：文字的条件扩散、视频及图像训练和处理。鉴于前者仍属于GPT旧有的文字训练技术范畴，所以本文不对此作深入探讨，下文仅以视频训练的相关技术作为评价对象。
三、Sora视频训练技术中的核心发明点挖掘
（一）Patch & Pachify：训练的起点
自从Chatgpt技术问世以后，AI大厂雇佣廉价劳动力对数据进行标签的新闻就不绝于耳。人工智能的强大都是基于被“投喂”既有的数据，再对数据进行“训练”和“输出”。要让机器能够识别这些数据，必须对数据进行分门别类的“标签”。Chatgpt工具是基于文字的识别和训练，但最后被打了标签“投喂”到AI工具中用于训练的最小单位不再是文字而叫做“Token”，这就是机器学习的起点。
“之前在大语言模型上的成功，得益于Token……把代码、数学以及各种不同的自然语言进行统一进而方便规模巨大的训练”。[3]如果把文字转成Token，再对Token进行训练，这在GPT技术框架下已经运作地轻车熟路了。但Sora的运作的对象不再是文字，而是视频。如果要训练视频，一定要先把视频压缩、裁剪到最小的单位，不但为了便于机器处理，也为了减少算力的消耗。所以以Token为思考出发点，Open AI将视频训练的最小单位定性为“Patch”。但patch的概念并非Open AI首创，在两年前的论文中已经存在Patch对于视频训练领域的应用技术，并提供了实验数据支持。
(图片源：Video generation models as world simulators, Open AI)
“在原始变换器论文中，Token主要代表单词或句子的部分，并分析这些Token之间的关系，从而深入理解句子的含义。在这项研究中，为了将Token的概念应用于视觉数据，图像被划分为16x16的小部分（补丁），并且每个补丁被视为变换器中的一个Token。这种方法使得模型能够学习每个补丁在整个图像中的相关性，从而基于此识别和理解整个图像。这超越了传统CNN模型在图像识别中使用的固定感受野大小的限制，使得模型能够灵活捕捉图像中任何位置关系。”[4]
在Open AI公布的计算报告并结合技术论文来看，视频处理成最小的训练单元的过程叫做“Patchify”。将视频中的每一帧画面标注时间位置后进行切割，再对每一帧画面进一步切割成更小的单元Patch，并标注位置。所以用于训练的原始视频无论是什么尺寸，都被切割成一个个小方块，最后变成一串“向量序列”（也就是一串标注了位置的小方块），再对这些Patch压缩到浅空间层（Latent）用于训练，完成后再解压到视觉层，最后反向还原新生成的视频。这里最值得注意的技术点是，Sora并没有像过往的图片处理方式那样，将图片裁剪成固定大小的尺寸再进行训练，而是直接使用原视频切割成Patch后再训练，这样就能避免裁剪过程中的失误和数据丢失，也有助于生成更高质量的画面和视频。
鉴于上述对Patch技术的描述，根据《指南》中对可专利性的规定，笔者尝试挖掘以下满足可专利性的技术：
1、为了工程化的目的，为了训练效果最佳，如何设定Patch的大小？如何切割？
2、如何将Patch压缩到浅空间层，如何解压，能达到既不会丢失数据也不会发生错误的目的（比如：因Patch向量序列的定位和标注错误导致训练结果的失误）？
3、多次训练后的Patch数据如何筛选和拼接？多个数据间进行叠加？还是引入其他算法深入计算？或者直接扔掉一部分？
Open AI对于上述问题必然已经有解决方案，虽然在公布技术文档中未找到，但是对于上述问题，逐一描述实现的步骤和过程，即可称为AI专利的“技术方案”，利用了多种算法模型（自然规律），解决了技术问题（视频画面不一致、清晰度较低、计算量过大、视频时长较短），产生了有益效果。
（二）Patch的加噪和去噪：训练的对象
把视频标注位置并切割成最小的训练单位，再压缩到浅空间，但在开始训练和学习这些Patch之前，还差最后一步。模型训练的对象不能是图片本身，而只能通过图片加噪以后，对噪点进行预测和学习。这其实也并非新技术，Stable diffusion的扩散模型也借鉴了这一方法。
以下模型是Sora视频工具和Stable Diffusion共同应用的扩散模型的加噪和去噪的过程：
“如上图所示，扩散模型的工作原理是通过连续添加高斯噪声来破坏训练数据，然后通过逆转这个加噪过程来学习恢复数据。训练后可以使用扩散模型来生成数据，只需通过学习到的去噪过程来传递随机采样的噪声。扩散模型是一种潜变量模型，逐渐向数据添加噪声，以获得近似的后验q(x1:T|x0)，其中x1，…，xT是与x0具有相同维度的潜变量。”[5]
Stable Diffusion仅对图片的处理和学习采用该模型，但这次Sora因为涉及到视频的多画面切割后的多Patch，所以不得不对更多更小的向量序列加以训练，两者计算量不可相提并论。这种应用上的“刚需”也为“噪声”处理提出了新的需求，自然也可以挖掘新的专利点。在挖掘Sora的加噪和去噪的可专利性技术之前，我们先引入《指南》中的例子来说明，如何使得加噪和去噪的处理过程具有可专利性：
C. 一种去除图像噪声的方法（《指南》第九章第三节，例6）
（权利要求略）
（分析）该解决方案是一种图像数据处理方法，所要解决的问题是如何在有效地去除图像噪声的同时，又能够减少因去除图像噪声处理产生的图像模糊现象，是技术问题，该方法通过执行计算机程序实现图像数据的去除噪声处理，反映的是根据具有技 术含义的像素数据的灰度均值及其灰度方差值，对灰度值落在均值上下3倍方差外的像素点视为图像噪声予以去除，对灰度值落在均值上下3倍方差内的像素点视为图像信号不修改其灰度值，避免像现有技术那样对所有像素点都用均值替代的缺陷，利用的是遵循自然规律的技术手段，获得既能有效去除图像噪声又能减少因去除图像噪声处理造成的图像模糊现象的效果，同时由于被替换的像素点明显减少，使得系统的运算量减少，图像处理速度和图像质量提高，因而获得的是技术效果。因此，该发明专利申请是一种通过执行计算机程序实现外部技术数据处理的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。
可以总结出例子中的去噪声的技术方案：计算灰度的均值和方差值，并设定只去除均值上下3倍方差外的像素点。由于这个过程和步骤利用了自然规律的技术手段，解决了去噪声同时避免图像模糊的现象，同时也减少了运算量，提高画面质量，所以产生了技术上的有益效果。
现在基于上述例子再回过来看Sora加噪和去噪过程，相比于普通的图片去噪，Sora训练对象更多，运算量更大，为了达到逼真的、画面一致性的训练效果，为了将前述技术方案的优势体现在专利中，在撰写权利要求时，可细化考虑下述技术方案：
1）数学公式工程化应用的过程和步骤，即：如何对Patch加噪和去噪；
2）如何设定方差和均值以获得最优化的训练成果；
3）如何去除设定数值范围外的噪声，并能最大程度避免失误和数据丢失；
4）如何将每个去噪点后Patch进行筛选和拼接。
上述技术方案进行分步骤描述都是可以被专利保护的对象。
（三）Diffusion Transformer (DiT)架构：训练的方法
过往图片学习和数据处理，包括Stable Diffusion工具，都是通过UNET来实现。“就是构建好多层的卷积网络，来不断提取特征和重建特征，……整个UNET网络模型的基本思想就是不断的对周边临近数值做加权运算。那么什么是卷积呢？说白了，就是拿一个权重模版（比如3x3）在图像上不断平移去计算模版下面的图像像素数值的加权汇总值。”[6]
读者可能已经注意到卷积计算是对“周边临近数值”做加权运算。那周边范围以外的数据呢？自然已经不在卷积计算的范围中。在这个模型中可以预见到，图片各个要素很难保持一致性和连贯性，所以在既往的文生视频工具Pika和Runway的生成视频在使用扩散模型过程中，无法呈现Sora一样的画质和连贯性，也无法呈现过多细节（示例如下）。
（图片出处和原始视频出处：《Runway：创意视频，轻松生成！》，AI职悠悠微信公众号，2024-04-03发布，https://mp.weixin.qq.com/s/AQYuXggDDH8Q11szLkktSA）
反观Transformer运作过程，“这个模块也是一个矩阵运算的模块，但它的算法与卷积网络的算法的区别在于，他不是一个简单的相邻数值的模版加权计算过程。他是一个索引和位置关联的权重计算过程……就是这种计算方式，是对每个Token构建了它与其它所有Token之间的关联关系和权重，而不是像卷积计算那样，构建的是与周边相邻少数几个数值之间的关系，所以，直觉上，这对与实现文本理解和生成场景中，长距离的语义关联，上下文语义context，逻辑的一致性，连贯性等就很有效了。”[7]简而言之，Sora并不是只训练“临近”范围的图片数据，而是无差别对待每一个Patch中的数据，才会相较于过往的视频质量，有极大的突破。
最后我们以Sora生成的视频与上述视频进行对比来挖掘DiT架构中的可专利客体。
（图片出处和原始视频出处：Video generation models as world simulators, Open AI，https://openai.com/research/video-generation-models-as-world-simulators）
上图是Open AI在2月发布的第一则长视频：一位女士行走在东京街头，人物的姿态、服装，包括街上的行人、房屋都是一致的、连贯的，其他背景，甚至地面水中的倒影也与主场景吻合。而在36秒时，视频进行了分镜切换，清晰看出女士脸上的斑点和皮肤纹理组织，而这些人物特征和细节，在分镜前和分镜后（放大）都是一致的。
若使用UNET模型，这种细节根本无法呈现一致性和连贯性。能达成这一效果是因为在训练过程中，向量序列Patch在训练模型中同步多次训练，最后在一起合并生成新视频。因此值得挖掘的技术点包括：
1、如何多Patch同时训练，但不会消耗过多的计算量和空间；
2、单个Patch训练结果的数据取舍标准（如：取舍的数值范围）以及取舍的方法；
3、多Patch同时训练后如何取舍训练后的单个Patch（如：被切割后，没有图像具体信息的单个patch是否不会进入训练而被直接舍弃等）。
这些训练数据处理步骤都可以在权利要求中被保留和细化作为技术方案，且解决的技术问题和实现的有益结果也是明显的，应当作为专利保护的客体。
结语
每当有一款技术上存在重大突破的AI工具问世时，总会带来一波AI威胁论。但笔者认为AI工具只是为了让人类从重复性的、非创造性的工作中解脱出来，将精力投入到更高价值的创造、创意活动中去，彻底摆脱过去简单重复的劳动环境。AI工具是助力，AI的生成物也只是配角，人类始终是主角，把配角当作主角，也就是本末倒置了，所以对待AI的视角，应当如同《金刚经》所言：如梦幻泡影，如露亦如电，应作如是观。
[1]《全面剖析Sora背后的技术:模型结构和DiT、ViT、DT、VAE等技术》，蓝海大脑微信公众号， 2024-03-07发布
[2]《通俗深入的理解Sora的架构原理》，大数据与AI杂谈，2024-03-07发布
[3]《OpenAI今天刷屏的Sora模型，是如何做到这么强的？》科工力量微信公众号，2024-02-16
[4]同1
[5]《解读OpenAISora文生视频技术原理》，清熙微信公众号， 2024-02-17发布
[6]同2
[7]同2
每年的4月26日是世界知识产权日，今年的主题是——知识产权和可持续发展目标：立足创新创造，构建共同未来。基于此，上海星瀚律师事务所特设“知产主题月”。在这一个月里，星瀚律师不仅会撰写一系列文章，内容涵盖专利、商业秘密等；举办一周线上分享（可进入「星瀚微法苑」视频号观看回放），本周五也将举行线下开放日活动，与从业者共探知识产权前沿问题。欢迎持续关注！
龙年伊始，Open AI突然发布了震惊世界的文生视频工具Sora，在公开的视频小样和技术文档中，长达60秒连贯的、逼真的画面质量和流畅度令全世界为之惊叹，人类似乎已经进入到“眼见不为实”的时代，笔者早年读《金刚经》读到“是实相者，则是非相”一直无法参透，但在如今AI工具带来的“虚虚实实”的世界里，也能隐约感知到古籍中提及的不应“着相”的意义。
可惜至今官方没有披露太多的技术细节，目前可知的一些技术信息都是AI专家以自己的经验和技术反推而得。鉴于目前可以获知的这些“平替”技术信息已经足以帮助分析Sora相关技术是否可以作为专利保护，所以本文将以各界AI专家学者研究出的技术原理作为分析基础。另外，本文仅涉及AI工具的可专利性技术，依据《专利法》第25条以及《专利审查指南（2024年1月20日起施行）》（以下简称“《指南》”）第九章对于Sora相关技术中的可授权专利的客体进行评价，但不会涉及对专利授权的三性的评价。
一、人工智能技术的可专利性的审查标准
《指南》第一部分第九章的第6节中规定：对于“涉及人工智能、“互联网+”、大数据以及区块链等的发明专利申请，一般包含算法或商业规则和方法等智力活动的规则和方法特征。而该章第2节和第3节对于“计算机程序的发明专利”的审查标准和撰写要求也与本主题相关。结合Sora技术的特点，笔者将同时以第2、3、6节的具体规定和示例，对Sora文生视频工具中的可专利性技术进行分析。
（一）早期的初级人工智能技术中的专利客体保护标准
笔者最早从事专利工作在2016年，那时候“互联网+”的概念和“万众创新”的概念弥漫商业社会，当时笔者服务的所有新兴企业，都在主打各种和互联网有关的软件产品或者平台。而也正巧第二年《指南》进行了修改，为“互联网+”的技术成果作为“商业方法”和“计算机软件”专利进行保护提供了可能性。
也正是在早期的、较为初级的人工智能专利撰写的过程中，笔者发现，对于包含算法、商业方法、计算机软件产品的专利撰写，当申请人想要把他们眼中有难度的“算法”和“数学模型”保护下来的时候，基本撰写方向都是结合机电中的技术特征做成组合技术方案，最后授权也是因为机械或者电学方面的技术特征，再结合算法和商业方法而被授权。例如，《指南》第9.2节中的例4“一种控制橡胶模压成型工艺的方法”。但现在，经过多次修改后的最新版《指南》显然已经可以让申请人不用再紧抓“机电”技术而“擦边”获取商业方法的专利。
（二）现行《指南》中规定的专利客体保护标准
第6.1.2条节第二款规定：对一项包含算法特征或商业规则和方法特征的权利要求是否属于技术方案进行审查时，需要整体考虑权利要求中记载的全部特征。如果该项权利要求记载了对要解决的技术问题采用了利用自然规律的技术手段，并且由此获得符合自然规律的技术效果，则该权利要求限定的解决方案属于专利法第二条第二款所述的技术方案。
第6.1.2节第三款规定：如果权利要求中涉及算法的各个步骤体现出与所要解决的技术问题密切相关，如算法处理的数据是技术领域中具有确切技术含义的数据，算法的执行能直接体现出利用自然规律解决某一技术问题的过程，并且获得了技术效果，则通常该权利要求限定的解决方案属于专利法第二条第二款所述的技术方案。
可以看出，现行审查标准将“算法的执行”用以“解决某一技术问题”，并“利用了自然规律”，且“获得了技术效果”的“技术方案”，视为专利可保护的对象。这一规定显然彻底颠覆了早期只能往机电技术靠的传统撰写思路，而是让申请人以“技术效果”为出发点挖掘和提炼任何与算法更加密切的“技术方案”，这些方案即使是抽象的“步骤”，也同样有被授予专利的前景。这一规定给予AI技术的开发者更多想象空间和自我保护手段，有助于激励高质量的AI专利申请。
根据上述基本规定，《指南》给予了其他例子进行分析说明：
A. 一种卷积神经网络模型的训练方法（《指南》第九章第6节，例2）
（权利要求略）
（分析）该解决方案是一种卷积神经网络 CNN 模型的训练方法，其中明确了模型训练方法的各步骤中处理的数据均为图像数据以及各步骤如何处理图像数据，体现出神经网络训练算法与图像信息处理密切相关。该解决方案所解决的是如何克服 CNN 模型仅能识别具有固定尺寸的图像的技术问题，采用了在不同卷积层上对图像进行不同处理并训练的手段，利用的是遵循自然规律的技术手段，获得了训练好的 CNN 模型能够识别任意尺寸待识别图像的技术效果。 因此，该发明专利申请的解决方案属于专利法第二条第二款规定的技术方案，属于专利保护客体。
应用在“图像识别”技术领域中，使用了模型训练方法的具体步骤，包括：处理图像数据的步骤、使用模型训练方法的具体步骤等，采用了在不同卷积层上对图像进行不同处理并训练的手段（技术方案），克服了 CNN 模型仅能识别具有固定尺寸的图像的技术问题（解决的技术问题），能够实现识别任意尺寸待识别图像的技术效果。鉴于算法和图像信息处理（应用领域）的密切相关，本发明中的技术方案中包含的各个步骤满足《指南》第三款的定义，同时满足专利法的规定应当被授予专利权。
B. 一种建立数学模型的方法（《指南》第九章第六节，例1）
（权利要求略）
（分析）该解决方案不涉及任何具体的应用领域，其中处理的训练样本的特征值、提取特征值、标签值、目标分类模型以及目标特征提取模型都是抽象的通用数据，利用训练样本的相关数据对数学模型进行训练等处理过程是一系列抽象的数学方法步骤，最后得到的结果也是抽象的通用分类数学模型。该方案是一种抽象的模型建立方法，其处理对象、过程和结果都不涉及与具体应用领域的结合，属于对抽象数学方法的优化，且整个方案并不包括任何技术特征，该发明专利申请的解 决方案属于专利法第二十五条第一款第(二)项规定的智力活动的规 则和方法，不属于专利保护客体。
对比上一个例子，本发明无法成为专利法客体的根本原因在于没有应用到具体领域。数学建模属于智力活动的成果。如果没有被利用到具体技术领域，数学模型则无法产生“技术方案”，更无法解决相关领域的技术问题。只有将“建立数学模型的方法”引入如例2中的“图像识别”等具体的技术领域，在技术方案中阐述如何提取、利用、训练图像数据的特征，并细化训练步骤，这样就能克服“最后得到的结果也是抽象的通用分类数学模型”这一缺陷，从而成为专利法可以保护的客体。
有了上文两个正反例子做对比，笔者尝试探索Sora技术中可专利性的客体。
二、Sora技术概述——“太阳底下无新事”
去年新年伊始， Chatgpt的登场已经让Open AI应用的GPT相关大模型为业内外所熟知，年中以后，Stable Diffusion的文生图片工具也让普通公众对“扩散模型”不再陌生。这些既有的技术，再加上Open AI自己的大型数据库、强算力等优势，Open AI让Sora站在了自己这个巨人的肩膀上。经过AI专家的研究，发现Sora虽然呈现的效果具有颠覆性意义，但是背后的大模型依然是业内熟悉的，是已经由技术论文充分公开的数学模型在工程化应用上的改进。
Sora = Video DiT = [VAE编码器 + ViT + 条件扩散 + DiT模块 + VAE解码器][1]
“这个框图和前面Stable Diffusion的架构框图非常像，其中对模型结构最大的改动，就是用大语言模型中常用的Transformer网络结构，替换了原来的UNET网络结构。”[2]
不熟悉AI领域的读者可能会被这些复杂的模型和数学公式吓到，但其实这些几乎都是AI领域的老面孔，Open AI自己提供的技术报告中也把相关技术论文引入作为参考资料。但如果都是现有的已经公开的技术，为什么Sora生成的视频质量能够让同行竞争者倒吸一口冷气？是因为Open AI在同样适用这些模型的前提下，对技术细节的工程化处理进行了完善，包括：如何提升算力、减少数据量、多次训练但又不至于占用太大的空间以达到逼真的效果等等。即使这些技术细节尚未浮上台面，但这些技术已经使得Sora生成视频与已有的两件著名的文生视频工具Pika和Runway产生了明显的区别：画面高连贯性、高清晰度、生成各种尺寸的画面而仍然保持清晰度和一贯性，视频时长可以达到1分钟、对输入的文字进行条件扩散（GPT技术）以输出更高精度、更复杂的视频。如果再回到上文中提到的《指南》中的规定，Sora背后蕴含的“技术方案”生成的视频显然已经产生了有突出进步的“技术效果”，解决了过去视频生成过程的“技术问题”，因此这一系列旧模型背后酝酿的“自然规律”（即：数学算法）结合工程化处理过程中的具体“技术方案”，就能形成被专利法保护的客体。
Sora文生视频工具中的两大技术优势包括：文字的条件扩散、视频及图像训练和处理。鉴于前者仍属于GPT旧有的文字训练技术范畴，所以本文不对此作深入探讨，下文仅以视频训练的相关技术作为评价对象。
三、Sora视频训练技术中的核心发明点挖掘
（一）Patch & Pachify：训练的起点
自从Chatgpt技术问世以后，AI大厂雇佣廉价劳动力对数据进行标签的新闻就不绝于耳。人工智能的强大都是基于被“投喂”既有的数据，再对数据进行“训练”和“输出”。要让机器能够识别这些数据，必须对数据进行分门别类的“标签”。Chatgpt工具是基于文字的识别和训练，但最后被打了标签“投喂”到AI工具中用于训练的最小单位不再是文字而叫做“Token”，这就是机器学习的起点。
“之前在大语言模型上的成功，得益于Token……把代码、数学以及各种不同的自然语言进行统一进而方便规模巨大的训练”。[3]如果把文字转成Token，再对Token进行训练，这在GPT技术框架下已经运作地轻车熟路了。但Sora的运作的对象不再是文字，而是视频。如果要训练视频，一定要先把视频压缩、裁剪到最小的单位，不但为了便于机器处理，也为了减少算力的消耗。所以以Token为思考出发点，Open AI将视频训练的最小单位定性为“Patch”。但patch的概念并非Open AI首创，在两年前的论文中已经存在Patch对于视频训练领域的应用技术，并提供了实验数据支持。
(图片源：Video generation models as world simulators, Open AI)
“在原始变换器论文中，Token主要代表单词或句子的部分，并分析这些Token之间的关系，从而深入理解句子的含义。在这项研究中，为了将Token的概念应用于视觉数据，图像被划分为16x16的小部分（补丁），并且每个补丁被视为变换器中的一个Token。这种方法使得模型能够学习每个补丁在整个图像中的相关性，从而基于此识别和理解整个图像。这超越了传统CNN模型在图像识别中使用的固定感受野大小的限制，使得模型能够灵活捕捉图像中任何位置关系。”[4]
在Open AI公布的计算报告并结合技术论文来看，视频处理成最小的训练单元的过程叫做“Patchify”。将视频中的每一帧画面标注时间位置后进行切割，再对每一帧画面进一步切割成更小的单元Patch，并标注位置。所以用于训练的原始视频无论是什么尺寸，都被切割成一个个小方块，最后变成一串“向量序列”（也就是一串标注了位置的小方块），再对这些Patch压缩到浅空间层（Latent）用于训练，完成后再解压到视觉层，最后反向还原新生成的视频。这里最值得注意的技术点是，Sora并没有像过往的图片处理方式那样，将图片裁剪成固定大小的尺寸再进行训练，而是直接使用原视频切割成Patch后再训练，这样就能避免裁剪过程中的失误和数据丢失，也有助于生成更高质量的画面和视频。
鉴于上述对Patch技术的描述，根据《指南》中对可专利性的规定，笔者尝试挖掘以下满足可专利性的技术：
1、为了工程化的目的，为了训练效果最佳，如何设定Patch的大小？如何切割？
2、如何将Patch压缩到浅空间层，如何解压，能达到既不会丢失数据也不会发生错误的目的（比如：因Patch向量序列的定位和标注错误导致训练结果的失误）？
3、多次训练后的Patch数据如何筛选和拼接？多个数据间进行叠加？还是引入其他算法深入计算？或者直接扔掉一部分？
Open AI对于上述问题必然已经有解决方案，虽然在公布技术文档中未找到，但是对于上述问题，逐一描述实现的步骤和过程，即可称为AI专利的“技术方案”，利用了多种算法模型（自然规律），解决了技术问题（视频画面不一致、清晰度较低、计算量过大、视频时长较短），产生了有益效果。
（二）Patch的加噪和去噪：训练的对象
把视频标注位置并切割成最小的训练单位，再压缩到浅空间，但在开始训练和学习这些Patch之前，还差最后一步。模型训练的对象不能是图片本身，而只能通过图片加噪以后，对噪点进行预测和学习。这其实也并非新技术，Stable diffusion的扩散模型也借鉴了这一方法。
以下模型是Sora视频工具和Stable Diffusion共同应用的扩散模型的加噪和去噪的过程：
“如上图所示，扩散模型的工作原理是通过连续添加高斯噪声来破坏训练数据，然后通过逆转这个加噪过程来学习恢复数据。训练后可以使用扩散模型来生成数据，只需通过学习到的去噪过程来传递随机采样的噪声。扩散模型是一种潜变量模型，逐渐向数据添加噪声，以获得近似的后验q(x1:T|x0)，其中x1，…，xT是与x0具有相同维度的潜变量。”[5]
Stable Diffusion仅对图片的处理和学习采用该模型，但这次Sora因为涉及到视频的多画面切割后的多Patch，所以不得不对更多更小的向量序列加以训练，两者计算量不可相提并论。这种应用上的“刚需”也为“噪声”处理提出了新的需求，自然也可以挖掘新的专利点。在挖掘Sora的加噪和去噪的可专利性技术之前，我们先引入《指南》中的例子来说明，如何使得加噪和去噪的处理过程具有可专利性：
C. 一种去除图像噪声的方法（《指南》第九章第三节，例6）
（权利要求略）
（分析）该解决方案是一种图像数据处理方法，所要解决的问题是如何在有效地去除图像噪声的同时，又能够减少因去除图像噪声处理产生的图像模糊现象，是技术问题，该方法通过执行计算机程序实现图像数据的去除噪声处理，反映的是根据具有技 术含义的像素数据的灰度均值及其灰度方差值，对灰度值落在均值上下3倍方差外的像素点视为图像噪声予以去除，对灰度值落在均值上下3倍方差内的像素点视为图像信号不修改其灰度值，避免像现有技术那样对所有像素点都用均值替代的缺陷，利用的是遵循自然规律的技术手段，获得既能有效去除图像噪声又能减少因去除图像噪声处理造成的图像模糊现象的效果，同时由于被替换的像素点明显减少，使得系统的运算量减少，图像处理速度和图像质量提高，因而获得的是技术效果。因此，该发明专利申请是一种通过执行计算机程序实现外部技术数据处理的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。
可以总结出例子中的去噪声的技术方案：计算灰度的均值和方差值，并设定只去除均值上下3倍方差外的像素点。由于这个过程和步骤利用了自然规律的技术手段，解决了去噪声同时避免图像模糊的现象，同时也减少了运算量，提高画面质量，所以产生了技术上的有益效果。
现在基于上述例子再回过来看Sora加噪和去噪过程，相比于普通的图片去噪，Sora训练对象更多，运算量更大，为了达到逼真的、画面一致性的训练效果，为了将前述技术方案的优势体现在专利中，在撰写权利要求时，可细化考虑下述技术方案：
1）数学公式工程化应用的过程和步骤，即：如何对Patch加噪和去噪；
2）如何设定方差和均值以获得最优化的训练成果；
3）如何去除设定数值范围外的噪声，并能最大程度避免失误和数据丢失；
4）如何将每个去噪点后Patch进行筛选和拼接。
上述技术方案进行分步骤描述都是可以被专利保护的对象。
（三）Diffusion Transformer (DiT)架构：训练的方法
过往图片学习和数据处理，包括Stable Diffusion工具，都是通过UNET来实现。“就是构建好多层的卷积网络，来不断提取特征和重建特征，……整个UNET网络模型的基本思想就是不断的对周边临近数值做加权运算。那么什么是卷积呢？说白了，就是拿一个权重模版（比如3x3）在图像上不断平移去计算模版下面的图像像素数值的加权汇总值。”[6]
读者可能已经注意到卷积计算是对“周边临近数值”做加权运算。那周边范围以外的数据呢？自然已经不在卷积计算的范围中。在这个模型中可以预见到，图片各个要素很难保持一致性和连贯性，所以在既往的文生视频工具Pika和Runway的生成视频在使用扩散模型过程中，无法呈现Sora一样的画质和连贯性，也无法呈现过多细节（示例如下）。
（图片出处和原始视频出处：《Runway：创意视频，轻松生成！》，AI职悠悠微信公众号，2024-04-03发布，https://mp.weixin.qq.com/s/AQYuXggDDH8Q11szLkktSA）
反观Transformer运作过程，“这个模块也是一个矩阵运算的模块，但它的算法与卷积网络的算法的区别在于，他不是一个简单的相邻数值的模版加权计算过程。他是一个索引和位置关联的权重计算过程……就是这种计算方式，是对每个Token构建了它与其它所有Token之间的关联关系和权重，而不是像卷积计算那样，构建的是与周边相邻少数几个数值之间的关系，所以，直觉上，这对与实现文本理解和生成场景中，长距离的语义关联，上下文语义context，逻辑的一致性，连贯性等就很有效了。”[7]简而言之，Sora并不是只训练“临近”范围的图片数据，而是无差别对待每一个Patch中的数据，才会相较于过往的视频质量，有极大的突破。
最后我们以Sora生成的视频与上述视频进行对比来挖掘DiT架构中的可专利客体。
（图片出处和原始视频出处：Video generation models as world simulators, Open AI，https://openai.com/research/video-generation-models-as-world-simulators）
上图是Open AI在2月发布的第一则长视频：一位女士行走在东京街头，人物的姿态、服装，包括街上的行人、房屋都是一致的、连贯的，其他背景，甚至地面水中的倒影也与主场景吻合。而在36秒时，视频进行了分镜切换，清晰看出女士脸上的斑点和皮肤纹理组织，而这些人物特征和细节，在分镜前和分镜后（放大）都是一致的。
若使用UNET模型，这种细节根本无法呈现一致性和连贯性。能达成这一效果是因为在训练过程中，向量序列Patch在训练模型中同步多次训练，最后在一起合并生成新视频。因此值得挖掘的技术点包括：
1、如何多Patch同时训练，但不会消耗过多的计算量和空间；
2、单个Patch训练结果的数据取舍标准（如：取舍的数值范围）以及取舍的方法；
3、多Patch同时训练后如何取舍训练后的单个Patch（如：被切割后，没有图像具体信息的单个patch是否不会进入训练而被直接舍弃等）。
这些训练数据处理步骤都可以在权利要求中被保留和细化作为技术方案，且解决的技术问题和实现的有益结果也是明显的，应当作为专利保护的客体。
结语
每当有一款技术上存在重大突破的AI工具问世时，总会带来一波AI威胁论。但笔者认为AI工具只是为了让人类从重复性的、非创造性的工作中解脱出来，将精力投入到更高价值的创造、创意活动中去，彻底摆脱过去简单重复的劳动环境。AI工具是助力，AI的生成物也只是配角，人类始终是主角，把配角当作主角，也就是本末倒置了，所以对待AI的视角，应当如同《金刚经》所言：如梦幻泡影，如露亦如电，应作如是观。
[1]《全面剖析Sora背后的技术:模型结构和DiT、ViT、DT、VAE等技术》，蓝海大脑微信公众号， 2024-03-07发布
[2]《通俗深入的理解Sora的架构原理》，大数据与AI杂谈，2024-03-07发布
[3]《OpenAI今天刷屏的Sora模型，是如何做到这么强的？》科工力量微信公众号，2024-02-16
[4]同1
[5]《解读OpenAISora文生视频技术原理》，清熙微信公众号， 2024-02-17发布
[6]同2
[7]同2