数字人系列(二):虚拟数字人产业现状研析

来源:华商律师事务所

文章摘要
产业生态分工明,AI赋能新升级 目前,虚拟数字人发展进入成熟阶段,大模型AI的赋能使得虚拟数字人产业高速发展,加快了虚拟数字人落地与推广,应用场景更加多元化,因此虚拟数字人产业的商业模式也更加精细化。
产业生态分工明,AI赋能新升级
目前,虚拟数字人发展进入成熟阶段,大模型AI的赋能使得虚拟数字人产业高速发展,加快了虚拟数字人落地与推广,应用场景更加多元化,因此虚拟数字人产业的商业模式也更加精细化。虚拟数字人产业链分为基础层(上游)、平台层(中游)以及应用层(下游)。
图1虚拟数字人产业生态全景图
信息来源:各大公司公开网站、华商元宇宙服务中心
基础层:提供打造虚拟数字人必要的硬软件支撑,主要为芯片厂商、通用设备制造厂商、机器视觉企业以及软件开发公司。虚拟数字人的成功打造,离不开的主要硬件支持有传感器、显示设备、芯片以及光学器件等,软件则主要为建模软件、渲染引擎。

功能

主要产品/软件

硬件

传感器

虚拟数字人原始数据、用户数据采集

——

芯片

用于传感器数据预处理、虚拟数字人模型渲染、AI计算等

——

显示设备

虚拟数字人呈现载体

2D设备:手机、电视、投影、LED/OLED等

3D设备:裸眼立体、AR、VR等

光学器件

用于视觉传感器、用户显示设备等的制作

——

软件

建模软件

对虚拟数字人的人体、衣物、外形等三维建模

Maya、3Dmax、Zbrush等

渲染引擎

对灯光、毛发、衣物等细节进行处理渲染

Unity、Unreal Engine等


表1虚拟数字人基础层主要硬软件一览表
平台层:提供虚拟数字人构建过程中的关键核心技术,结合虚拟数字人未来使用场景的不同,进行AI赋能,提供数字人解决方案。主要有综合类平台厂商(如科大讯飞、商汤科技、标贝科技等)、互联网技术厂商(如腾讯、华为、小冰、百度等)、全栈式垂直数字人厂商(如拟仁智能、中科深智、魔珐科技等)以及XR/GC厂商(如原力、相芯科技、凌云光等)。

企业

虚拟数字人解决方案平台

服务内容

核心技术

应用方案

建模

驱动

渲染

其他

综合类平台厂商

科大讯飞

AI虚拟人多模态交互服务解决方案

2D真人、3D卡通

语音识别、语义理解、语音合成、虚拟形象驱动

用户自定义

通过SDK、API等服务接入,在手机APP、大屏一体机等终端进行展现

讯飞星火认知大模型

智能客服、智慧交通、政务咨询、生活服务

商汤科技

商汤如影SenseAvatar

——

商汤日日新SenseNova大模型

——

SenseMARS数字人自动生成平台

3A级别超写实、拟真人、3D美型、二次元风格等

支持多语言、语音驱动、表情驱动等多种驱动玩法

用户自定义

可无缝接入数字人多种平台软件中,实现快速应用落地

互娱(直播、短视频、虚拟社交等)、金融房地产(数字人客服、数字人前台等)、IP型数字人

SenseMARS Avatar虚拟人解决方案

用户拍照一键生成

AI面部捕捉---表情、语音驱动,AI人体捕捉---半身、全身驱动

面部表情精准识别

虚拟社交、直播短视频

SenseMARS服务型数字人解决方案

个性化IP定制

拟人化驱动

AIGC赋能

智能助手、智能客服、智能导购员、智能讲解员和形象代言人

SenseMARS虚拟会议解决方案

可以选择不同的虚拟形象或头像

精准实时面部驱动

目前支持 Windows & Mac OS平台,且支持腾讯会议、小鱼、Zoom、OBS 等多软件。

政企、互娱

SenseMARS虚拟世界解决方案

自动生成个人形象,支持换装

多维驱动

快速打造超现实空间场景

文娱、电商、虚拟活动展览

互联网技术厂商

腾讯

腾讯云智能数智人

2D真人、2D卡通、3D写实、3D风格化、3D卡通等形象。

支持文本驱动、声音驱动

用户自定义

落地中、英、俄多语种场景;AI技术集成能力强,支持多种端口对接,支持 SIP\ RTMP\ RTSP\RTP\WebRTC\ TRTC等多种通信协议。

提供 IP 授权服务

虚拟主播、虚拟教师、虚拟客服、虚拟助手、虚拟导游、IP营销服务

小冰公司

Azure新一代AI数字员工解决方案

基于小样本,使用3分钟音视频数据,经训练可完美复刻真人容貌与声音

能进行语音和文本实时交互

第三代深度神经网络渲染模型

有多种对话模式,可在网页(PC端+移动端)、公众号、APP、直播间、VoIP、线下装置落地

人工智能小冰框架

应用直播、企业、陪伴、创作

华为

AI数字人

2D、3D数字人接入

基于文本或语音进行驱动

用户自定义

数字内容生产线 MetaStudio

数字人大脑

播报数字人、展厅讲解员、城市IP、虚拟客服、5G通话数字人

百度

百度智能云曦灵·智能数字人平台

3D写实资产生产、2D人像资产生产、3D卡通资产生产

人像驱动引擎

对不同资产生产线进行不同渲染

应用终端为APP端、云屏、电话端、小度屏

世界首个在线语音交互注意力模型,音画同步、逐字口型准确率>98.5%

数字智能客服、数字理财经理、数字商品导购、数字培训师、数字展厅讲解员、数字大堂经理、数字前台、VoLTE客服、视频彩铃、陪伴数字人等

全栈式垂直类厂商

拟仁智能

AI虚拟人

3D制作流程

AI大脑驱动

真人可随时接管

支持所有主流PC、移动AR/VR/MR平台或设备,云端只需CPU,不需要GPU

语音交互引擎、智能对话引擎、智能导航引擎、行为推理引擎、视觉识别引擎、图形渲染引擎

AI实时交互、网络直播、智能客服

PTA虚拟化身

单幅照片输入,3D虚拟化身输出

输出可直接进行智能交互,进行动作、表情、口型驱动

实时渲染

结果可编辑、生成过程时间短、效率高

图片合法性检测、神经网络生成算法、风格化美颜算法、自研渲染引擎

AI专属助手、AI智慧服务、AI智能营销、AI智能化身

中科深智

Motionverse虚拟人业务中台

自动建模,可通过文本等多模态输入,生成3D数字人模型

多模态大模型虚拟人生成算法

自研HIVE虚拟人云渲染技术

CLLAP模型(跨多模态深度学习算法)

大语言模型(200亿级和20亿级)为企业进行私有化部署

数字人播报、AI NPC、数字人客服、数字人导购、数字人导诊、数字人导游

硅基智能

硅语数字人

涵盖动物、卡通、真人风格等

可根据语音内容实时预测唇形变化,实现语音和画面同步,驱动虚拟形象多模态交互

神经渲染

H5、微信、小程序、APP、大屏、短视频

MAAS资产登记可提供数字化服务

虚拟主播(电商、直播)、虚拟主持人(晚会、活动)、数字人客服(银行、政务)、虚拟品牌代言人(快消、零售、餐饮)、数字人演员/嘉宾(影视、娱乐)

魔珐科技

AI虚拟人能力平台

超写实角色、三维美型角色、2.5次元角色、二次元角色、卡通角色等

供企业、个人开发者、ISV等使用

实时渲染

Android App、iOS App、Windows应用、智慧大屏、小程序、网页应用、软硬一体机

三维虚拟内容协同制作、专业级&消费级虚拟直播技术、TTSA、STA、ETTS、NLP、VC、智能动作生成

虚拟客服、虚拟老师、虚拟主播、

虚拟医生、虚拟政务

XR/GC厂商

凌云光

数字人全栈式流程

Human3D+高精度人体3D建模系统

LuXR摄像机跟踪系统

FZMotion光学运动捕捉系统

多年视觉技术与影视工业化经验相结合,覆盖数字人制作流程,建模、动画、渲染合成等关键环节

3C显示触控解决方案

面向专业影视级及轻量化、影视游戏、文化传媒、教育等

原力动画

数字技术研发中心

重光照数字扫描建模技术

基于深度学习的数字人面部动画解决方案

DeepRig绑定加速技术、音视频自动生成嘴型动画

为全球顶尖游戏、互动内容厂商提供高品质、全流程的数字3D图形、动画等服务

AIGC-超写实千人扫描数据包

运用顶尖的3D动画技术,提供国际品质的3D CG动画影片、剧集、视频等制作服务

相芯科技

智能虚拟人平台 AvatarX

拍照生成真人专属3D虚拟形象,可多维度DIY捏脸,支持自由组合服饰

1个SDK支持多种驱动:面部驱动、身体驱动、手势识别、语音驱动

实时渲染

对应唯一ID,支持跨平台访问、使用。支持应用终端为移动端、平板、电脑端、移动大屏。

独创“虚拟数字人引擎”

虚拟数字人平台、超写实企业代言人、AI虚拟助手、AI虚拟主播、虚拟直播带货

数字王国

虚拟人实验室

REAL-TIME ML CLOTHING

Masquerade 2.0 系统

实时Digi Doug 渲染

国际TOP级影视特效制作

面部变更技术CHARLATAN

影视角色、DOUGLAS是全栈式的自主虚拟人


表2虚拟数字人平台层各类厂商部分企业一览图
信息来源:各大公司公开网站、华商元宇宙服务中心
应用层:平台层企业技术迭代、效用提升、成本优化为虚拟数字进入不同领域,让虚拟数字人项目落到实处,实现虚拟数字人的载体价值,将虚拟人应用于各行业领域。虚拟人相关技术首先在影视、传媒和游戏领域有了多年应用的积累,随着技术进一步成熟正逐步呈现出新的赋能方式。目前在金融、文旅、政务等广泛领域,虚拟人凭借其与AI技术的结合,以及成本、表现力等优势逐步开始提供数字员工、虚拟导游等服务。

表3 虚拟数字人应用层概览
当前,虚拟数字人制作工序趋于成熟,分为建模、驱动与渲染三个步骤,也随着AI技术的发展,增强了虚拟数字人的真实感,画面感与交互能力。
建模是虚拟数字人制作的基础环节,决定虚拟数字人整体形象。建模技术有CG建模、静态扫描建模、动态光场建模三种,当前建模以静态扫描建模技术为主,未来动态光场建模有望成为主要建模技术,动态光场建模是最新的深度扫描技术,可忽略材质,直接对三维空间光线进行采集,然后进行实时渲染。在建模环节,制作者也要进行模型绑定,通常有骨骼绑定和贴图两种。
驱动技术实现虚拟数字人由静到动的转变,制作者通常对面部和身体进行两次动作驱动处理。面部主要以嘴部动作为主,身体驱动可通过动作捕捉技术获得真人演员的行为,再移植到虚拟数字人上,完成虚拟数字人的身体动作驱动。动作捕捉技术分为光学动捕、惯性动捕、视觉动捕三种,捕捉技术的不同相应的建模计算量也不同,三者的简便程度为视觉动捕>惯性动捕>光学动捕,建模计算量:惯性动捕<光学动捕<视觉动捕,受外界影响程度:惯性动捕<光学动捕<视觉动捕。
渲染则提升画面质感,加强虚拟数字人的真实性。渲染阶段主要有实时和离线两种方案,离线渲染通常可呈现更好地画面质量,但是速度很慢,实时渲染注重交互和及时性,对于交互程度高的虚拟数字人,通常采用实时渲染技术。现有的技术难以兼顾时效性与渲染精度。

工序

方式

软件

说明

AI赋能

建模

CG建模

2D:spine

3D:Autodesk Maya、3D Max等

最传统的建模方式,建模师根据美术人物形象在建模软件上绘制人物。

简化建模步骤、降低专业设备的需求。

静态扫描建模

Scantastic等

可满足对多重细节以及精度需求

动态光场重建

摄像机矩阵、光场

可高品质重现不同视角下人物形象的光影效果

驱动

光学动捕

光学动捕相机、动捕穿戴设备、动捕场等

对真人演员特定光点追踪,实现动作捕捉

AI生成动作,降低对真人演员需求,推动虚拟数字人的“自我驱动”。

惯性动捕

惯性传感器模块等

利用传感器装备采集演员动作数据,通过算法处理完成动作捕捉

视觉动捕

Leap motion、Kinect系统等

通过深度或普通摄像头采集图像数据,利用计算机算法完成动捕

渲染

实时渲染

Unity、虚幻等渲染引擎

支持高交互频次的应用场景

渲染效果更细腻逼真,实现云端处理,降低门槛。

离线渲染

画面质感更高


表4虚拟数字人制造工序一览图
首个评估标准定,影响力指数分赛道
根据2023年2月21日中国传媒大学媒体融合与传播国家重点实验室媒体大数据研究中心、优格元宇宙实验室与中传数字人研究院联合发布的2022年度《中国虚拟数字人影响力指数报告》,基于虚拟数字人的产品力、传播力、社会力,分为虚拟偶像、虚拟主播、数字员工三个赛道,提出行业内首个虚拟数字人评估标准。
产品力:通过对虚拟数字人技术、美术两个主要层级,双指标确定虚拟数字人制作标准。其中,技术指标不仅包括虚拟制作人相关的语音、图像、渲染技术,而且包括虚拟数字人运营相关的内容生产、交互技术等,从语音合成能力、内容生成效果、渲染能力、角色生成效能、交互能力五个方面,将技术指标进行细化,对虚拟数字人进行分级评估。美术评估指标,则是由角色造型辨识程度、模型精度与骨骼绑定、场景适配度,在虚拟数字人人物设定以及世界观构建等基础上,结合应用场景,考虑交互反馈,衡量毛发质感、布料质感、肢体动作及微表情的精度和流畅度。
传播力:通过对全网数据(包括但不限于大型门户网站、新闻媒体网站、自媒体平台、新媒体平台等)监测,以及新浪微博、bilibili、快手、抖音、小红书、虎牙、爱奇艺七大平台的营销效果数据进行分析,衡量虚拟数字人与品牌的粘合程度,是否对品牌宣传,产生正面影响以及正面影响程度。
社会力:通过对全网数据的分析,进行IP的社会责任度分析,是否对行业发展以及政策制定具有推动作用。

图2中国传媒大学虚拟数字人评估标准

2022年中国虚拟数字人影响力指数人气榜

虚拟偶像

TOP 1

星瞳

2018年3月,作为“QQ炫舞”手游NPC首发

角色定位:虚拟代言人、时尚博主、歌手、UP主

所属:腾讯

TOP 2

洛天依

2012年3月公开,成为全球首个中文虚拟歌手。

角色定位:虚拟歌手

所属:上海禾念信息科技有限公司

TOP 3

A-SOUL女团

2020年11月,作为乐华娱乐首个虚拟偶像团体出道。

角色定位:虚拟偶像

所属:乐华娱乐

虚拟主播


TOP 1

央视网小C

2021年,首次亮相于央视网两会特色节目《两会C+真探》,先后参与全国两会、东京奥运会、北京冬奥会报道。

角色定位:数字虚拟主播

所属:央视网

TOP 2

新华社小诤

2021年6月,全球第一位数字宇航员小诤正式亮相。

角色定位:数字宇航员、新华社数字记者、中国算力大会数字推荐官

所属:新华社

TOP 3

AI王冠

2022年在央视作为央视首个AI超仿真主播推出,具备超自然语音、超自然表情,由中央广播电视总台财经评论员王冠1:1真人驱动。

角色定位:虚拟主播

所属:央视


数字员工


TOP 1

EASSY

2022年6月,网易推出国内首个超写实数字人科技博主,同时为网易新闻首席创造官。

角色定位:科技博主

所属:网易

TOP 2

爱加

2021年由科大讯飞推出,先后为两会虚拟助手、冬奥会虚拟志愿者、科大讯飞企业代言人等。

角色定位:数字员工

所属:科大讯飞

TOP 3

海尔兄弟

2023年,由海尔集团联合世优科技推出,作为海尔集团全新的企业代言人。

角色定位:数字员工

所属:海尔集团


表52022年中国虚拟数字人影响力指数人气榜
来源:2022年度《中国虚拟数字人影响力指数报告》,华商元宇宙服务中心整理
集聚北上广浙,行业指数稳步增长
截止查询日2023年7月26日,在天眼查搜索“虚拟数字人”,可以查询相关注册公司共有58397家,通过对A股虚拟数字人概念股相关公司统计分析,在北京、上海、广东和浙江的虚拟数字人相关上市公司近八成。

图表1 A股虚拟数字人概念股公司区域分布
2023年上半年,随着国民经济的全面复苏,虚拟数字人赛道呈现出正向上升态势,伴随着整体经济回暖现象,赛道内投融资事件持续增加,公开数据显示,仅2023年上半年,全国虚拟数字人领域内投融资超过四十余起,金额达数亿元,在A股市场,虚拟数字人概念指数板块,2023年上半年涨幅为44.74%。

2023年上半年虚拟数字人主要融资一览图

序号

时间

公司名称

行业

融资轮

金额

投资方

1

2023-06-27

惟妙数智人

元宇宙

天使轮

未透露

元昊投资、赫翔集团

2

2023-06-09

八点八数字

元宇宙

A轮

数千万人民币

动平衡资本、多家知名投资机构

3

2023-06-07

FOCO

元宇宙

天使轮

数千万人民币

创新工场

4

2023-05-23

方糖星球

工具软件、元宇宙

天使+

数千万人民币

凯辉基金

5

2023-03-06

奥丁科技

前沿技术、元宇宙

Pre-A轮

未透露

毅达资本

6

2023-03-05

优途悦享

农林牧渔、元宇宙

种子轮

未透露

未透露

7

2023-02-17

聆心智能

前沿技术、元宇宙

Pre-A轮

未透露

无限基金SEE Fund、连星资本、图灵创投、智谱AI


表6 2023年上半年虚拟数字人主要融资一览图
技术驱动法律,专业成就未来