彻底火了!天娱数科穿越式虚拟直播天团登上热榜!

“虚拟直播”、“穿越带货”

近日,天娱数科旗下穿越式虚拟主播集体空降新锐护肤品牌蔻之初直播间,凭借创新直播带货模式杀出流量重围,以话题#虚拟人穿越直播间打工#占据了抖音热榜前排,曝光达千万级别。穿越古今、打破次元的沉浸式直播模式,得到了众多网友的交口称赞,获得高赞的几条评论纷纷表示“真的是虚拟人吗?好真实,皮肤、皱纹都很清晰”、“包包善太搞笑了,以后无法直视包大人了”、“不愧是神医,直播间里学知识”。

据蔻之初后台数据统计,穿越式虚拟人直播期间,在线人数平均峰值2W+,平均观看时常增长20余倍,为品牌在用户触达阶段发挥巨大引流作用与留存作用,而虚拟主播和真人主播默契互动,更是爆梗不断。

相较于常见的二次元虚拟人直播,或是只能在深夜时段作为真人直播补充的虚拟人客服,天娱数科穿越式虚拟直播实现了超写实虚拟人实时直播。

听起来简单,实际上背后隐藏着超写实虚拟数字人在制作、应用落地方面的一连串技术难题。

首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式

探寻虚拟数字人的落地瓶颈,还需从它的生产制作流程看起,建模、驱动和渲染。

虚拟人静态图片1.0模式:传统方式,手工制作

传统手工建模方式,其背后是动画师们手工一帧一帧的精修渲染,制作流程十分耗时,产能低。因为该种建模方式的成本主要跟人力相关,建模的精度要求越高,虚拟人越逼真、越精细,所需的建模时间与成本就会越高。这也是超写实虚拟数字人制作高门槛、高投入,难以普及化、批量化的原因。

通过传统手工方式建模的超写实虚拟人,通常以静态图片形式呈现,比如,某高知名度的虚拟偶像,一张神颜“证件照”就刷屏了,但公布的也只是一张图片。

虚拟人动态视频2.0模式:离线渲染,影视合成

即使投入高成本、大量时间完成超写实虚拟数字人的前期建模,受限于后续的驱动、渲染环节,应用场景也有限。超写实的虚拟人无法在普通的电脑端直接进行驱动,需要动用众多专业机器,甚至其渲染都需要专用网络来进行,比如现在有些地方建有渲染农场。这种模式通常是通过离线渲染,提前录制以体积视频形式展现。

如果将元宇宙简单定义为3D版本的互联网,其特征为始终实时3D,高度交互、高度社交和持续稳定。那么无法满足实时性与交互性特点的超写实虚拟数字人,依旧没有真正发挥虚拟数字人的应有价值。

虚拟人超写实实时直播3.0模式:AI赋能

天娱数科通过对虚拟数字人的全链路生产过程的深刻理解推出3.0阶段智能技术解决方案,以自研AI算法解决各环节因周期长、成本高、效果参差不齐的实际痛点。对时间、成本、效果三个技术维度进行优化与解析。以AI打造数字资产制作的流水线,才能够大规模生产高质量的虚拟内容,带动整个行业加速发展。

建模环节,通过动态光场扫描建模技术,利用MagicBall 对被采集人进行360°的全方位重光照扫描,生成数字形象效果可豪亚米级别,可见面部毛孔、细纹等超清细节,在效果与精度上达到超写实制作标准。

同时在效率上,相较于传统面部的复原与建模制作至少2-3周的制作时长,天娱数科通过AI智能形象生成算法与智能捏脸算法,仅用1天即可完成形象面部、肢体、服饰的一站式生成,同时可对虚拟形象的过百项身体数据进行多元化编辑与调整。

绑定环节,利用自研的智能绑定算法,实现一键高精度的面部与身体骨骼绑定,保障了虚拟形象在驱动生成内容时,面部与肢体动作的自然与传神。智能毛发解析渲染算法,可高品质对毛发进行细致化渲染,使其展现效果可1:1还原真人毛发质感,提升模型整体精细程度。

此外,AI算法表情驱动,实现情感的真实传递。通过自研面部表情驱动智能算法,在直播期间可实现面部细微表情的高速传递与智能修正。

在完善AI智能生成虚拟形象技术的同时,天娱数科紧紧依托数据、算法、场景三大核心优势,聚焦全真互联网应用场景,集成三维重建、渲染、光线追踪、深度学习超级采样、姿态表情模拟、高保真视频流压缩等自研算法,推出了Meta-Surfing元享SaaS平台,为用户在元宇宙中的数字身份塑造、元世界打造提供数据与算法服务,实现了云端渲染、交互驱动、智能计算、数据开放与数字资产流通。通过平台内置的面部表情实时驱动技术、光线智能追踪与分布式智能云端渲染三项辅助智慧功能,真正实现了高精度模型在直播中的低延时与人场高度融合的完美结合。

目前,天娱数科完成了行业首个超400万面高精度模型的实时互动直播。

以AI为技术支点,通过Meta-Surfing元享SaaS平台驱动“高质量、低成本、短周期”的虚拟数字人与虚拟内容生产,实现超写实、沉浸式实时互动,并通过AIGC方式辅助完成虚拟人日常视觉内容以及口播内容的生成与输出。真正引领行业从以静态图片广告为展现形式的1.0模式、以及以动态视频为为代表的2.0模式,加速进化至超写实实时直播的3.0模式。

建模、驱动及渲染等数字技术的融合发展,轻量化、高效便捷的平台工具,有助于拓宽数字人的应用场景。

依托Meta-Surfing元享SaaS平台,天娱数科陆续接入了地方文旅、知名游戏、国民运动品牌、明星艺人、品牌营销等多个领域头部客户,链接起元宇宙娱乐、元宇宙营销、元宇宙教育、元宇宙办公、元宇宙直播等丰富的应用场景。

穿越式虚拟直播 引领直播带货3.0阶段

直播带货从2016年兴起至今,在大多数人的印象中,带货主播都是在扯着脖子喊:OMG买它、买它;三二一开抢。

直播带货1.0阶段,以卖场压迫式直播风格为代表,撬动消费的手段是价格。直播间拼的是价格、是供应链。

“诗和远方”开启直播带货2.0阶段,鸡汤式直播。靠的是文化、故事去带动销量。

“买买买!压迫式直播最初让消费者尝到了低价折扣的甜头,但久而久之这种简单粗暴的内容让人们产生了审美疲劳;鸡汤模式让人们耳目一新,获得了消费者热捧。但这种独角戏说道能持续多久?毕竟直播与一般演出不一样,它的超长时性、观众重复性都要求内容更换频次快,一个人知识是有限的,词尽人烦的审美疲劳会不会再次到来?”天娱数科副总经理贺晗表示,“正是基于这种考量,我们公司利用虚拟数字人技术,打造出直播带货3.0模式,通过时间穿越,引进了一些历史人物,如李时珍、包拯;通过空间穿越,引进了一些世界知名人物。这些历史人物、知名人物进入直播间,使直播间人物实现了多元,使直播间对话内容更加丰富,使直播间观众新奇感更加浓厚。”

直播带货3.0阶段,穿越式虚拟直播的沉浸式体验+内容,回归直播“实时内容生产”的模式本质,以内容撬动消费价值,消费者为内容和产品双料买单。

从豆蔻成为聊到诗词,从传统文化谈到人生哲学……天娱数科利用穿越式虚拟主播自身IP属性以有价值、有趣味的PGC内容为核心,融合中国文化、美妆护肤等元素,突破固有的直播带货模式,吸引用户驻足。

此外,穿越式虚拟直播在虚拟人直播基础上,叠加了穿越属性,在内容上又增加了一种魔幻现实的演绎,配合道具、特效,不断丰富互动形式,直播间整体效果更强。同时,穿越式虚拟主播自带IP效应,不仅话题更容易营造反差效果,更降低了用户认知与运营成本。

同时,穿越式虚拟直播承担着链接品牌与消费者的中间者角色。

在国货势头正猛的当下,穿越式虚拟主播在属性上与国货美妆、中医药、国潮服装等多达38个消费品类天然匹配,能更好的品牌意识传递给消费者,具有更大发挥空间。

而在消费者层面,Z世代正在成为炙手可热的下一代“金主”,有着更突出的虚拟情怀,对于虚拟直播的接纳度无疑也更高。

虚拟直播时代,天娱数科穿越式虚拟直播“出圈”是基于对新时期消费者需求的精准洞察,更是背后技术实力的完美呈现。

“我们在打造直播带货3.0模式同时,也拓展了元宇宙技术的应用,这正是元宇宙发展的难点,”贺晗说,“国际上一些大公司投入百亿研究技术,但缺乏应用场景,酿成巨亏,裁员万余人。相反,我们公司在研究数字人技术同时,不断研究拓展数字人应用领域,不断给技术投资找出变现点,这就是我们公司的价值所在。”

Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

THE END
0.a16z最新报告:AI数字人应用层即将爆发,或将孕育数十亿美金市场目前,AI 数字人还无法与周围环境互动。近期一个可行的目标是使它们能够在广告中展示产品。Topview在这方面已经取得了一些进展(请参考以下视频,了解他们的实现过程和效果),我们期待着随着模型技术的不断提升,能够实现更多互动功能。 更多实时应用 未来,AI 数字人将在实时互动领域拥有广阔的应用前景。 例如,我们可以与 jvzquC41zkk/kwkqs0io1jwvkerf1lie3h;ehnk577?1:<;25e;4g9
1.平台完成行业首个超400万面高精度模型实时互动直播引领虚拟人进入穿元境科技在完善AI智能生成虚拟形象技术的同时推出了首个虚拟人智能生成与驱动的Saas平台-元享,在解决了高效生成数字虚拟形象的同时聚合了多类型化的驱动方式,满足对虚拟人日常的视觉化内容生成与输出:口播内容生成、线上互动直播、多IP实时互动、影视内容制作、游戏角色动画生成等。利用自研Saas平台中聚合自研算法与驱动jvzquC41hktbplj0gcyuoxsg{0ipo8f14283397847:13A::464ivvq
2.「奇妙元」实现技术新突破:AI数字人自如行走,逼真度再升级!随着通过结合「魔音工坊」的多样化发音人和「奇妙元」的实景行走数字人技术,我们成功塑造一个具备自由行动能力和掌握多音色多语言的AI数字人。这一创新成果将在多个行业中发挥重要作用,推动行业进步和革新。 教育领域的个性化教学 在教育领域,AI数字人能够作为数字导师,提供个性化的学习体验。通过定制化的学习计划和互动式教学jvzquC41zwkrk~3eqo57;?:65593387:;7997;=
3.【培训课件】AI数字人实时互动技术在文旅场景中的创新应用.pptxAI数字人实时互动技术在文旅场景中的创新应用 数字人技术原理数字人的定义以及wav2lip模型的训练过程,和模型所有的优势02前言介绍从2019年开始创办贵州猿创科技到现在从事数字人的研发。01数字人+文旅场景文旅景区的痛点,以及为什么要选择文旅作为第一个业务板块03系统体验与展示展示技术细节,体验文旅数字人的功能情况。jvzquC41oc~/dxtm33>/exr1jvsm1;5471672;4726:44;7632734:90ujzn
4.即构科技AI数字人伴学赋能千人大班课,实现个性化1对1互动现今基于即构AI数字人伴学互动方案能力,老师可以在授课中灵活插入多个随堂演练环节,数字人老师可以在大班课上与所有学生同时展开 1 对 1 的口语互动,并根据回答即时给出个性化的纠错、引导和鼓励。 依托AI Agent 技术,AI数字人老师具备实时语音纠错能力,能够在学生用英文作答时即时指出发音或语法问题,并配合口型示范jvzquC41iculcx3gqn4dp8l|z{5zzmy142862B4v42862B53a4<99>:40unuou
5.AI数字人交互系统开发智慧迎宾实时交流3D建模人机互动系统开发采用手势识别算法和表情识别算法,解析用户的动作和表情含义,使数字人能够根据用户的肢体语言进行互动,如用户挥手时,数字人挥手回应;用户皱眉时,数字人询问是否遇到问题。 2.3 实时渲染与优化技术 为确保数字人在实时交互过程中的流畅展示,采用实时渲染引擎,如 Unity 或 UnrealEngine。通过优化模型面数、纹理压缩、LOD(jvzquC41o0726?<0eqs0r{tfwez0f=64399697mvo
6.龚俊数字人“霁风”正式面世蔚海灿娱打造具有全球影响力的数字人以霁风为例,首先,他已经具备了领先行业的超高写实度效果,为与用户的互动提供了“真实”属性;其次,“霁风”制作将实时渲染能力融入数字人制作管线当中,在保证高写实度的前提下,将数字人制作效率大幅提升;再次,霁风采用了实时引擎进行输出,保证了后续所有内容均可完成实时渲染,这也就意味着他能够与用户进行实时的交流jvzquC41yy}/frfpmgpj0lto1pkxu8;465
7.千元内就能“专属”6元就有AI分身陪聊数字人离大众越来越近了本报记者 赵语涵 人工智能公司小冰上线首批明星网红数字克隆人,内测用户以每月6元的价格可与网红AI克隆人互动聊天;4月,腾讯云公布小样本数智人生产平台,花费千元可自行制造数智人;创业公司聚力维度近期计划在商城上线数字人主播,千元以内即可获得能实时捕捉真人主播表情动作的虚拟数字人……元宇宙、大模型等板块火热让数字人产业不断升温、技术jvzquC41uqijg}~0fd}/ew4u{uzfo8724551886712;:3>62484tj}rn
8.深度解析:打造基于大型模型的实时互动3D数字人当然,此刻运行的数字人是无法互动的,原因是她目前只有“躯体”,还缺乏真正的智慧告诉她怎么与你互动,这也就是后端的数字人控制器。 PART 03 赋予智慧:构建数字人的控制器 我们把前面的基本原理图稍稍细化下,这里的黄色部分就构成了数字人的控制器: 控制器作为数字人的大脑中枢,承担着借助各种AI技术来与真实人类完jvzquC41dnuh0lxfp0tfv87623e96;5642=0c{ykenk0fnyckny03=6::7=13
9.构建AI实时音视频互动声网这套方案听看思说样样精通声网作为全球实时互动云行业的开创者,在音视频领域积累了深厚的技术优势与场景实践,通过与客户在 AIGC 场景的深度合作,探索出了一套实时多模态对话式 AI 解决方案,该方案以语音为核心,支持视频扩展,实现文本/音频/图像/视频的组合输入&输出,通过丰富的功能构建真实、自然的AI语音交互体验。 jvzquC41pg}t0v~ftk|ft|3eqo521:5241712;5::0nuo
10.“数字人”鏖战5大跨年晚会,AR/XR虚拟技术2023年将惊艳破“圈在互动节目《制造浪漫》中,以沈梦辰、范世琦为原型的虚拟人康康和果果,首次实现两个数字人同框互动,每个机位都配备了虚实融合系统来渲染和播控虚拟人。表演采用全流程实时驱动技术,包括高精度实时动捕、实时面捕、实时灯控系统、AR实时渲染等,并结合特效与粒子效果,极大地提升了数字人的实时展示效果。 jvzquC41yy}/f6ftvu4dp8ftvkimg8ftvkimghnphq5lg‚4OVK}OFV5OFi;OFnI56nptL‚5ey0nuou