hat爆火,天娱数科虚拟人突破落地

2022 年以来AIGC 应用多点开花,继AI绘画之后又一款应用爆火出圈。

11 月30 日,OpenAI 上线了全新聊天机器人模型ChatGPT,因其高质量的回答、高效获取信息的方式、以及上瘾式的交互体验,迅速引起了社交媒体的广泛传播与关注,上线不到一周用户突破100万,火爆全网。从玩梗、写诗、写剧本,到给程序找bug,帮人设计网页,甚至帮你生成AIGC的提示词,ChatGPT一副无所不能的样子。埃隆马斯克(Elon Musk)也在感叹:“很多人疯狂地陷入了ChatGPT循环中,我们离强大到危险的人工智能不远了。”

随着深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,AIGC 有望加速发展,成为多产业智能发展新引擎。业内人士表示,ChatGPT 模型的出现对于文字模态的AIGC 应用具有重要意义,相关受益应用来看,包括但不限于代码机器人、小说衍生器、对话类搜索引擎、语伴、语音工作助手、对话虚拟人等。

日前,天娱数科(002354)接续双11穿越式虚拟主播天团,推出真人复刻AI虚拟人。正是此前与李秒珍、包包善、特离谱一起完成虚实直播互动的美妆达人“大宣”,拥有50W粉丝的她,这一次迎来了自己的数字分身。“大宣”将自身的底层美妆数据系统与AI图像生成技术相结合,通过视频+直播的方式与用户进行互动,不仅为大家带来熬夜护肤、高颜值彩妆、运动不脱妆等系列美妆小课堂与优质产品推荐,同时借助AI虚拟人实7*24小时在线,补充进行美妆知识、热点话题等趣味分享播报。

AIGC、美妆、虚拟人三大元素结合,不仅创造了美妆直播领域新体验。同时,标志着天娱数科在虚拟人+AIGC标准技术解决方案突破落地,自此完成身份型虚拟人与服务型虚拟人两大市场全面布局。根据《量子位虚拟数字人深度产业报告》,在2030年我国虚拟数字人整体市场规模将达到2700亿,其中身份型虚拟数字人约1750亿,服务型虚拟数字人总规模超过950亿。

从2014年起,伴随着生成对抗网络(GAN)这一AI算法的不断进化,以及NLP(Natural Language Processing,自然语言处理)技术的发展,人工智能生成文本、图片、视频以及三者跨模态相互转化方面的技术不断突破。对人工智能而言,要更为精准和综合的观察并认知现实世界,就需要尽可能向人类的多模态能力靠拢,业内将这种能力称为多模态学习MML(Multi-modal Learning),比如,跨模态理解:通过结合街景和汽车的声音判断交通潜在危险;跨模态生成:在参考其他图画的基础上命题作画;触景生情并创作诗歌等。其中,虚拟人正是多模态生成技术的聚合表现。

天娱数科基于Meta-Surfing元享SaaS平台4大引擎,生产引擎、驱动引擎、技能引擎、数据引擎,利用人脸建模、形象驱动、语音合成、语音识别、语义理解、图像处理等多项人工智能技术,优化解决虚拟数字人表情&声音自然度、问答理解沟通力、实时交互能力等行业难点问题,从而实现了数字人的“可看、可听、可互动”。天娱数科独创的实时AI虚拟人,具备拟真度高、实时互动、支持低成本低门槛应用等优势,将广泛应用于短视频生产与电商直播领域。

(1)2分钟视频采集,实现1:1真人复刻

基于创新性模型结构和训练方法,以及应用场景等方面考虑,天娱数科选择独家自研复刻真人技术路线。仅需对被采集人员进行面部、肢体动作、声音三个维度的2分钟数据拍摄采集,即可实现1:1高精度还原的虚拟数字形象生成,不仅脸型和五官形状非常贴合,而且具有毛孔、唇纹、毛发级别的细节。与普通的形象还原生成不同的是,利用自研AI技术可对人物的面部、声色、声音、动作进行1:1的还原与复刻,可达到以假乱真的效果。助力短视频创作者、品牌商家24小时低成本低门槛开播。

(2)声音、表情、动作多维度提升虚拟数字人拟真度

在AI虚拟人应用场景中,短视频生产、电商直播、AI陪伴等等领域,虚拟人的拟真度决定了商业化应用成熟度。因此,天娱数科AI围绕语音合成逼真度、表情自然度、动作自然度,多维度提升拟数字人拟真度。

① 声音克隆:基于AI深度神经网络模型,智能提取真人声音的音色特征、口音特点和韵律节奏,并通过快速学习,复刻合成AI人声。合成的语音流畅、自然、清晰,没有机械感。

② 表情精雕:天娱数科利用3D虚拟人生成技术与数据积累优势,通过全球领先的MagicBall 动态光场扫描建模设备以及400㎡自建动捕棚,完成百万条面部、表情、肢体、动作、声音等大量高精度、高质量数据,精细度可达到说话时的唇动、表情、面部肌肉变化细节等,以此赋能2D AI虚拟人实现3D化。从此,让AI虚拟人摆脱“面瘫脸”。

③ 动作丰富:基于上述数据库,天娱数科支持正常播报和交互动作,并在动作库里为各个应用场景添加了场景特性动作,使虚拟人生动自然。使2D数字人做到可跳、可转身。

(3)AI虚拟人内容实时智能合成

最后,通过Meta-surfing元享SaaS平台内置的内容创作模块。支持用户上传文本,一键实时驱动数字虚拟分身生成内容播报与多类型动态视频。根据文本语义,虚拟形象可实时匹配对应的肢体动作,满足用户对内容标准化、个性化、批量化的视觉内容生产需求,适用于不同平台视频发布需求,大大提高了内容生产效率。

此外,应用于7x24小时互动直播,用户仅需上传直播脚本即可使用户代替主播完成7x24小时的无人值守直播,虚拟数字形象可通过对直播中粉丝所提出的问题与互动内容,实时与粉丝进行应答互动与才艺表演等多类型的内容输出,解决了企业日常直播中因主播流失、直播状态差、人力成本高等多元化因素所带来的困扰。

天娱数科副总经理贺晗表示,AIGC提高了数据要素的生产力,并且随着产品的应用以及用户数据的增长,将会反过来促进模型的优化。未来,不论是做元宇宙还是虚拟数字人,最缺少的就是数据,特别是高精度、高质量数据,数据决定着产品质量。

同时,任何新技术的核心价值都是场景下的创新应用,虚拟人+AIGC也不例外。

天娱数科AI虚拟人,主要应用在虚拟客服、虚拟老师、虚拟主播、虚拟医生、虚拟导游、虚拟政务等领域。特别在短视频生产、虚拟直播带货、直播间客服等具体场景,天娱数科拥有天然的数据流量优势与行业Know-How。

天娱数科落地了全国首家以数据流量为特色的数字经济园区——山西数据流量生态园,吸引了包括数字物流、数字能源、数字零售等10余个数字经济细分领域近350家企业入园;聚焦抖音、快手两大平台,在重庆、郑州、太原、北京等地建立了短视频基地,并拥有第一梯队的直播运营服务品牌。之于AI行业来说,Know-How至关重要。依托大规模机器学习和个性化丰富素材库,大宣数字人仅训练1天即达到上岗要求。

目前,天娱数科已实现消费级个人虚拟主播解决方案、专业影视动画级动捕解决方案、AI虚拟人直播解决方案,从行业企业、专业媒体机构,到MCN机构、个人主播,都有相应的产品可以适配,实现快速、标准化复用。从穿越式虚拟直播,引领行业从静态图片展示的1.0阶段、以体积视频为代表的2.0阶段,加速进化至超写实实时直播的3.0阶段。到大宣的AI数字分身落地,天娱数科顺应数字人的智能化趋势,逐步丰富底层能力,释放更多的行业价值。

元宇宙作为数字世界的终极梦想,凭借其虚实结合的魅力重塑着各行各业。天娱数科将聚焦数字经济,持续深耕数字人领域,依托元享平台积累的海量数据,打磨跨模态智能算法,扩大元宇宙底层技术创新应用,探索虚拟人+AIGC 的应用模式,扩展元宇宙技术创新应用领域,尝试在不同行业进行更多的突破,为人们带来更多突破想象力的美好体验。(CIS)

THE END
0.a16z最新报告:AI数字人应用层即将爆发,或将孕育数十亿美金市场目前,AI 数字人还无法与周围环境互动。近期一个可行的目标是使它们能够在广告中展示产品。Topview在这方面已经取得了一些进展(请参考以下视频,了解他们的实现过程和效果),我们期待着随着模型技术的不断提升,能够实现更多互动功能。 更多实时应用 未来,AI 数字人将在实时互动领域拥有广阔的应用前景。 例如,我们可以与 jvzquC41zkk/kwkqs0io1jwvkerf1lie3h;ehnk577?1:<;25e;4g9
1.平台完成行业首个超400万面高精度模型实时互动直播引领虚拟人进入穿元境科技在完善AI智能生成虚拟形象技术的同时推出了首个虚拟人智能生成与驱动的Saas平台-元享,在解决了高效生成数字虚拟形象的同时聚合了多类型化的驱动方式,满足对虚拟人日常的视觉化内容生成与输出:口播内容生成、线上互动直播、多IP实时互动、影视内容制作、游戏角色动画生成等。利用自研Saas平台中聚合自研算法与驱动jvzquC41hktbplj0gcyuoxsg{0ipo8f14283397847:13A::464ivvq
2.「奇妙元」实现技术新突破:AI数字人自如行走,逼真度再升级!随着通过结合「魔音工坊」的多样化发音人和「奇妙元」的实景行走数字人技术,我们成功塑造一个具备自由行动能力和掌握多音色多语言的AI数字人。这一创新成果将在多个行业中发挥重要作用,推动行业进步和革新。 教育领域的个性化教学 在教育领域,AI数字人能够作为数字导师,提供个性化的学习体验。通过定制化的学习计划和互动式教学jvzquC41zwkrk~3eqo57;?:65593387:;7997;=
3.【培训课件】AI数字人实时互动技术在文旅场景中的创新应用.pptxAI数字人实时互动技术在文旅场景中的创新应用 数字人技术原理数字人的定义以及wav2lip模型的训练过程,和模型所有的优势02前言介绍从2019年开始创办贵州猿创科技到现在从事数字人的研发。01数字人+文旅场景文旅景区的痛点,以及为什么要选择文旅作为第一个业务板块03系统体验与展示展示技术细节,体验文旅数字人的功能情况。jvzquC41oc~/dxtm33>/exr1jvsm1;5471672;4726:44;7632734:90ujzn
4.即构科技AI数字人伴学赋能千人大班课,实现个性化1对1互动现今基于即构AI数字人伴学互动方案能力,老师可以在授课中灵活插入多个随堂演练环节,数字人老师可以在大班课上与所有学生同时展开 1 对 1 的口语互动,并根据回答即时给出个性化的纠错、引导和鼓励。 依托AI Agent 技术,AI数字人老师具备实时语音纠错能力,能够在学生用英文作答时即时指出发音或语法问题,并配合口型示范jvzquC41iculcx3gqn4dp8l|z{5zzmy142862B4v42862B53a4<99>:40unuou
5.AI数字人交互系统开发智慧迎宾实时交流3D建模人机互动系统开发采用手势识别算法和表情识别算法,解析用户的动作和表情含义,使数字人能够根据用户的肢体语言进行互动,如用户挥手时,数字人挥手回应;用户皱眉时,数字人询问是否遇到问题。 2.3 实时渲染与优化技术 为确保数字人在实时交互过程中的流畅展示,采用实时渲染引擎,如 Unity 或 UnrealEngine。通过优化模型面数、纹理压缩、LOD(jvzquC41o0726?<0eqs0r{tfwez0f=64399697mvo
6.龚俊数字人“霁风”正式面世蔚海灿娱打造具有全球影响力的数字人以霁风为例,首先,他已经具备了领先行业的超高写实度效果,为与用户的互动提供了“真实”属性;其次,“霁风”制作将实时渲染能力融入数字人制作管线当中,在保证高写实度的前提下,将数字人制作效率大幅提升;再次,霁风采用了实时引擎进行输出,保证了后续所有内容均可完成实时渲染,这也就意味着他能够与用户进行实时的交流jvzquC41yy}/frfpmgpj0lto1pkxu8;465
7.千元内就能“专属”6元就有AI分身陪聊数字人离大众越来越近了本报记者 赵语涵 人工智能公司小冰上线首批明星网红数字克隆人,内测用户以每月6元的价格可与网红AI克隆人互动聊天;4月,腾讯云公布小样本数智人生产平台,花费千元可自行制造数智人;创业公司聚力维度近期计划在商城上线数字人主播,千元以内即可获得能实时捕捉真人主播表情动作的虚拟数字人……元宇宙、大模型等板块火热让数字人产业不断升温、技术jvzquC41uqijg}~0fd}/ew4u{uzfo8724551886712;:3>62484tj}rn
8.深度解析:打造基于大型模型的实时互动3D数字人当然,此刻运行的数字人是无法互动的,原因是她目前只有“躯体”,还缺乏真正的智慧告诉她怎么与你互动,这也就是后端的数字人控制器。 PART 03 赋予智慧:构建数字人的控制器 我们把前面的基本原理图稍稍细化下,这里的黄色部分就构成了数字人的控制器: 控制器作为数字人的大脑中枢,承担着借助各种AI技术来与真实人类完jvzquC41dnuh0lxfp0tfv87623e96;5642=0c{ykenk0fnyckny03=6::7=13
9.构建AI实时音视频互动声网这套方案听看思说样样精通声网作为全球实时互动云行业的开创者,在音视频领域积累了深厚的技术优势与场景实践,通过与客户在 AIGC 场景的深度合作,探索出了一套实时多模态对话式 AI 解决方案,该方案以语音为核心,支持视频扩展,实现文本/音频/图像/视频的组合输入&输出,通过丰富的功能构建真实、自然的AI语音交互体验。 jvzquC41pg}t0v~ftk|ft|3eqo521:5241712;5::0nuo
10.“数字人”鏖战5大跨年晚会,AR/XR虚拟技术2023年将惊艳破“圈在互动节目《制造浪漫》中,以沈梦辰、范世琦为原型的虚拟人康康和果果,首次实现两个数字人同框互动,每个机位都配备了虚实融合系统来渲染和播控虚拟人。表演采用全流程实时驱动技术,包括高精度实时动捕、实时面捕、实时灯控系统、AR实时渲染等,并结合特效与粒子效果,极大地提升了数字人的实时展示效果。 jvzquC41yy}/f6ftvu4dp8ftvkimg8ftvkimghnphq5lg‚4OVK}OFV5OFi;OFnI56nptL‚5ey0nuou