近日,京东创始人刘强东化身「采销东哥 AI 数字人」,在京东家电家居和超市的采销直播间开启了自己的直播首秀。此次直播活动观看人次超 2 千万,交易总额超 5 千万,充分彰显了AI 数字人在电商直播领域的巨大潜力。
「采销东哥」亮相京东超市采销直播间
图源:观察者网
据了解,「采销东哥 AI 数字人」通过对刘强东的形象与声音进行学习、训练,可以准确展现其个性化表情、姿态、手势、音色特质等,在 120 秒内难以肉眼分辨数字人和真人之间的差异。
IDC 曾在《中国 AI 数字人市场现状与机会分析 2022 》中表明,预计到 2026 年中国 AI 数字人市场规模将达到 102.4 亿元。不得不说,AI 数字人可复制、成本低、还能 24 小时不间断工作,将其应用在自媒体运营、短视频带货、数字人播报等场景,协助人类完成多种任务,或许将会成为未来的一大趋势。
在该领域,语音驱动的说话人视频合成技术 (Audio-driven Talking Face Generation) 是一个热门话题。基于该技术,只需要输入一段语音片段,就能构建出目标人脸的说话视频,进而帮助目标人物出席一些真人不便或无法出现的场景。其中,GeneFace++ 作为一种通用且稳定的实时音频驱动 3D 说话人脸生成技术,通过改进唇形同步、视频质量和系统效率,首个实现了实时说话人的生成。
具体来说,GeneFace++ 分别对音频到运动模块、即时运动到视频模块进行独立训练。在训练过程中,涉及音频与面部运动的映射学习、域适应性的迁移学习,以及 landmark 驱动的 3D 人像实时渲染技术学习等,最终使模型具备根据任意音频生成高质量、实时、唇音同步的 3D 说话人脸视频的能力。
然而,创造一个逼真的唇音同步数字人并非轻松之事。为了帮助初学者快速上手并避免常见的环境搭建和技术难题,HyperAI超神经上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,简化数字人的制作流程,您无需担心环境配置、硬件需求和版本兼容等问题,点击克隆即可一键启动,效果非常真实!
HyperAI超神经公共教程地址:
前期准备
Demo 运行
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):
效果展示
3.在 GeneFace++ 界面中,左侧上传音频,中间模块的参数部分先无需修改。
目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。