随着内容创作智能化需求的爆发，长时长、高质量数字人视频生成始终是行业痛点。近日，字节跳动商业化 GenAI 团队联合浙江大学推出商用级长时序音频驱动人物视频生成模型 ——InfinityHuman，打破传统音频驱动技术在长视频场景中的局限性，开启 AI 数字人实用化新征程。
从静态图像到动态视频：
音频驱动的 "数字复活术"
只需提供一张人物图像与对应音频素材，InfinityHuman 就能自动生成连贯自然的高分辨率长视频：无论是 30 秒的产品快推、还是 3 分钟的演讲致辞，均能实现专业级呈现。技术团队演示中，仅凭一段音频即可让电影中的人物复活 " 为动态数字人，视频效果生动自然，肢体动作与语音节奏高度同步。
该图由 AI 生成
核心突破：攻克长视频两大技术难关
InfinityHuman 的关键优势在于创造性解决了长期动画中的两大核心难题：
商用场景全面落地，推动数字人技术实用化
从项目主页展示的案例来看，InfinityHuman 已实现多场景商用级应用：
技术细节与更多展示
如需了解更多技术细节和效果演示，可访问：
方法概述
如图所示，InfinityHuman 是一个统一框架，旨在通过单张参考图像、音频和可选文本提示生成长时间、全身的高分辨率说话视频，确保视觉一致性、精准唇同步和自然手部动作。该框架采用 “由粗到细” 策略：先通过低分辨率音视频生成模块得到含粗略动作的低分辨率视频，再由姿态引导细化模块结合低分辨率视频和参考图像生成高分辨率视频，同时引入手部校正策略提升手部动作的真实感与结构完整性。
低分辨率音视频生成模块基于 Flow Matching 和 DIT，融合参考图像、文本、音频等多模态信息，通过多模态条件注意力机制增强音频与视觉的对齐；姿态引导细化模块利用参考图像作为身份先验，结合低分辨率视频及其姿态序列，通过前缀潜变量参考策略和姿态引导确保长时生成中的时序连贯性与外观一致性；手部特定奖励反馈学习则针对手部易出现的畸变问题，利用预训练奖励模型进行偏好微调，提升手部结构的合理性与真实感。
实验结果
实验结果表明，InfinityHuman 在音频驱动全身说话视频生成任务中表现优异。在 EMTD 和 HDTF 数据集上的评估显示，该方法在视觉真实感（FID）和时序连贯性（FVD）指标上均优于 FantasyTalking、Hallo3 等主流基线方法，生成视频的整体质量显著提升。身份一致性方面，通过姿态引导细化模块有效维持了与参考图像的相似度，解决了长时生成中的外观漂移问题。针对手部生成这一难点，手部特定奖励反馈学习显著提升了手部关键点的准确性，减少了手指畸变、关节异常等常见问题，尤其在复杂手势场景中表现稳定。
消融实验进一步验证了核心模块的有效性：移除姿态引导细化模块会导致视觉质量下降、身份一致性减弱，视觉细节模糊且时序连贯性降低；取消手部奖励机制则使手部关键点精度下降，手部失真现象明显增多。
综合定量指标和定性分析，InfinityHuman 在高分辨率、长时长视频生成任务中实现了真实感、一致性与动作自然度的全面提升。
字节跳动 VIVID Avatar 团队：深耕音视频数字人技术，推动AI生成走向实用化
作为字节跳动旗下专注于音视频数字人生成的研发力量，商业化 GenAI 的 VIVID（Voice Integrated Video Immersive Digital）Avatar 团队始终站在技术前沿，致力于突破音频与视觉融合的技术边界。团队以 “让数字人更鲜活、更实用” 为目标，在语音合成与视频生成两大方向持续深耕，形成了从基础研究到商业化落地的完整技术链路。