开通PRO,享受更多专业服务
“AI行业对多模态模型的探索还处于初级阶段。”智谱AI CEO张鹏表示。
7月26日上午,国内AI大模型独角兽智谱AI在北京发布 AI 视频生成技术“清影(Ying)”,支持文生视频、图生视频。并且,清影此次面向所有用户全量上线在旗下“智谱清言”App,无需预约,人人可用。
同时,视频参数方面,清影目前支持生成6秒时长的 AI 视频,分辨率为1440x960。而技术层面,清影并非完全沿用因Sora而成为了某种“共识”的DiT架构,而是“智谱自研的一个将文本、时间、空间三个维度全部融合起来的Transformer架构”。
另外,针对内容连贯性问题,智谱AI自主研发了一套高效的三维变分自编码器结构(3D VAE),能够将原始视频数据压缩至原始大小的2%,显著降低了视频扩散生成模型的训练成本和难度。而在可控性方面,智谱AI打造了一款端到端的视频理解模型,该模型能够为大量视频数据生成精确且内容相关的描述。这一创新增强了模型对文本的理解和对指令的遵循能力,确保生成的视频更加符合用户的输入需求,
目前,CogVideoX 模型目前已在智谱清言的PC端、移动应用端以及小程序端以“清影”功能上线,不仅支持快速生成、高效的指令遵循能力,以及更强的内容连贯性、画面调度灵活性。
具体来说,清言提供文生视频和图生视频两种模式:
文生视频适合用于脑洞大开的场景:小狗在指尖跳舞,海豚飞向深空,宇宙为你闪烁,不论是多么复杂抽象的画面,只要用一两句话描述想象中的场景,清言都能用精美的画面为你一一呈现。
图生视频可以发掘原有图片的更多趣味:输入图片和简单的描述,即可让图片动起来。你可以让旧照片里的人动起来,让回忆更加动感真切;也让名画、剧照里的角色做些脑洞大开的事情。
付费模式层面,首发测试期间,所有用户均可免费使用。而加速时间的话,付费5元,解锁一天(24小时)的高速通道权益;付费199元,解锁一年的付费高速通道权益。
智谱AI CEO张鹏在会上表示,AI 多模态技术来源于人类大脑的工作方式。作为一个复杂的系统认知功能,人类大脑是通过各脑区相互配合完成的,包括文字、视觉、听觉等,所以,多模态的感知和理解与人类认知能力的发展有非常密切的关系,作为一家目标是AGI的人工智能公司,智谱一直以来都非常重视多模态技术。
“AI行业对多模态模型的探索还处于初级阶段,我们还会继续努力,为大家提供更好的模型,更好的产品。”张鹏表示。
张鹏坦言,现有的 AI 视频生成技术无法彻底替代影视行业,更多是辅助的作用,但 AI 对于影视行业的变化是有积极意义的。目前来讲,把AI直接用在面向观众的影视生产过程当中可能还是不太够,最多是做小规模的创作。“如果 AI 真正要达到改变电影的制作等更高要求的任务,可能还得要有一段路去走。”
张鹏认为,目前 AI 视频主要是做线上电商营销、短视频自媒体需求等。“但是,我相信肯定不仅止于这些客户。目前是一个阶段性的东西,下一步往哪个方向发展,哪些事情会成为技术突破、落地应用最关键的问题,需要我们不断形成从上到下、至下而上这样一个闭环。”
谈到 AI 视频生成的商业化,张鹏表示,目前智谱清影的商业化还处于早期,更多是通过API进行付费。
“清影功能上线,就像刚才开场时候给大家介绍一样,主要是阶段性成果,要说它多么完美还不是,还需要阶段性解决,给大家汇报一下我们的进展,让大家体验一下目前视频生成这样的事情在每人可用的前提下能做到什么程度,而不是关在实验室里或者在很小的概率上生成出什么东西。从现在这个阶段来说,无论是2C还是2B,纯粹走向大规模商业化还比较早期。”张鹏称。
张鹏表示,目前视频生成的算力、算法成本都很高。“的确,做大模型这件事太烧钱了,而且确实也面临市场上的需求,你要商业化落地,所以,我们是分层次去做,最基础的技术突破创新是我们消耗资源、算力方面最大的一部分,商业化层面是在这个基础之上推进的。”
张鹏强调,“我相信,所有的友商把这个东西不开放出来,很大程度也是因为成本的问题,顶不顶得住很多人来用,这也是一个选择。”
因此,张鹏指出,如果想要做好 AI 生视频的商业化,可控是必要条件,需要花大力气去做,从而精准表达好创作者的意图。“如果它能够非常好的理解简单文字背后深层次的意图和语义,就能做到很好的可控。”
谈到与Sora的差距,张鹏承认,清影还是一个初步的阶段性成果,目前还达不到像Sora演示的长视频效果,需要做更多的努力。
“我们从来很坦诚,承认我们和OpenAI、世界顶级水平之间的差距。但是,走的这条路还得自己走,我们一直也在走自己的路。很多时候,我们是在不断用自己的方式往前追赶,比如。怎么把视频生成算力成本降下来、响应速度提升上去、让所有人可以用,所以,我们是在追求技术高度的同时,也同步追求技术的可普及性和成本,这也是我们团队的一些特点。”张鹏表示。
谈及与生态公司的竞合关系,张鹏坦言,商业化过程当中,服务客户过程中是智谱技术和产品核心能力驱动的,客户需求、反馈是技术往前创新突破和迈进的驱动力,让两者形成比较好的闭环。无论是做2C产品,还是服务B端企业,都是同样的思路。有些事情可能并不会在我们聚焦的方向,这个可能会交给生态里的合作伙伴或其他方面做,有些帮助我们完成闭环的,是我们自主做,(我们商业化)是这样的方式。
展望下一步的超级App发展,张鹏向钛媒体AGI强调,智谱持续把清言定位为“AI 助手”,帮你解决工作、学习、生活当中的实际问题,帮你做生产力效率提升、工作便利提升等方面的事情。
“我们认为,所谓的超级APP可能它不一定是‘超级’,我们也是循序渐进、在潜移默化过程当中让大家真的习惯上使用这个工具,这也是一个很好的事情。所以,这可能并不一定是阶跃式改变,而是潜移默化不断变化。我们很期待,在这样的 AI 时代通过效率(清言)工具,让大家在不知不觉中改变自己的生活状态,这也是我们倡导的人机协同的发展方向。”张鹏表示。
(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)
1656篇资讯
林志佳
钛粉69982 赞赏了
独家对话天翼交通巨有诚:用AI构筑智能交通的“指挥...
钛粉73089 赞赏了
阿里打响“具身智能”卡位战
钛粉27946 赞赏了
华致酒行“失与得”映射酒类流通业酝酿变革
钛粉27253 赞赏了
华致酒行“失与得”映射酒类流通业酝酿变革
钛粉27595 赞赏了
华致酒行“失与得”映射酒类流通业酝酿变革
钛粉15015 赞赏了
智能体驱动:企业从“界面操作”到“智能助力”的必然...
钛粉36616 赞赏了
娃哈哈还能再次伟大吗?
钛粉69324 赞赏了
娃哈哈还能再次伟大吗?
钛粉49981 赞赏了
反直觉商业观察:千亿外卖战没有输家
钛小906... 赞赏了
智能体驱动:企业从“界面操作”到“智能助力”的必然...
钛粉77060 赞赏了
杨振宁逝世:“我知道已经有人为我写好讣告”
想暴富13... 赞赏了
厨电巨头上半年花钱图鉴:华帝营销猛,火星人研发疯,...
钛粉71007 赞赏了
AI女演员勇闯好莱坞,却遭全行业怒怼!他们在害怕什...
钛粉56440 赞赏了
联姻国资、锚定蓝海,解码运达科技加码自动驾驶物流的...
钛粉80793 赞赏了
联姻国资、锚定蓝海,解码运达科技加码自动驾驶物流的...
钛粉70866 赞赏了
翻车的何同学,与稚晖君越走越远了
钛粉11484 赞赏了
全美新闻APP下载第一,中国产的News Brea...
钛粉10005 赞赏了
门店越多鱼越难找?半天妖三年新增1000家门店背后...
有颜有钱8... 赞赏了
【Fintech 周报】存款利率3个月期击穿1%;...
钛粉11709 赞赏了
超智算完成亿元级天使轮融资 助力石景山智算中心成...
钛小洋68... 赞赏了
首个“主任级AI医生”来了,AI正成为患者问诊第一...
钛粉82649 赞赏了
宗馥莉家族财产大瓜,会变成一堂高阶普法课吗?
钛粉03712 赞赏了
稳楼市下的南充代建争议:自规局索赔2.6亿,小房企...
钛粉50600 赞赏了
连续斩获国际大奖,艾比森如何以技术创新定义显示行业...
钛粉97635 赞赏了
首届全球企业共建高质量“一带一路”峰会在印尼开幕,...
钛粉22422 赞赏了
AI时代的to B业务,不再是单纯的产品售卖
钛粉18896 赞赏了
种草易赚钱难,小红书急了
钛粉17704 赞赏了
中国汽车,规模定生死
赶碳号科技 赞赏了
杭州除了Deepseek、宇树,还有这样一群资本高...
钛紫098... 赞赏了
跨界迷途下的价值倒悬奇观:巨轮智能身陷概念狂欢与实...
钛粉58414 赞赏了
张兰汪小菲被封禁:一场人血馒头的饕餮盛宴|马上评
钛粉03607 赞赏了
广东“第一经济大省”的地位,就快要保不住了
钛粉72492 赞赏了
变天——由一个惊艳例子引发对DeepSeek的10...
钛粉77878 赞赏了
立足“顶层设计”,解锁政府引导基金驱动创新发展新动...
钛粉98106 赞赏了
北美物流格局松动,下一个巨头在哪?|CES 202...
钛粉28243 赞赏了
新广益:进口替代突破技术垄断,抗溢胶特种膜市占率第...
钛粉15120 赞赏了
文兜智写,投标人的智能助手|EDGE Founde...
钛视111... 赞赏了
OpenAI连续11天“挤牙膏”释出智能体应用,华...
钛粉78402 赞赏了
钛媒体「年度最佳游戏」「年度AIGC内容探索奖」「...
马静123 赞赏了
科股早知道:二次元盛事——首届IAGF展会重磅来袭...
已注销用户 赞赏了
新能源车年产破千万后,中国汽车市场的当下与未来
钛小洋68... 赞赏了
先一步看到科技浪潮的方向,钛媒体「2024 EDG...
钛粉72412 赞赏了
创投资本面临挑战,国科新能创始合伙人方建华论剑“耐...
钛粉20357 赞赏了
付航不是周星驰,小人物版本更新折射时代变迁|财经峰...
钛粉20490 赞赏了
付航不是周星驰,小人物版本更新折射时代变迁|财经峰...
钛粉88514 赞赏了
英伟达「向上」,苹果「向下」:AI时代的岔路与选择...
钛粉92857 赞赏了
2024年诺贝尔化学奖再颁 AI,到底是诺奖“水”...
马静123 赞赏了
“送什么外卖,我要炒股去了”
马静123 赞赏了
屡遭经销商连累,西凤酒“整改”何时生效?| 钛媒体...
钛粉21892 赞赏了
与阿里同时布局,米奥兰特用“AI+数据”助力企业成...
挺钛度,加点码!
支付方式
支付
支付金额:¥6
赞赏金额:¥ 6
中国冬小麦播种已完成七成半
刚刚
诺贝尔经济学奖得主迈克尔·斯宾塞:美股市值集中度前所未见,AI投资潮存在一些泡沫
刚刚
抖音登记红果漫剧logo作品著作权
6分钟前
安徽建工:联合体中标两个项目,合计17.53亿元
8分钟前
菜鸟淘宝闪购“小时达”覆盖12城
10分钟前
11分钟前
滴滴自动驾驶出海首站落地阿布扎比
13分钟前
美政府停摆结束但党争还在继续
18分钟前
检验检测促进产业升级,12项重点项目通过验收
18分钟前
美加州拟吊销1.7万张移民商用驾照
20分钟前
有声书系列 / 中国经济2021
王德培
72问孙振耀 / 顶级销售管理的智慧
孙振耀
72问皮埃罗 / 硅谷的秘密
皮埃罗
金融街论坛特约合作媒体
默认您同意协议内容,
如果您没有收到邮件,请留意垃圾邮件箱。
账号合并
经检测,你是“钛媒体”和“商业价值”的注册用户。现在,我们对两个产品因进行整合,需要您选择一个账号用来登录。无论您选择哪个账号,两个账号的原有信息都会合并在一起。对于给您造成的不便,我们深感歉意。