秒,让pen奥特曼为你的视频配音岁歌手靠此技术翻红互联网

谁能想到,2023年香港乐坛最火的一首歌,是80岁歌手尹光和AI唱的。

这首《Dear Myself》荣获“叱咤 2023年香港乐坛我最喜欢的歌曲”投票榜第1位,由歌手尹光和他的AI分身共创。很多网友都感动于那句“我声线亦折旧,我把这个使命过继给AI”。

值得一提的是,80岁的尹光还成为了首个注册AI声音专利的乐坛歌手。

彼时,我们制作声音克隆视频,还需要单独建立一个AI声库,采集大量的人类声音标本制作数据库,后期还得通过人工调试来模拟人声。

另外,还有一种办法是基于Bert VITS等开源项目,借助大量算力支持,直接文本转语音来还原音色。这对于设备、技术要求都比较高,网上可以找到许多教程,像“手把手教大家用GPT- SoVITS(声音克隆开源项目)”,或是部署“OpenVoice和SVC”。

但现在,部分AI工具只需要10秒乃至更少的声音样本,就能完美复刻音色。

2月26日,QQ音乐上线了声音克隆功能,1分钟录制原声,即可生成个人专属音色演唱歌曲,为AI声音赛道添了一把火。

我们见识过AI合成视频、动态图片的技术,而现在合成语音也变得轻而易举。对于创作者来说,AI声音克隆究竟进化到了何种程度?还有哪些热门的AI语音合成工具?如何快速复刻出真实声音?

那么AI克隆人声要怎么做?

“头号AI玩家”体验下来,对于很多创作者来说,如果是进行剧情重制、制作游戏二创视频,或是代替个人原声进行解说,目前AI工具中的音色克隆功能其实完全够用。

借AI声音合成的热度,“头号AI玩家”也生成了一版视频:

视频画面采用了OpenAI最新发布的Sora生成视频,配音工具则用的是近期流行的ElevenLabs和剪映的AI音色克隆功能,依次复刻了海绵宝宝、OpenAI CEO 奥特曼(Sam Altman)、梅西以及懒羊羊的声音。

以AI音频工具ElevenLabs为例,官方表示只要上传1分钟的声音素材,就能够把任意一段音频,快速生成为中文、葡萄牙语、日语等在内的29种语言,还保留声源的音色特征和情感色彩。

具体包括以下几个步骤:

如果要使用自定义的声音,我们可以点击“Add Voice”按钮,上传已经录制好的音频。

以视频中奥特曼(Sam Altman)和梅西的声音样本为例,实际操作中我们只上传了10秒的清晰音频。上传完声音素材后,就可以等待ElevenLabs进行“克隆”了。

下面可选进一步编辑,点击“说话者Speaker”重新选择声音,或者在“Voice Setting”中对声音细节进行调整。

如果觉得这个声音和原声源并不像,可以点击“Similarity”进行调整,数值越高就越像源声音。而“Style”可以调整语音风格,包括生成的语速、停顿和语气。

实测下来,“Clarity+Similarity”数值在60%到75%之间,“Style”风格调整成75%至80%之间,“Stablility”调成55%-60%,音频的稳定性效果最好,声音也不会莫名其妙被改变,或者出现生成音频语速过快的情况。

另外,除了调整具体参数之外,还可以给文本添加标点符合来调整语速。比如视频中的梅西片段,我们就在“prefer”后面加了省略号,生成语速会自动减慢,一定程度上会改变表达的语气。

但实话实说,Elevenlabs的中文效果其实并没有非常出彩。如果中文音频素材只有5至10秒,生成的中文效果就更拉垮。我们上传第一版懒羊羊素材时,ElevenLabs的效果就带有明显的译制腔。

国内目前也推出了效果比较好的语音转换工具,免费可用。MiniMax上线应用“海螺问问”,其中的语音通话功能就可以克隆个人声音。

只需下载应用端,真人朗读一段儿歌就可以实现音色转换。

但相比ElevenLabs可以直接上传干音素材,国内的声音克隆工具大多采用朗读收录的方式进行复刻,暂时都不支持音频文件,一定程度上也避免了声音的滥用。

“头号AI玩家”此前发布的Sora相关视频,里面的视频配音就用到了AI朗读功能。

还有一些专业向的声音工具,比如大饼AI、出门问问旗下的魔音工坊等,都支持一键改变创作者的音色,让音视频的创作有了延展发挥的空间。

「头号AI玩家交流群」进群方式:添加微信“banggebangmei”并备注姓名+职业/公司+进群,欢迎玩家们来群里交流,一起探索见证AI的进化。

THE END
0.AI换脸通话10分钟骗430万?记者调查:目前没这么容易!AI技术被用于犯罪领域的风险日益凸显。裴智勇介绍,这些风险包括:“过脸产业”,比如利用他人照片合成动态人脸,欺骗各种人脸识别系统,如绑定APP、绑定支付工具等;换脸欺诈,如将一段绑架视频中的受害者人脸替换成其他人,之后对其亲属进行诈骗;换脸敲诈,如将一个人的脸换到一段不雅视频上,之后威胁对方将视频发送给其亲人jvzquC41pg}t0|npc0ipo7hp1q532;8/273388iqe/on{hgt|=5898220yivvq
1.AI换脸用于诈骗真假难辨怎么办?新闻频道最近,视频网站上通过人工智能换脸,《亮剑》里的主角用英语飚起了台词,通过小程序用户也可以将自己变成电影里的人物。新技术带来欢乐的同时,也带来了一种名为“AI换脸诈骗”的新骗术。jvzquC41pg}t0lhvx0ipo872455238561CXUKk=ZEN=Qzb{dkQiirZ9q94923990ujznn
2.AI换脸用于诈骗真假难辨怎么办?AI换脸用于诈骗 反诈也有新手段 不断迭代的AI技术已经把换脸视频做到“真假难辨”,那么我们应该如何防范此类新型诈骗呢? 让对方在脸部做动作 可发现合成破绽 首先,目前视频换脸的技术上也不是无懈可击的,视频沟通时的一些动作,就可以发现破绽。 深圳安络科技副总裁 肖坚炜:在这个操作中,如果我用另外第三个图像去jvzq<84pgyy/ew|guv4dqv4vkctykj4c1463586312:04;5539?90qyon
3.男子用AI换脸技术合成“明星淫秽视频”,被提起公诉用“AI换脸技术”合成淫秽视频,收费供他人观看,甚至根据顾客的需要使用不同的女明星形象进行“私人定制”,以及通过出售“换脸软件”非法获利。 记者6月20日从杭州萧山区检察院获悉,除了此前以涉嫌制作、传播淫秽物品牟利罪对被告人虞某某提起公诉外,该院在审查时发现,被告人不仅涉嫌刑事犯罪,同时还存在损害社会公共利益jvzquC41pg}t0‚hyd0ipo872453188721euovnsva7814=8;60nuo
4.“AI换脸”合成“女神”淫秽视频出售!安徽一男子被起诉新闻频道用“AI换脸技术”合成淫秽视频,收费供他人观看,甚至根据顾客的需要使用不同的女明星形象进行“私人定制”。 4月9日,据杭州市人民检察院消息,80后安徽男子虞某因涉嫌制作、传播淫秽物品牟利罪被提起公诉。 虞某称,早在2020年“AI换脸”刚刚开始兴起的时候,他就对该项技术产生了兴趣,甚至还专门在网上购买了换脸软件的教程并通过jvzq<84pgyy/{xzvj0io1|m142842=4v42842=63a3:56>>8:0nuo
5.一张图片就能“活化”成视频?警惕AI深度合成击穿风险底线一段视频、一段语音,未必是真人拍摄或录制,在你不知道的手机App后台、支付界面、门禁闸机,或许有人正在盗刷你的脸。随着人工智能(AI)深度合成技术日益精湛,合成的音频、视频等伪造内容越来越能以假乱真。毫无疑问,我们生活的现实世界正在面临技术滥用的风险与挑战。 jvzquC41ngmbn7loy0io1;544/671:51eqtugwya57>12A>90jzn
6.室研究员赫然:图像及视频的AI合成与鉴别5月20日,车辆与运载学院第255期学术沙龙在清华大学汽车研究所301成功举办,中科院自动化所模式识别国家重点实验室研究员赫然博士受邀参加此次沙龙,作题为“图像及视频的AI合成与鉴别”的报告。赫然回顾了当前图像视频合成的现状及应用,随后对合成技术和鉴别技术分别进行了介绍。 jvzquC41yy}/ur0vuooiqzc0gjv0ls1guyb{8=13:>70qyon
7.趋深向实与“国家在场”:2023年中国网络内容治理报告11月,上虞AI技术合成虚假视频案宣判,涉案团伙为博取社会关注,利用AI技术合成并发布了虚假的“上虞工业园区火灾”视频,引发大量点击。经警方查获,法院判决涉案人的行为构成编造、故意传播虚假信息罪,处以刑罚(澎湃新闻,2023年11月21日)。 相比之前社交网络、算法推荐等智能应用主要在传播阶段发力,AIGC将介入智能传播的jvzquC41yy}/j~grf0ipo8igvcom1rsfgz4ivvqAeqtugwyKf?727;>4376589>724:18