近期，针对部分语音社交软件和涉“深度伪造”技术的应用未履行安全评估程序，国家互联网信息办公室、公安部指导各地网信部门、公安机关依法约谈了11家企业。
“深度伪造”技术是什么？有专家向南都记者介绍，“深度伪造”是指基于深度学习等制作音视频的合成技术，通俗来讲，可以把它理解为一种能够复刻、复现个人生物识别信息的技术。尽管存在一些正向应用，但深度伪造技术也暗藏着财产侵害、人身侵害、危害公共安全甚至国家安全的风险。
南都记者调查发现，事实上，深度伪造及类似的合成技术的滥用已催生了一批黑灰产：有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频；短视频平台“假靳东”事件后，仍有假冒“东哥”账号在平台活跃。
专家向南都记者分析称，防范“深度伪造”技术的滥用，最重要的是实现有效的社会共治。其表示，从此次约谈可以看到，科技企业发展新技术和新业务，也要积极防范风险；此外，大众在追求新奇的同时，不断提高隐私、安全保护意识。
点名：国家网信办约谈涉“深度伪造”技术应用企业
11家互联网企业涉语音社交软件和“深度伪造”技术被约谈。
3月18日，国家互联网信息办公室发布通告称，为加强对具有舆论属性或社会动员能力的互联网信息服务和相关新技术新应用的安全管理，近日，国家互联网信息办公室、公安部指导各地网信部门、公安机关加强对语音社交软件和涉“深度伪造”技术的互联网新技术新应用安全评估工作。
针对近期未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，国家互联网信息办公室、公安部指导多地网信部门、公安机关依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演等11家企业，督促其按照《网络安全法》《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》等法律法规及政策要求，认真开展安全评估，完善风险防控机制和措施，并对安全评估中发现的安全隐患及时采取有效整改措施，切实履行企业信息内容安全主体责任。
南都记者了解到，“深度伪造”(Deepfake)是英文deep learning（深度学习）和fake（伪造）的混合词，即利用深度学习算法，实现音视频的模拟和伪造。
北京师范大学网络法治国际中心执行主任、博导，中国互联网协会研究中心副主任吴沈括向南都记者介绍称，通俗来讲，可以把它理解为一种能够复刻、复现个人生物识别信息的技术，例如在近日爆红短视频平台的“蚂蚁呀嘿”里的变脸以及其他语音仿生、躯态仿生的场景等。
中国信息通信研究院云计算与大数据研究所人工智能部高级业务主管刘硕向南都记者介绍称，从广义上讲，“深度伪造”是指基于深度学习等制作音视频的合成技术。大家比较关注的有人脸替换、人脸重现、人脸编辑等技术。
刘硕解释，其中，人脸替换是指将目标人脸替换到现有图像或视频中；人脸重现是指操纵图像或视频中的人脸进行眼睛、嘴型等变化；人脸编辑涉及到对皮肤、年龄、发型等方面的改变。这一技术在影视、娱乐等领域存在一些正向的应用。
南都记者注意到，在上述被约谈的11家企业中，“去演”所涉业务就与“深度伪造”技术有关。
公开信息显示，去演是一款手机照片类App，隶属于深圳市新国都智能有限公司，专注于AI智能视频换脸、自制表情包等服务。
其在应用商店上的简介显示，去演App共有“ai视频换脸”“ai表情包制作”“ai写真换装”三大核心功能，用户可用ai技术一键替换影视综艺人脸、制作专属表情包等，产品特色为“换的像：利用深度合成技术，相似度超过99%”。
这款“换脸”App深受欢迎，与之同类型应用软件也有不少。南都记者在苹果应用商店检索发现，去演App目前约有4.5万次下载，经过4万多次评分后获得5分的满分；在应用商店中检索“变脸”“换脸”等关键词后，系统推荐“ZAO”“蚂蚁呀嘿变脸视频制作”“Face AI”“AI换脸相机”“Xpression”“Mug Life”等应用软件，功能多为照片、视频变脸。
乱象：女明星被AI换脸的淫秽视频在网络打包出售
AI换脸软件爆红，其背后的“深度伪造”技术实际上暗藏多种风险。
国内较早使用深度学习技术提供服务的广州图普科技网络公司曾向南都记者介绍，相对于“换脸”技术本身，由于人脸识别具有高度的直接识别性和唯一性，因此在对人脸信息处理的过程中，存在更高的数据泄露、非法滥用、盗用等隐患。
吴沈括也向南都记者举例表示，深度伪造技术主要存在三大风险。
“财产侵害，特别是被用在精准电信网络诈骗当中；人身侵害，比如儿童色情和虚拟色情的场景当中；公共安全甚至国家安全，比如伪造公众人物或者国家领导人的虚拟音视频，造成社会秩序紊乱甚至国家关系冲突的严重后果。”
南都记者注意到，此前，多款AI换脸软件曾因争议被要求下架、整改。
近日，一段配以“蚂蚁呀嘿”魔性音乐的换脸视频在各大社交平台刷屏，提供该特效的AI换脸软件Avatarify也因此火爆全网，并登顶App Store免费软件下载榜首。不过，几天后的凌晨，该软件在App Store中国区悄然下架。
此前，号称“仅需一张照片，出演天下好戏”的AI换脸软件“ZAO-逢脸造戏”，也曾经历过上线6天，就从爆红到被要求整改的巨大落差。
风险之外，南都记者调查发现，深度伪造及类似的合成技术的滥用已催生了一批黑灰产。
3月22日，南都记者以 “明星换脸”“换脸”“AI”等为关键词在网络检索发现，有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频。
文件中介绍，该工作室共有四种消费套餐，价格在28元至138元不等。其中，68元可购买一套AI技术明星换脸淫秽视频，包含换成了迪丽热巴、刘诗诗、刘亦菲、杨颖等当红女明星的视频，共500部左右。而138元则可购买“明星换脸App在线VIP版”，其介绍称，这是“全网最全的换脸App，包含国内外明星，所有换脸的作者都会上传”。
通过合成视频伪造身份，犯罪分子还可能利用这项技术实施诈骗。2020年的“假靳东”事件正暴露了视频合成技术的风险与隐忧。
此前，南都记者调查发现，在多家短视频平台上存在不少“假靳东”账号。此类账号皆以靳东照片为头像，大多以“靳·东”“小东”“东哥哥”“贺函”等为昵称，剪辑靳东照片、影视片段做再配音处理。明星效应之下骗取点赞与粉丝后，有账号甚至开始直播带货变现。
3月22日，短视频平台上的一位“东哥”。
3月22日，南都记者在短视频平台以“靳东”“靳·东”“小东”“东哥哥”“贺函”等昵称进行检索发现，已无法查找到上述“靳东”系列账号。
规制：政策法规提供明确指引，专家建议社会共治
“深度伪造”技术暗藏风险的背后，这一新技术该如何监管？
南都记者梳理发现，近年来，国家有关部门已制定出台多项法律法规，进一步强化对此类技术应用的规制。
例如，2019年11月，国家网信办等部门联合印发《网络音视频信息服务管理规定》，要求利用新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识；网络音视频信息服务提供者发现使用者利用基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播谣言的，应当及时采取相应的辟谣措施。
2019年12月，国家网信办印发《网络信息内容生态治理规定》，明确网络信息内容服务使用者和网络信息内容生产者、网络信息内容服务平台不得利用深度学习、虚拟现实等新技术新应用从事法律、行政法规禁止的活动。
2021年1月起正式实施的民法典中，第1019条明确规定了肖像权的消极权能，其中“不得利用信息技术手段伪造等方式侵害他人的肖像权”“未经肖像权人同意，不得制作、使用、公开肖像权人的肖像”的规定，被视为将AI换脸纳入到肖像权的保护范围。
吴沈括告诉南都记者，从目前的生态来看，深度伪造技术泛滥的其中一个重要原因，是它能够被低成本低门槛地获取和运用，由此可能导致不法分子广泛获得这种技术的运用能力。
在风险防范方面，他建议，最重要的是要实现有效的社会共治。“其中非常重要的一环是企业在上线类似技术模块之前，及时有效的实现自我评估，通报国家有关监管机关，实现风险防治领域的公私合作。在这一点上，《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》具有重要的指引意义和实践操作价值。”
刘硕也认为，防范“深度伪造”技术的滥用需要进行“群防群治”。政府主管部门已给出了明确的指引，除按照政策法规执行外，还可以通过举办大赛等手段鼓励鉴伪技术研发，不断推动成熟的鉴伪技术商业化部署。积极发挥行业组织作用，推动形成行业共识、自律公约等。
刘硕表示，从此次约谈可以看到，我国主管部门加强对新技术风险治理的态度是坚决的；号召科技企业在发展新技术和新业务的同时，也要积极防范风险；此外，也希望大众在追求新奇的同时，不断提高隐私、安全保护意识。