在当前这个AI遍地走、门槛近乎无的时代，如果你还没有试过用AI生成图片或视频（以下统称AI生图），那确实有点不够“潮”了。
与其他新技术一样，AI生图技术自诞生之日起就充满争议，一路鲜花与荆棘相伴。支持者视它为颠覆性的技术革命，反对者视它为洪水猛兽。特别是近两年以ChatGPT、Sora为代表的AI数据大模型横空出世，AI生图已成为刷屏时尚，受到越来越多的网民追捧。它在给人们带来极大便利、惊奇、抚慰的同时，也必然暴露出诸多荒诞不堪、令人生厌、甚至违法犯罪等负面问题。
AI本无罪，关键在于如何使用它。只有坚守伦理和法治底线，技术才能更好造福人类。今天，上游新闻推出“AI生图五大乱象”专题报道，聚焦近年来AI生图领域里暴露出的种种乱象，追根溯源、剖析因果，探索解决之道，以期对AI产业健康发展有所裨益。
上游新闻记者调查发现，据多家媒体和警方通报，类似AI换脸骗局最近几年时有发生，不少人信以为真，导致被骗走巨额资产，甚至家庭破裂。而多名制作传播图片和视频并进行诈骗的不法分子，也受到了法律的严惩。
受害者：有的被骗钱，有的被“换脸”
重庆的尚先生虽然收到了不法分子的敲诈短信，但他幸运躲过一劫。相比之下，山东威海的王先生也遭遇了同样的骗局，他被索要68万元，最终被迫转账20万元。
王先生收到的短信内容与尚先生几乎一模一样，他没有多想，便拨打了短信中的电话。对方准确说出了自己的姓名以及工作单位，并告诉王先生转账68万元就可以买断这些视频，如果不给钱就把视频公开。在对方的恐吓下，王先生信以为真。随后，王先生经过多方筹集，先后转账20万元。然而这20万元根本满足不了对方的胃口。后来，民警联系到了王先生。
经过仔细观察，办案民警发现短信内这张照片，虽然脸部与王先生有相似的地方，但脸型以及身形完全不是他本人。随后，民警赶紧对王先生转账的两个银行账户进行紧急止付操作。经过对收款账户的研判分析，警方锁定了犯罪嫌疑人郑某和钟某的身份信息。今年1月，威海警方将两名犯罪嫌疑人抓获归案。
尚先生和王先生遭遇的短信诈骗，自己的头像被AI制作成裸体照片。
据威海警方介绍，在这起案件中，犯罪嫌疑人先是通过网络等渠道，搜集被害人的视频、照片以及相关信息。再通过AI换脸技术PS合成所谓的“不雅视频”或“艳照”，然后通过短信、邮箱等渠道，精准发送给选定的对象并留下联系方式，最后以要举报、散播、告知家属等手段威胁选定的对象，要求被害人将钱汇到他们指定的银行账户。警方提醒，如遇到此类情况，一定要注意留存证据，及时报警。
相比男性，年轻貌美的女性尤其是知名女网红，更容易遭到AI换脸、AI“一键去衣”的影响，照片和视频甚至被制作成收费内容出售。去年7月，一名有着400多万粉丝的网红女博主发现，很多粉丝留言说看过她的“色情视频”，“当时没多想，我认为清者自清，谣言总会过去。”直到有天一位朋友转来一段色情视频，女主角正是自己的模样，她才意识到遭遇了恶意“换脸”，自己被制作成了色情视频。
当时据媒体报道，在卖家的价目表中，数百名网红被按照粉丝量级做了区分，从50万粉丝以下到1000万粉丝以上，对应的换脸色情视频售价在30元到50元不等。此外，表格中还有众多女明星。一名卖家表示，自己拥有80多位明星、一万五千余张图片。如果全部购买，仅售价60元，还赠送23部视频。卖家还称，如果购买单个明星的换脸图片，则根据数量收费，5元钱能购买300张照片。
广州一名年轻女子乘坐地铁时，照片遭“一键去衣”。
生产者：伪造近7000张裸照，每张1.5元
作为色情淫秽内容的生产者，不少隐藏在网上的作者已经遭到了法律的严惩。
今年7月，央视新闻报道了一起利用AI技术伪造了近7000张淫秽图片的违法案件。犯罪嫌疑人白某某家住北京，原本是一家互联网公司的技术员，他利用AI“一键去衣”技术，深度伪造淫秽图片近7000张，以每张1.5元的价格卖出。图片涉及女性人数多，包括学生、教师、同事。检察机关认为，被告人白某某以牟利为目的，制作、贩卖淫秽物品，情节严重，其行为触犯了《中华人民共和国刑法》的相关规定，应当以制作、贩卖淫秽物品牟利罪追究其刑事责任。
北京一男子制作近7000张淫秽图片，并以每张1.5元的价格卖出。
去年4月，据杭州市人民检察院消息，80后安徽男子虞某因涉嫌制作、传播淫秽物品牟利罪被提起公诉。虞某早在2020年“AI换脸”刚刚兴起的时候，就对该项技术产生了兴趣，还通过自学掌握了这门技术。后来，虞某在国外的社交平台上注册账号并建群，其他人若想进入“内部群”，要缴纳198元-498元不等的“会费”，进群后能看到不少利用AI换脸技术制作的淫秽视频，还能根据顾客的需要使用不同的女明星形象，进行“私人定制”。短短几个月，虞某就收获了数万元。
在虞某所组建的公开群内，公安机关共查证淫秽视频1200余部、图片1600余张，经鉴定，上述均系淫秽物品。去年11月，杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪，判处有期徒刑七年三个月，并处罚金6万元。
年轻貌美的女性容易成为AI换脸的受害者，有的商家甚至推出“定制服务”。
调查：软件难购买，贴吧已被封
比如某款产品就明确标注，“该软件可实现真人转卡通功能、换头和换衣功能”。这款软件售价仅需16.66元，月销量达到200单以上。有人在该店铺评论区提出疑问，“真能去衣？”多人回复称，“可以。”
当时，在名为“deepfake”的贴吧里，与AI换脸有关的帖子超过9000条，里面有大量明星换脸视频的售卖信息。一个名为“合成联盟”的用户在群里公开售卖换脸色情视频，清单里的数量达150多部，并称“白菜价全部只要58元”。
上游新闻记者搜索deepfake贴吧发现，该贴吧已经被封。记者在多个电商平台上搜索“AI换脸”“一键去衣”关键词，均无法显示。在一些店铺内，不少标明“智能消除”“智能扩图”等功能的软件，店主回复称并不具备“一键去衣”的功能。不过，记者注意到浙江一名卖家出售一款名为“换衣神器”的软件，售价为18.80元，声称“无论换衣还是重绘，都能轻松应对。”
记者通过私信联系了该卖家。对于“能否去衣”的咨询，该卖家非常警惕，“不要说得这么直白，监控着呢！”随后他隐晦表示，“可以去Y（衣）。”记者按照要求付款后，该商家发来一个网盘下载地址和使用教程。
记者按照商家的提示，发现该APP的确可以实现“一键去衣”的功能。
某二手交易平台上，仍有商家在秘密出售具有“一键去衣”功能的软件。
律师说法：情节特别严重者，最高无期
记者发现，如今在某些论坛上，仍有网友在秘密寻找免费的“一键去衣”软件。那么，发布或售卖相关软件的商家，是否涉嫌违法甚至犯罪？网友如果使用软件生成发布相关照片视频，仅用于保存“欣赏”是否触犯法律？如果分享出来，又面临何种处罚？
知名刑事辩护律师、河南泽槿律师事务所主任付建告诉记者，制作图片视频、售卖“一键去衣”软件等行为，涉及侵犯个人隐私、肖像权，涉嫌违法甚至犯罪，可能面临刑事处罚。首先，售卖相关软件的商家，涉嫌制作、贩卖、传播淫秽物品罪，根据《刑法》的规定，以牟利为目的，制作、复制、出版、贩卖、传播淫秽物品的，处三年以下有期徒刑、拘役或者管制，并处罚金；情节严重的，处三年以上十年以下有期徒刑，并处罚金；情节特别严重的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
其次，自然人的肖像权受到法律保护，非经自然人同意，不可直接制作使用他人肖像。网友如果使用软件生成相关照片视频，自己保存“欣赏”也涉嫌侵犯他人肖像权。如果制作后分享在微信群或者社交平台上，涉嫌侵犯他人肖像权、名誉权，需要承担一定的民事责任。其行为涉嫌违反《治安管理处罚法》，情节严重的可能涉嫌传播淫秽物品罪。根据情节的严重程度，可能面临有期徒刑、拘役、罚金等刑罚。
针对AI换脸、去衣等现象，中央民族大学法学院教授李梁表示，首先要对人工智能应用违法的侵权主体进行明确划分；其次要对人工智能应用违法责任（后果）分担机制进行构建；再次，在综合考虑法理及社会利益的基础之上进行科学立法，建立健全人工智能应用相关法律体系，推动技术研究及科学发展，加强监督监管机制。
上游新闻记者 金鑫 部分综合自央视新闻、央广网、新京报、人民网等 编辑 向家庆 责编 戴宇 审核 廖爽
原标题：《AI生图五大乱象 | “艳照”里的生意：换脸和脱衣，屡禁却难止》