“30秒的音频就可以帮你克隆声音”，从雷军被AI换声吐槽假期，到普通人被10秒AI视频诈骗，本是科技进步璀璨结晶的AI技术，如今却成为诈骗分子作恶的手段。半两财经调查发现，电商平台公然出售“24小时内合成相似度高达90％音频”服务，社交平台也随处可见的几秒换脸应用，价格低廉，作品却没有任何提示和标记，足以“以假乱真”。而一个值得关注的新现象是，最近，老人们成了AI诈骗的重灾区。‍‍‍‍ (全文3788字，阅读需要28分钟） 记者｜温婧 蔺丽爽 实习生｜陈冰莹 ‍‍‍ 编辑｜温婧 实习生｜刘昱宽

AI换声诈骗层出不穷

去年国庆，不少网友表示“国庆7天被雷军骂了8天”。原来，一些网友利用AI模仿起了雷军的声音，吐槽假期过得太快、堵车太烦，甚至让其在游戏里破口大骂……这与雷军平时温文尔雅的形象大相径庭，也招致网友的反感和雷军本人的愤怒。

事实上，AI换声的问题早已让不少公众人物烦不胜烦。今年2月，有网友为博取眼球，利用AI合成刘德华声音发布到社交媒体上，引发网友关注，为此，刘德华电影公司还发布声明提醒网民，不要被AI合成技术下的名人声音所骗。名人深受其害，普通百姓也难逃AI骗局，半两财经看到，不少违法分子利用AI手段，假冒被害人亲友身份，以“被害人亲属出事急需用钱”等方式骗取钱财。2024年3月湖北孝感市破获一起利用 AI 克隆声音实施的诈骗案件，三名犯罪嫌疑人通过伪造老人孙子的求救声，骗取 2 万元养老钱。

半两财经注意到老人更是成为被诈骗的重灾区。一名网友称，她85岁的奶奶遇到AI变声科技的专业诈骗团队，被骗走15万养老钱。据悉，奶奶在电话中听到了自己亲儿子的声音，说和同事喝酒应酬出事了，现在被扣押在派出所，希望奶奶出面私了。随后电话被另一个人接通，表示是派出所的人，事情可私了但需38万现金，且只要现金拒绝转账，不能告知包括家人在内的任何人，奶奶救子心切，匆忙取走15万现金到约定地点交给对方。后续对方表示数量不够，奶奶转到其他银行，幸而被工作人员发觉事情不对，通知亲属，最终协助警方抓捕嫌疑犯。

3月13日，半两财经实测某款AI换声软件发现，只30秒原始音频即可生成高相似度克隆语音。半两财经首先选择一段时长35秒的演讲音频，上传音频后，系统自动进入"声纹建模"阶段，而在生成界面，软件提供6项可调参数，包括情感强度、呼吸声强度、背景噪音过滤强度、多音字发音偏好等，短短几分钟，软件便生成了一段换声后的音频，虽然在某些方面，例如长文本断句和特殊音色的还原有些生硬，但整体已具有较高的相似度。

老年人成AI换脸诈骗新目标

除了“AI换声”，“AI换脸”也是技术诈骗重灾区。半两财经在多家社交平台上搜索“AI换脸”，相关应用软件和影音图像作品比比皆是。还有些商家称可以提供“AI换脸”服务，标称价格最低只需5元，不法分子造假的成本越来越低。

张先生就曾遭遇被AI伪造的熟人诈骗的事情。一天，张先生在外面办事时，网名“一帆风顺”的陌生人添加其微信。对方告知，自己是张先生公司的负责人陈总，这会临时办点私事，不太方便接电话，才用微信小号加了他的微信，要他取10万元现金送到公司楼下，自己办完私事会尽快归还。正当张先生表示疑惑时，接到“陈总”打来的视频电话。接通后，张先生看到手机里的“陈总”正坐在一间会议室里，没有说话，10秒钟后，视频电话被对方挂断。尽管对方未发一言，但看到对方的相貌神态与自己的领导完全一样，张先生还是按照对方发来的信息，将10万元转到了相应账户。谁知，回到单位后，张先生得知陈总上午一直在自己的办公室没有出去，遂赶紧找陈总询问，对方表示自己并没有给他发过相关信息。张先生这才意识到自己被骗了，于是赶紧报案。

半两财经注意到，近来，由于许多老年人缺乏足够的网络安全意识，尤其是对新兴的AI换脸、深度伪造技术并不熟悉，成为诈骗的新目标。一些不法分子利用AI换脸技术，冒充老年人的亲友或熟人，通过视频通话、发送虚假视频信息等方式，以突发疾病、遭遇事故等各种理由谎称急需用钱，请求老年人给其借款或转账。由于视频中的画面与亲友极为相似，老年人往往难以辨别真假，在情感驱使下未核实便匆忙转账。一旦款项汇出，不法分子便销声匿迹。

北京市丰台区方庄街道某社区近日就成功拦截一起涉及AI换脸技术的诈骗案件。一位大妈在社区居委会寻求帮助时透露，她接到了一个自称“马云徒弟”的电话。骗子先通过小额赠送话费来拉近与老人的关系，并表示自己在开展一个扶贫项目，承诺可以获得丰厚的投资回报。为了进一步打消老人的疑虑，骗子提出了与“马云”视频连线的建议。利用AI换脸技术，骗子伪装成马云，通过视频对话显示在老人手机屏幕上。由于技术的高仿真度，老人完全没有怀疑视频中的人是否真实，甚至确信自己与马云进行了直接交流。骗子所使用的AI换脸技术与真实人物几乎无异。

还有些老年人无辜成为“AI换脸”技术的受害者。天坛公园晨练的68岁的徐大爷控诉，在完全不知情的情况下，自己成了社交平台上的“抗癌奇迹”。视频中的人虽然是他自己，但说话声音却明显是另一个人，口型和说的话也对不上。AI技术将他的健身视频篡改为90岁癌症患者的带货广告，单条虚假视频点击量突破50万次。

不标注合成内容建议处罚

人工智能渗透到千行百业，但“AI换声”“AI换脸”的不当滥用也成为了违法侵权行为的重灾区。AI深度合成技术所需素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，给治理整治带来较大挑战。

知名经济学者、工信部信息通信经济专家委员会委员盘和林表示，从目前来说，如果能够有效落实标识的要求，形成有效的监管体系，可以在很大程度上提前厘清“AI换脸”所带来的模糊边界。“当前‘AI换脸’的标识监管体系还没有形成，要针对不标注的内容，通过技术的手段来辨别，并且对不标注的个人或者是单位组织要有具体的处罚措施、标准以及制度。”

针对AI技术诈骗盯上了老年人群体的情况，3月13日，北京金融监管局发布风险提示，警惕AI换脸冒充亲友的数字时代新“骗局”，护好养老钱袋。AI换脸难分辨，亲友求助要核实。遇到亲友通过视频或信息求助转账时，务必通过多个渠道如拨打手机、当面沟通等核实对方身份，切勿轻易相信视频中的画面，更勿因一时情急而盲目转账汇款或泄露个人敏感信息。

记者手记

防范AI诈骗需社会各界协同发力

科技于时代的前端不断发展，AI技术随浪潮不断丰富，从逼真的图片生成，到极具迷惑性的真人音频，诈骗分子利用AI技术之便，将不法的手伸向了各类人群，包括老年群体。多数人尤其是老人，大多对新兴技术了解有限，难以辨别AI换脸、换音的真假。面对AI诈骗，需社会各界协同发力防范。相关政府部门应加快完善相关法律法规，提高违法成本，让诈骗分子不敢胡作非为；监管部门要加大对AI技术应用的监管力度，规范技术使用边界；平台要强化审核机制和打击制度，对涉及AI生成的内容严格把关，及时拦截虚假信息，一旦发现不法行为，严肃处理。近年来，我国《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规已颁布实施，《人工智能生成合成内容标识办法（征求意见稿）》完成社会意见征集，其中要求，“深度合成服务可能导致公众混淆或者误认的，深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。”不过，随着技术发展越来越快，对于这些具体应用的落实监管有待更加完善。针对不法分子新近盯上老年群体进行AI技术诈骗这一现象，也应引起各方关注，除了家庭自身要加强对老人的关爱和相关新科技的普及外，多给老人科普反诈知识，让老人有防范意识也不可忽视。

315青诉线索征集

如果你曾遭遇假冒伪劣、虚假宣传、合同陷阱、服务缩水、售后推诿等问题，无论是在线上购物遭遇了欺诈，还是线下消费时遭遇了不公，都请勇敢地站出来，将你的遭遇告诉我们。你的每一条线索，都是推动社会进步、净化消费环境的重要力量。维权防骗，青诉315与你同行。北京青年报半两财经启动3•15特别报道。同时，本栏目面向消费者征集新闻线索，为消费者发声，维护大众的合法权益，营造更加优质的消费环境。可留言或发送线索到邮箱：cjxwzx@ynet.com