01

(资料图)

万万没想到，最 先把AI工具玩明白的，是骗子们。

最近一起诈骗案件震惊全网，骗子AI换脸视频聊天，10分钟成功骗到430万！

真是防不胜防。

事情是这样的。福州一家科技公司的老板，老郭，最近接到了他的好朋友打来的视频电话，说是朋友C在外地竞标，需要430万保证金，而且是公对公转账，所以想用老郭的公司账户过个账。

老郭的“好朋友”在视频里说，钱已经打到老郭账户上了，等下老郭你就动动手指转个账完事儿了。

老郭一听，这算啥啊，小事一桩！而且这视频聊天多真实啊，看着手机里面自己的好朋友把事情说的清清楚楚了，帮个小忙罢了，大家这么熟，也没想着先去查看一下银行卡，就直接把430万转到了朋友给的银行账户上了。前后不到10分钟。

完事之后，老郭想着跟这位“朋友”报备一下，结果对方一脸懵，缓缓打出一个问号。

老郭意识到不对劲，立马报警。警方同样用了十分钟，追回了300多万。

这案件看得人毛骨悚然。

要有多强的侦查意识，才能想到跟你在手机里正说着话的不是一个大活人啊？

你可是能看到对方的一颦一笑，眉宇间的感情流露，以及听到再熟悉不过的声音啊！

案件被公布之后，瞬间登上了热搜。

#AI诈骗正在全国爆发#，说实话这个话题标签是挺夸张的，但案件本身也是足够离谱……

网友们表示：

这怎么防？！

有人担心，这年头AI都成了骗子的新工具了，以后不敢接电话说话了……

还有人提醒，少在网络上发个人视频吧……

这年头，AI换脸的技术不仅泛滥成灾，价格便宜，还贼容易上手，网上教程一搜一大把。

只需要一张二维人像照，就能让嘴巴动起来。而合成一个视频，成本*不过两块钱。

就连大型的实时直播也能换脸。

据中国新闻网报道，近日，有多个直播间都开始采用AI换脸明星的方式进行直播带货，杨幂、迪丽热巴、Anglebaby等女明星成了重点换脸对象。这种方式既能吸引流量，又能赌一波不明就里的狂热粉丝最终下单成交。

实时换脸的全套模型购买价格只要3.5万元，而且不存在延迟、也不会有bug，还能24小时在岗。这可比把明星真人请过来便宜太多了。

更重要的是，上面这些还只是根据警方公布的有限细节的讲述，估计警方也是害怕过多细节会招来模仿犯。

但是就这点有限细节，已经细思极恐！

例如，骗子们打的是实时的微信视频通话，说明骗子们已经掌握这位“朋友”的微信账号，且知道了好友列表里谁有钱谁没钱，还懂得实时渲染的技术。

又例如，骗子们掌握的可不止微信账号，还需要有足够多的这位“朋友”的音视频信息，才能训练AI模型。

这一切的一切，AI工具的应用已经是多数人无法掌握的，更是没想到骗子们还如此的有耐心，慢慢训练，慢慢熟悉（要是把这份精力拿去造芯片，说不定轮到中国卡别人脖子了）。

这一切的一切，想要实现其中一条都不是一件简单的事，但它却全部真实地发生了。

这一切的一切，听起来都像一场10分钟的梦，但它却是完全有可能发生在每一个人身上的事情。

这还是个年轻老板，万一以后，当老年人接到自己孩子的视频通话，真的能分辨真假吗？

AI无罪，但有人开始以此作恶。

02

AI诈骗，花样已层出不穷。

除了AI换脸，骗子们利用AI工具还创造了更多的诈骗方式。

一是声音合成。

这几天还有一个大新闻，孙燕姿亲自回应了“AI孙燕姿”的出现。

“AI孙燕姿”火热出圈，在B站上已经拥有超过1000首翻唱作品，数量远超“冷门歌手”孙燕姿，其中“AI孙燕姿”翻唱《下雨天》《半岛铁盒》等作品更是百万播放。

其核心技术来源于歌声转换模型，模型提取到歌曲的音调、音高等特征，然后将每段音频做成几秒到十几秒不等的切片，接着将翻唱者的声音数据丢给算法拾取出来，并与对应歌曲的切片对应。

孙燕姿发文表示，“你跟一个每几分钟就推出一张新专辑的人还有什么好争的？”

最近微软的VALL·E模型震惊学术圈。它只要3秒钟，就可以复制任何一个人的声音，甚至包括背景噪音。

其实，即便是对计算机一窍不通的外行，只要数据量足够大，再付出一定的时间和设备成本，也可以创造出音声合成的AI模型。

这又给骗子们提供了可乘之机。

不久之前，国外一家诈骗公司，用AI复制了“卷福”（本尼迪克特•康伯巴奇）的声音，打电话给西班牙的一家小电影制作公司，说对你们公司的xx电影很感兴趣，想一起合作，但要对方先转账20万英镑的定金，之后再谈具体的合作细节。

什么都没干就要给大明星转账20万？这听起来就挺扯的。然而，这家小电影制作公司还是把钱转过去了，之后跟经纪公司一查证才发现这是一场彻头彻尾的AI骗局……

二是AI假照片。

这几天，美国媒体和国防部都挺忙的。

媒体忙着报道一件堪称二十年来最重大的新闻，美国五角大楼遇袭！！

从流传甚广的那张照片来看，浓烟滚滚，似乎真的发生了什么严重的袭击。

国防部忙着辟谣，五角大楼啥事没有，这是AI合成的假照片……路灯是歪的，围栏还长到了人行道上……

然而，就是这样一张似真似假的照片，竟然导致标普500指数由涨转跌，短线下跌约0.3%至盘中低点。

“智东西”文章写道，国外的Reddit论坛上的Midjourney板块中，一组“2001年卡斯卡迪亚9.1级大地震，引发的海啸摧毁了俄勒冈州”的照片被大面积传播，照片当中的受灾现场一片混乱，救灾人员、新闻记者、政府官员等人相继出现，人们面带忧虑、惊恐和慌张。

但实际上这完全是由AI“创造”出来的“历史”，只是在荒诞惊慌的当下，谁又能真的辨别出来呢？

三是AI假新闻。

4月25日，甘肃平凉市公安局发现，某百度账号出现一篇标题为“今晨甘肃一火车撞上修路工人 致9人死亡”的文章。此条假新闻一经发布后便获得了超1.5万点击量。

民警发现，居然有21个百度账号在同一时间段发布该文章，文章内容地点涉及全国多地。原来，深圳某自媒体公司法人代表洪某弟购买大量“百家号” ，并通过ChatGPT人工智能软件将搜集到的热点新闻修改编辑，随后上传赚取大量流量变现获利。

这些虚假的文字、图片、音频、甚至是实时视频，不仅在互联网的病毒传播中混淆了试听，还让更多没有时间也没有条件去辨别事实的人群离真相变得越来越远。

03

面对AI诈骗，平台和监管方固然要管好数据和甄别作品，但我们每一个人也要比以前更为警惕。

不久前，马斯克、苹果联合创始人Steve Wozniak和Stability AI创始人Emad Mostaque在内的诸多科技大佬和AI专家签署公开信叫停AI大模型研究的时候，就明确指出AI技术需要严格的监管，否则就会产生大量的伦理问题。

这种潜在风险不会只出现在一两起诈骗案件中，而是全方位挑战人类现有的法律和文明框架。例如个人隐私保护、数据安全、算法伦理、算法歧视、算法霸权等。

就像“AI孙燕姿”，如果在未来这种形式不仅是一种被传播的产品，而就是创业者本人呢？也就是当孙燕姿的“数字形态”想要去创业盈利时，谁来约束和规范它的权利和义务呢？

孙燕姿本人认为，至少在内容创作上，人类无法超越AI。这也是孙燕姿的回应被人引用最频繁的一点。

但这篇长文里，她的一个想法我觉得更具有哲学思考意义，也充分展现了她的人文态度：

“这项新技术将可以为每个人提供他们所需要的一切。你并不特别，是可预测的，也是可塑的。”

“在这个无边无际的存在中，凡事皆有可能，凡事皆无所谓。”

在人类所有的智力都能被复制、转移、储存的时候，还有什么是不可以发生的呢？但这一切也都失去了人类所珍视的意义。

我们也许只能在这一切来临之前，用蹩脚的手段努力辨别世界的虚实。

参考资料：

量子位：和AI网聊10分钟被骗430万，真实诈骗案震惊全网，官方：AI诈骗成功率接近100%

差评：10分钟从老板手里骗走430万，骗子们是把AI玩明白了

智东西：警惕四大AI新骗术！有人10分钟被骗430万

Founder Park：*的回应，孙燕姿为人机之争画上句号