由人工智能生成的假冒马斯克已成为最大的网络诈骗者。
编辑日期:2024年08月15日
以下是翻译的全文:
现年82岁的退休老人史蒂夫·比彻姆(Steve Beauchamp)原本希望通过为家庭赚取一些额外收入来帮助家人,于是他将信任寄托在了埃隆·马斯克(Elon Musk)身上。去年年底时,比彻姆偶然观看了一段视频,视频中的马斯克看似在推荐一个承诺能够快速获得收益的激进投资计划。受到启发后,比彻姆迅速与视频中提及的公司取得了联系,并以248美元开设了一个投资账户。但在接下来的几周内,他逐渐增加了投资额,最终从他的退休金账户中投入了超过69万美元。
但没过多久,这些资金就不翼而飞,被一群运用人工智能实施新型数字欺诈的骗子卷走了。这些骗子巧妙地篡改了马斯克的一段真实访谈视频,通过AI技术替换了原声,并精细调整了他的口型动作以匹配他们为这个数字替身编写的全新剧本。对于普通观众而言,这样的操作几乎难以察觉。
比彻姆回顾那段视频时感慨地说:“视频里的那个人,特征非常明显,一眼就能看出是马斯克。至于那段视频中的话是不是通过AI技术让他所说的,我现在实在无法确定。但从视频的画面来看,如果需要我在一群人中辨认他,我绝对能够指认出来。”
马斯克成为深度造假的常客。
近几个月来,互联网上充斥着数以千计的这种由 AI 驱动的视频,这些被称为“深度造假”(Deepfake)的视频中,伪造的马斯克形象误导了众多潜在投资者。据德勤估计,这类由 AI 支持的深度造假每年可能导致数十亿美元的欺诈损失。
这些视频的制作成本非常低廉,通常只需几分钟便能完成制作,并且通过社交媒体进行推广,其中包括在Facebook上投放付费广告,从而极大地扩大了其影响力。Sensity公司的联合创始人兼威胁情报主管弗朗西斯科·卡沃利(Francesco Cavalli)对此发出了警告:“这可能是迄今为止最大规模的深度造假骗局。”Sensity是一家专门负责监控和检测深度造假视频的公司。
这些视频往往栩栩如生,准确地捕捉到了马斯克标志性的断续语调和南非口音。骗子们通常会从一段真实的视频开始操作,例如《华尔街日报》的采访,他们在伪造的视频中保留了记者的声音,这增加了视频的真实性。
通过运用先进的口型同步技术,欺诈者调整了马斯克的嘴部动作,确保与他们伪造的台词完全吻合。他们还利用声音克隆工具加入了AI合成的声音,这种工具能够根据声音样本复制出任何人的声音。在最终制作的广告中,可能还包含了仿造的图形界面,模拟新闻机构的风格,这可能会对普通网民产生相当大的说服力。
根据Sensity的分析,马斯克是在这些视频中最常被冒用的人物。在将近2000个分析样本中,特别是在去年年底以来,他出现在近四分之一的深度伪造欺诈视频中。在那些涉及加密货币主题的视频里,这个比例甚至高达近90%。深度伪造的广告还经常使用像沃伦・巴菲特这样的知名投资者和亚马逊的创始人杰夫・贝索斯等商业巨头的形象。
尽管很难精确统计网络上流传的深度造假视频的数量,但通过搜索Facebook广告库中常见的与欺诈相关的用语,我们发现了数十万条广告,其中许多包含了深度造假视频。虽然Facebook已经删除了许多违规内容并禁用了相关账户,但仍有部分视频留在网上,而且似乎每天都有更多的新视频出现。
YouTube 同样充满了这些伪造内容,这些视频通常会被标记为“直播”。但实际上,这些都是预先录制好的深度伪造视频。在 YouTube 上搜索诸如 “埃隆比特币会议(Elon Bitcoin conference)”等关键词,你会看到数十个被伪装成直播的视频,其中深度伪造的马斯克正在推销加密货币骗局,极具误导性。
在美国前总统唐纳德・特朗普(Donald J. Trump)在比特币会议上发表讲话后,YouTube上迅速涌现了数十个标有“直播”标签的视频,这些视频播放了预先录制的、深度伪造的埃隆·马斯克的片段,声称会向发送加密货币到他账户的人双倍返还。尽管这些视频吸引了大量观众,部分视频的浏览量甚至达到了数十万次,但YouTube表示,诈骗者可能利用网络水军人为地夸大了这些视频的观看次数。
根据非营利性消费者权益组织Better Business Bureau的报告,一位德克萨斯州的居民在2023年2月通过YouTube上的一段所谓“直播”视频中看到了冒充埃隆·马斯克的欺诈信息,结果损失了价值36,000美元的比特币。该居民表示:“我转出了比特币,但却没有收到任何回报。”
Facebook和YouTube成为重灾区。
YouTube在一份声明中表示,仅在今年1月至3月期间,该平台就删除了超过1570万个频道和超过820万个视频,这些内容大多是因为违反了其反垃圾信息政策而被删除的。
鉴于虚假广告的泛滥,澳大利亚亿万富翁安德鲁·福雷斯特针对Facebook的母公司Meta提起了民事诉讼,指控该公司在其广告业务中存在疏忽行为,并声称这种行为误导了无辜用户进行错误的投资。据报道,福雷斯特自己的视频也曾被用于制作深度伪造的虚假广告。
Meta公司回应表示,他们正在训练自动检测系统以识别平台上的欺诈行为,但承认这是一场复杂的技术较量,因为资金充裕的诈骗集团会不断变换策略来规避检测。而YouTube则重申了其禁止欺诈及视频篡改的规定,并在今年三月要求所有创作者在使用人工智能制作逼真内容时必须做出明确的披露。
网络上充满了大量的诈骗报告,许多人因此失去了他们一生的积蓄。香港证券及期货事务监察委员会在5月发布了关于涉及马斯克的诈骗活动的警告。今年早些时候,美国联邦贸易委员会和联邦调查局也向美国公众发出警告,称AI驱动的网络犯罪和深度伪造诈骗正在不断增加。
FBI在一封电子邮件声明中强调:“犯罪分子正在利用人工智能作为力量的放大器,使得网络攻击和其他犯罪活动变得更加有效且难以被发现。”
数字诈骗伴随着互联网的发展而增长。但随着去年复杂的AI工具对公众开放,出现了一波以马斯克为特色的新深度伪造浪潮。这些工具使普通人能够复制名人的声音或精确操纵视频,从而引起了色情产业、制梗者以及越来越多的诈骗团伙的关注。
网络安全研究实验室 CTM Insights 的创始人卢·斯坦伯格(Lou Steinberg)表示:“情况正在发生变化,因为有组织的犯罪团伙已经发现这是一种可以获利的方式。”他预计,未来我们会看到更多这样的欺诈企图,其目的就是为了骗取钱财。
尽管人工智能生成的视频并不完美,比如在某些视频中,马斯克的声音可能听起来过于机械,且他的口型并不总能与台词对上。但专家警告说,这些视频已经足以说服一些欺诈目标对象,并且随着时间的推移,这项技术正在不断地改进。
根据Sensity的卡沃利所述,这些视频的制作成本非常低廉,大约只需10美元。大多数诈骗者使用一系列免费或低成本的工具,在不到10分钟的时间内就能制作出虚假视频。这些诈骗者主要集中在印度、俄罗斯和东欧地区。
“这方法有效,”卡沃利说,“因此,他们会继续扩大这项活动,跨越国界,将其翻译成多种语言,并持续向更多的目标对象传播这一诈骗行为。”
老年人成为了完美的目标。
这类诈骗通常会以高回报的人工智能投资软件作为掩饰,起初会引诱受害者投入少量资金,比如250美元。随后,通过夸大投资收益的方式来逐步诱导他们增加投资金额。
一段特斯拉股东大会的视频被篡改,视频中马斯克介绍了一款由人工智能驱动的自动交易产品,并声称该产品能使投资回报每天翻倍。
研究加密货币社群的专家指出,马斯克拥有一个独特的全球粉丝群体,这些粉丝大多为保守派、反体制人士及加密货币爱好者。他们时常寻求非传统的致富途径,这使得他们成为了这类骗局的理想目标。
"肯定有一群人相信财富的秘密被隐藏了起来," 研究加密货币社区的研究者莫莉·怀特说。她指出,有一部分人总是幻想掌握着财富的秘密,认为只要一旦发现就能一夜之间变得非常富有。
诈骗分子尤其喜欢针对年纪较大的互联网用户,这些用户虽然可能听说过加密货币、人工智能或马斯克,但却不太熟悉安全的投资方法。
"老年人一直就是诈骗者眼中的肥肉,这种现象甚至在社交媒体兴起之前就存在了," 加州大学戴维斯分校的科学技术研究教授芬恩·布伦顿说道,他是一位加密市场的专家。
比彻姆是一位寡居的老人,他在加拿大安大略省的一家企业担任销售代表,一直工作到75岁退休。2023年注册Facebook后不久,他便遭遇了广告诈骗。虽然他记得曾经在CNN的直播节目中看到过马斯克的身影,但CNN的一位女发言人在后来表示,马斯克已经多年没有接受过该频道的采访了。
去年12月,比彻姆向一家名为Magna-FX的公司转账27,216美元,根据他与该公司之间的电子邮件往来记录,Magna-FX让他相信自己的投资正在增值。其间,一位销售人员甚至远程操控比彻姆的电脑使用特定软件,未经允许转移资金。
当比彻姆试图提取资金时,他被通知需先支付3,500美元的管理费用及额外3,500美元的佣金。他支付了这些费用后,又被告知需要再支付20,000美元以解锁大约20万美元的部分资金。尽管他已经耗尽了自己的退休储蓄、透支了信用卡、利用了信贷额度,并向妹妹借钱来投资和支付各种费用,骗子们仍然要求他支付更多的款项。这时,比彻姆已经意识到了问题的严重性,因此联系了警方。
大部分有关Magna-FX的痕迹已从网络上消失,包括公司的网站、电话号码以及代理人曾经使用的电子邮件地址,这些代理人都曾与比彻姆有过交流。有一家名字和业务都与之相似的公司,对于请求评论的要求并未作出任何回应。
比彻姆在提交给 Better Business Bureau 的报告中表示:“此时此刻,我愿意接受所有的指责和嘲笑,作为对自己轻信的惩罚。”
他表示,现在他依赖一个诈骗者不知道的小额退休账户和养老金来过活,他原本打算用这些积蓄来环游世界的。比彻姆已经向当地警察报告了此事,但是案件的进展很慢。
他说:“因为到处都是欺诈案件,我的案件被排在了队列中,”“我并没有抱太大的希望。”