攻击者拿到一张你的照片,据此制作一副特殊“眼镜”,就可以刷脸解锁你的手机?这是真的。
最近,依托清华大学人工智能研究院成立的团队瑞莱智慧RealAI披露了新的研究成果:研究人员通过对抗样本攻击,破解了19款安卓手机的人脸识别解锁系统。
同样被破解的,还包括十余款金融和政务服务类App。
照片加上特殊“花纹”即可骗过人脸识别
在介绍RealAI的新研究之前,我们先简单解释一下何为“对抗样本”。
训练算法模型需要输入数据。而对抗样本,简单而言,就是一种由攻击者设计的错误输入数据。只要在原有数据上添加干扰因素,就能导致算法模型输出完全不同的结果。
人的肉眼可能完全看不出对抗样本的变化。所以,你也可以把干扰因素理解为一种特殊的“花纹”。
对抗样本最有名的例子之一,出自前谷歌大脑研究人员、有着“生成对抗网络(GAN)之父”称号的科学家伊恩·古德费洛(Ian Goodfellow)——在他的研究中,算法将一张大熊猫图片的对抗样本识别成了长臂猿。
研究人员在大熊猫图片上添加干扰后,算法将其识别成了长臂猿。
瑞莱智慧RealAI高级产品经理张旭东介绍,他们此次采用的破解方式,也是对抗样本攻击。
不过,不同于学术界研究较多的虚拟世界攻击,这一攻击发生在真实世界。研究人员不需要用到劫持摄像头等手段,便可以直接破解人脸识别系统。
在制作对抗样本时,研究人员需要同时用到“攻击者”和“受害者”的照片,将“攻击者”照片设定为基准、“受害者”照片设定为攻击目标。
攻击算法在接收到两人的照片后,会自动生成干扰后的图案,就像一块人脸“补丁”。随后,攻击者用A4纸打印出这块“补丁”,再贴到一副镜框上戴好,就会“化身”为受害者,让算法识别错误。
研究人员使用的“眼镜”。
据了解,人脸识别算法,是依据相似度来分辨不同的人。两张图片的相似度高于阈值,就会被算法判定为同一人。攻击者通过戴上“补丁”眼镜让两个人的相似度大幅提高,从而实现破解。
左一是“受害者”的眼部图像,右一、二是对抗样本图像。
19款主流品牌手机及数款银行应用被破解
据介绍,研究人员选取了20款手机进行测试,除了苹果以外,还涉及到国内五大主流手机品牌的不同价位机型。
经过测试,除了一台iPhone11,其余安卓机型全部被成功解锁。攻击者进入手机系统后,可以任意翻阅机主的微信、短信、照片等私密信息。
南都·AI前哨站在测试现场看到,攻击者破解手机的过程相当迅速,基本上几秒内就可以顺利解锁。
研究人员说,整体而言,低端机的安全性要差一些,但高端机同样能够被破解。他们测试了一款2020年12月发布的国产品牌旗舰机,也是“一下子就打开了”。
研究人员通过手机人脸识别解锁。
不仅仅是手机,部分App的人脸识别也存在类似的安全漏洞。
在掌握了受害者的姓名、身份证号、手机号等个人信息后,研究人员甚至可以在十余款银行及政务类App上通过人脸识别验证,冒用受害者身份完成银行开户,或者查看受害者的社保、公积金等详细信息。
值得注意的是,App实名认证的安全要求比手机解锁更加严格,一般会要求用户进行一些交互操作,比如眨眨眼、点点头。但在测试中,研究人员把对抗样本的眼睛部分挖掉,再做出眨眼、点头等动作,依然可以通过验证。
研究人员通过某政务类App人脸识别验证。
这意味着,即便是那些搭载了交互式活体检测功能的商用人脸识别算法,依然能被对抗样本破解。
有研究人员告诉南都·AI前哨站,目前业界主流的人脸识别算法都具备了活体检测能力,所以之前常见的用一张照片、一段视频来完成刷脸的做法已经行不通。但对抗样本攻击针对的是算法模型底层的漏洞,完全不受活体检测限制。攻击者在脸上添加了局部扰动,导致算法产生了错误识别。
“对于人脸识别应用来说,这是一个此前从未有过的攻击面,需要采取针对性的措施加固。”研究人员说。
破解的技术门槛较高 但仍有现实威胁
不同的手机厂商和App,使用的人脸识别算法难道没有差异?为什么同一副眼镜能解锁不同的手机和App?
张旭东告诉南都·AI前哨站,一个对抗样本不可能攻破所有的产品,但“在一定范围内是通用的”。“现在市场上在商用的主流人脸识别模型其实只有几种。模型之间有可迁移性,也就是有相通的地方,所以我们可以利用这一原理去进行攻击,攻破这19款手机也只用到了两幅眼镜。”
需要说明的是,对抗样本的制作,依赖于一个核心的算法模型。
张旭东介绍,虽然在此次的研究中,模型仅用5分钟左右就可以输出质量较高的对抗样本,但他们所使用的模型也经历了多次迭代的过程。
要开发出这样的模型并不容易,技术门槛较高。但张旭东说,如果有黑客恶意开源相关模型,制作对抗样本的难度就会大大降低,没有技术背景的人也可以上手。
在人工智能领域,类似的案例并不少见,AI换脸便是典型。在Deepfake问世之后,各种各样的开源换脸模型和软件也相继出现。裁判文书网案例显示,一些犯罪团伙便是使用开源软件完成了换脸素材的制作,进而攻破一些金融支付类App。
还有外国开发者推出过一款AI软件,可以把正常照片转换为“裸照”。因为争议太大,开发者很快下架了软件。但直到很久之后,这款软件还在各种网络灰色渠道流传,甚至被人高价出售。
研究人员建议:
不要随便在网上发照片
令人不安的是,RealAI团队所使用的人工智能模型,对于受害者的照片没有太高要求。“大家平常在社交网站上传的照片,只要能看清脸,其实就可以用来做攻击。”张旭东说。
因此,他建议大家不要随便在网上发含有清晰人脸的照片,同时要保护好自己的手机号、身份证号等个人信息。
以银行类App为例,虽然现在的支付转账操作都需要多因素验证,但一旦用户的个人信息全部泄露,不法分子就可能同时完成刷脸、输入手机验证码等操作,使得多因素验证失效。
信息安全攻防,是一个“魔高一尺,道高一丈”的过程。在张旭东看来,就像照片攻击推动了活体检测的诞生,未来,也需要有专门的产品和技术来应对对抗样本攻击。
目前,研究团队已经与测试中涉及的厂商取得联系,协同推进漏洞的修复。
“所有的攻击研究,最终的目标还都是为了找出漏洞,然后再去针对性地打补丁、做防御。”张旭东说,“我们攻克的人脸识别,其实只是厂商业务环节之中的一环。他们面临的安全风险到底处于什么程度?要怎样解决问题?不同的场景下,业务方所面临的安全风险和加固需求都是不一样的,需要大家一起去探索。”