如果说人工智能是一个婴儿的大脑,那么深度学习就是让这个婴儿的大脑有能力看世界、听世界、感受世界。直观的说,深度学习只是服务于人工智能一个工具,把这个工具用在语音识别领域,就能让机器更会听;把他用在了计算机视觉领域,就能让机器更会看。10月24日,来自美国,专业研究数据挖掘与人工智能,师从人工智能大师吴恩达的Clarence Chio,在GeekPwn2016黑客嘉年华上海站的现场解释道。
作为人工智能和安全跨界领域的第一个探索者, 唯一一个无所不“黑”的安全极客大赛GeekPwn前瞻性地关注到机器学习、视觉识别等人工智能最炙手可热的技术安全的研究,并邀请到如Clarence Chio,以及来自OpenAi的生成式对抗性网络的发明者Ian Goodfellow、谷歌大脑软件工程师团队的核心成员Alexey Kurakin这样的人工智能权威专家亲临极棒活动现场,分享其最新关于人工智能安全性的研究。
反传统,用创造性方法来挑战极限,这也是GeekPwn邀请到这些关注人工智能与安全探路者的原因。是时候该严肃的聊一聊黑客和人工智能与安全了。
机器视觉的“小狗”和“船”
经过几年的发展,新一代机器学习技术已经改变了计算机“看见”世界的方式。机器视觉不仅仅在面部识别、对象识别中优于人类,它还正让诸多基于视觉的任务发生彻底变革,如开车,安全监控等。机器视觉现在简直是超人。 但是,大部分机器学习系统却容易被复杂的场景、叠加的物体所迷惑。
“我们开始注意到机器学习一些让人担忧的缺点。从一些方面看,机器视觉比人类视觉更好。但机器视觉算法有一个阿琉克斯之踵——用某种方式更改后的图片可能会轻松“愚弄”机器视觉。我们称它为对抗性图像。”
什么是对抗性图像?
Ian和Alexey首度开始着手对抗性图像的系统性研究。他们使用机器视觉研究的标准数据库 ImageNet。根据数据库的一部分数据训练某个机器视觉算法,测量系统的精确度,发现大部分对抗性例子都被错误分类。通过修改了 ImageNet 中的图像,生成了一个对抗性图像数据库。
“过去几年中,我们了解到很多关于机器视觉系统将如何如何强大的信息,但现在我们却想知道这些系统多么容易就被人欺骗。”
Ian的研究表明: 这些被研究人员修改后的图像,它们确实是机器视觉的重大威胁。比如,面部识别领域中的对抗性图像可能由人脸上应用的非常细微的斑纹组成,因此观察人脸的人将会正确识别他们的身份,但机器学习系统却可能会认成另一个人。
“这个看起来非常怪,这其实就是属于有对抗性图像的环境,这个对抗式的网络,包括它的预览就犯了错误。”
人工智能与安全研究者Clarence Chio为我们举了一个小狗的例子:一张狗的图片,正常识别下应该是没错的,在这个图片上增加一些微小的对抗性干扰,可能看起来它还应该是一张狗的图,但是机器将它视作一条船了。这个看起来非常怪,这其实就是属于有对抗性图像的环境。同样对于汽车我也可以做类似的事情,虽然它明明是一台车,但是机器已经把它视作是一只猫了。
这些研究将引发计算机安全业界的注意。机器视觉系统目前识别人脸的正确率比人类还高,因而我们可以理所当然地期待机器视觉系统能够在各类事物中使用,包括智能手机解锁,开门,检查护照,银行账号生物特征识别等。但研究人员略施小计就骗过了这些系统,我们不得不重新思考这个问题。
对抗性文件成功骗过Gmail软件扫描系统
Chio说:“首先,Gmail邮件服务本身是一个非常新兴的领域,在很多网络安全会议上包括一些世界级的会议,大家都在使用。” 于是,Gmail成功引起了Chio的注意。
其实,在美国Gmail是非常受欢迎的,使用者每次去上传了附件之后他们都会去扫描这个附件来检查是否有病毒。这种模式其实很多邮件服务商都在做,这也是机器学习的一种方式 。
Chio在GeekPwn现场也向现场观众演示了利用对抗性文件骗过Gmail软件扫描系统的过程。
“我们可以在执行代码的同时吹起虚拟机,生成 5个样本,它们是有一定的可能性来骗过这个软件扫描的安全防护体系。”
“我们可以看到,在向Gmail邮件扫描系统中植入生成的对抗性文件后,系统的检查率下降到52.7%,而遗漏率却上升到47.3%。”不过, Chio也表示,他已经将这个漏洞提供给了谷歌,谷歌方面也对它进行了修复。
Ian Goodfellow、 Alexey Kurakin和Clarence Chio的研究表明:跟所有软件一样,人工智能也避免不了遭受黑客入侵的命运。
“我们一直在努力做的一件事情,是分享我们使用的工具和科研成果,希望大家共同加入我们,让我们做出贡献,让网络环境更加安全。这也是我们来参加GeekPwn的原因。”
其实,不仅仅是这些从事人工智能研究的专家需要去学习如何利用机器学习,任何有创新思维的人,都可能会萌生出一些绝妙的想法,有些想法现在看来可能是不切实际的,但是也许下一秒,技术就极有可能把它们变成现实并迅速投入到实际应用中,开发出很棒的产品。因为新一代机器学习技术已经改变了计算机“看见”世界的方式。