分类
普林斯顿大学新闻

保护智能机器免受智能攻击

机器通过处理从传感器收集到的数据来学习的能力,是自动车辆、医疗设备和许多其他新兴技术的基础。但普林斯顿大学(Princeton University)的研究人员发现,这种学习能力让系统以意想不到的方式容易受到黑客的攻击。

在最近的一系列论文中,一个研究团队探索了应用于人工智能(AI)的对抗策略如何能够欺骗交通效率系统,导致交通堵塞,或者操纵一个与健康相关的人工智能应用程序,以揭示患者的私人病史。作为这样的攻击的一个例子,该团队改变了一个驾驶机器人对道路标志的感知,从限速变为“停止”标志,这可能会导致车辆在高速公路上危险地猛踩刹车;在其他例子中,他们改变了停车标志,使之被视为其他各种交通指示。

“如果机器学习是未来的软件,我们正处在确保它安全的一个非常基本的起点,”首席研究员、普林斯顿大学电气工程系副教授普拉提克米塔尔(Prateek Mittal)说。“为了让机器学习技术充分发挥潜力,我们必须了解机器学习在对手面前是如何运作的。这就是我们面临的重大挑战。”

正如软件很容易被电脑病毒入侵和感染,或其用户通过网络钓鱼和其他破坏安全的手段成为骗子的目标一样,ai驱动的应用程序也有自己的弱点。然而,充分保障措施的部署却滞后了。到目前为止,大多数机器学习开发都是在良性的、封闭的环境中进行的——与现实世界中的环境完全不同。

米塔尔是理解一种新出现的弱点的先驱,这种弱点被称为对抗性机器学习。本质上,这类攻击会破坏学习过程,导致人工智能系统产生意想不到的、可能是危险的结果。在最近的一系列论文中,米塔尔的团队描述并演示了三种主要类型的对抗性机器学习攻击。

malicious messages for computer perception

Play video:

Play Video: Stop sign

电气工程领域的研究人员最近发表了一系列论文,探讨对手如何以各种方式欺骗机器学习系统。在一种可能的攻击中,攻击者可以对机器之前学会正确识别的对象进行轻微修改。例如,这个停车标志被设计成让自动驾驶汽车将其解读为“右转”而不是“停车”。

数据井中毒

第一次攻击涉及恶意代理将虚假信息插入人工智能系统用于学习的数据流中——这种方法称为数据中毒。一个常见的例子是大量用户的手机报告交通状况。这些众包数据可以用来训练人工智能系统,开发出更好的自动驾驶汽车集体路线选择模型,从而减少拥堵和燃料浪费。

米塔尔表示:“对手可以简单地在手机与苹果和谷歌等实体之间的通信中注入虚假数据,现在他们的型号可能会受到威胁。”“你从腐败数据中学到的任何东西都会受到怀疑。”

米塔尔的团队最近展示了一种从这种简单的数据中毒升级而来的方法,他们称之为“模型中毒”。在人工智能中,“模型”可能是机器根据对数据的分析而形成的一套关于世界某个部分如何工作的想法。出于隐私方面的考虑,一个人的手机可能会生成自己的本地化模型,允许个人数据保密。然后,匿名化的模型与其他用户的模型共享和共享。米塔尔实验室的博士生Arjun Nitin Bhagoji说:“越来越多的公司开始转向分布式学习,用户不再直接分享他们的数据,而是用他们的数据训练本地模型。”

但是,对手可以把拇指放在天平上。对结果感兴趣的个人或公司可能会欺骗公司的服务器,让它们将自己的模型更新置于其他用户的模型之上。“对手的目的是确保他们选择的数据被归类到他们想要的类别中,而不是真正的类别中,”Bhagoji说。

今年6月,Bhagoji与IBM Research的两名研究人员合作,在加州长滩举行的2019年国际机器学习会议(ICML)上发表了一篇关于这个主题的论文。本文探索了一种基于图像识别的测试模型,对照片中的人是否穿着凉鞋或运动鞋进行分类。虽然这种性质的误分类听起来是无害的,但它是一种不公平的托词,一个不道德的公司可能会使用这种托词来推销自己的产品,而不是竞争对手的产品。

”的对手我们需要考虑在对抗AI研究从个体黑客试图勒索人或公司钱,公司试图获得商业优势,寻求战略优势的民族国家级别的对手,”米塔尔说,世卫组织还与普林斯顿大学信息技术政策中心有关。

用机器学习来对付自己

第二种广泛的威胁被称为逃避攻击。它假设一个机器学习模型已经成功地在真实的数据上训练,并且无论它的任务是什么都达到了很高的准确性。不过,一旦系统开始将其学习应用到现实世界的决策中,它就可以通过操纵系统接收到的输入,将这种成功扭转过来。

例如,自动驾驶汽车的人工智能已经被训练识别限速和停车标志,而忽略快餐店、加油站等的标志。米塔尔集团发现了一个漏洞,如果标识的标识方式是人类可能不会注意到的,那么这些标识就可能被错误分类。研究人员用类似涂鸦或彩弹斑点的额外颜色制作了假的餐馆标志。这些变化骗过了汽车的人工智能,让它误把餐馆的标志当成了停车标志。 

米塔尔说:“我们添加了一些微小的修改,可能会欺骗这个交通标志识别系统。”2018年5月,电气与电子工程师学会(IEEE)在旧金山举办了第一届深度学习与安全研讨会(DLS),会上发表了一篇关于研究结果的论文。

虽然只是为了演示目的,但这个标识再次显示了机器学习可以被劫持以达到邪恶的目的。

不尊重隐私

第三大威胁是隐私攻击,其目的是推断学习过程中使用的敏感数据。在今天这个不断联网的社会里,到处都是这样的人。对手可以利用机器学习模型来获取数据,获取保密信息,如信用卡号码、健康记录和用户的实际位置。

普林斯顿大学研究的一个例子就是“成员推理攻击”。它通过判断是否一个特定的数据点落在目标机器学习训练集。例如,敌人应该落在一个用户的数据,同时通过一个与健康有关的人工智能应用程序的训练集,这些信息将强烈建议用户曾是病人在医院。将这些点上的点连接起来可以揭示用户及其生活的识别细节。

保护隐私是可能的,但在这一点上,它涉及到一个安全权衡——保护人工智能模型不受规避攻击操纵的防御措施,可能使它们更容易受到成员推断攻击。这是第26届ACM计算机与通信安全会议(CCS)上的一篇新论文的关键结论,该会议将于11月在伦敦举行,由米塔尔的研究生宋立伟(音译)领导。用于防止规避攻击的防御策略严重依赖于训练集中的敏感数据,这使得这些数据更容易受到隐私攻击。

这是一场经典的安全与隐私之争,这一次出现了机器学习的转折。与米塔尔一样,宋也强调,研究人员必须开始将这两个领域视为密不可分的联系,而不是只关注其中一个领域而不考虑它对另一个领域的影响。

宋说:“在我们的论文中,通过展示防范规避攻击所导致的隐私泄露增加,我们强调了同时考虑安全和隐私的重要性。”

机器学习和对抗性人工智能还处于早期阶段——或许已经足够早,以至于不可避免地出现的威胁不会占上风。

米塔尔表示:“我们正在进入一个新时代,机器学习将越来越深入我们所做的几乎每件事。”“我们必须认识到威胁,并制定应对措施。”

除了米塔尔和Bhagoji,普林斯顿DLS论文的作者Chawin Sitawarin,现在加州大学的研究生,伯克利和Arsalan Mosenia,现在为谷歌工作,谁进行研究的博士后工作共同与米塔尔和绿豆蒋教授普渡大学电子与计算机工程系。ICML论文的其他研究人员包括IBM的Supriyo Chakraborty和Seraphin Calo;在CCS的论文中,新加坡国立大学的Reza Shokri说。

这项工作得到了国家科学基金会、英特尔公司和海军研究办公室的支持。

新闻旨在传播有益信息,英文原版地址:https://www.princeton.edu/news/2019/10/14/adversarial-machine-learning-artificial-intelligence-comes-new-types-attacks