一张贴纸,或可迷惑自动驾驶系统

科技日报 2019-05-13

  自动驾驶的安全性一直以来受到各方的关注。而据新智元报道,近日由北京航空航天大学、悉尼大学和剑桥大学的一项新研究表明,一张纸便可以“迷惑”AI自动驾驶系统,将一张用打印机打印出来的涂鸦贴画贴在路牌上就可以导致AI自动驾驶系统分类错误。目前该论文已在全球人工智能顶级会议AAAI 2019上发表。

  在实验中,研究人员将生成的涂鸦贴画贴在北航校园中标为“限速20km/h”的真实路牌上后,AI自动驾驶系统完全被误分类,将其识别为“No Entry”(禁行)。该涂鸦贴画在论文中被称为“对抗补丁”,正是这块补丁“欺骗”了AI自动驾驶系统,让系统将该路牌误分类。

  经实验证实,用该方法生成的对抗补丁具有稳定的攻击效果,将其贴在路牌上后,不会影响人类对于路牌语义信息的认知,且由于场景语义相关性人类也不会感觉到违和。但是,该对抗补丁对于AI自动驾驶系统则是毁灭性的。例如,这种攻击可能被恶意地用来攻击自动驾驶系统,入侵者只要将一小片贴画贴在路牌上,当自动驾驶汽车驶过时就可能会造成系统的致命错误,导致车祸产生。

责任编辑:王超

科普中国APP 科普中国微信 科普中国微博
科技日报
是中国科协为深入推进科普信息化建设而塑造的全新品牌,旨在以科普内容建设为重点,充分依托现有的传播渠道和平台,使科普信息化建设与传统科普深度融合,以公众关注度作为项目精准评估的标准,提升国家科普公共服务水平。