当前位置 >>  首页 >> 合作交流 >> 学术交流

梁彬教授来实验室作“人工智能系统的安全性”学术报告

撰稿: 摄影: 发布时间:2019年05月16日

受中科院计算所计算机体系结构国家重点实验室武成岗老师的邀请,梁彬教授于2019年04月23日在四层会议室446来计算所交流,做了关于人工智能系统的相关技术报告,并于参会者展开讨论。会议就关于攻防两个方面对人工智能系统的安全性的相关技术展开讨论。


梁彬教授是中国人民大学信息学院教授,博士生导师。研究方向为软件安全性分析与安全攻防。长期从事软件缺陷/漏洞检测与攻防技术研究,主要涉及代码静态分析、动态分析、代码挖掘、智能手机安全及机器学习系统安全等方面,在Linux内核等重要基础性软件系统中成功发现了百余个的未知漏洞/缺陷。近年来已在TSE、TDSC、FSE、IJCAI、CCS、ICSE,WWW、DSN、DEF CON等重要学术会议和期刊上发表了多篇学术论文。

首先,梁彬教授以小组研究作为开场,该研究表明以机器学习为核心的人工智能技术已经得到了广泛的应用,但其自然也是潜在的攻击目标。本报告将从攻防两个方面对人工智能系统的安全性进行探讨,主要将结合实际案例讨论机器学习分类器破解及欺骗深度神经网络文本分类器等攻击技术,并从保护图片分类器的角度给出了相关的威胁缓解方法。

随后,针对滤波实验的数据进行了分析,提出了针对性滤波的改进方案。将滤波范围聚焦于扰动点上。根据梁彬教授的观察:要想扰动部分像素就达到欺骗效果,扰动部分应该引入足够的信息,通过计算图片熵定位高熵点,对其进行较大力度的空间平滑滤波。图片脸部以外的部分对人脸识别贡献不大,可以舍去。

接着,梁彬教授提出了一系列攻击方法,绕开了钓鱼网页分类器及文本分类深度神经网络,并以有着超10亿用户的Google相关产品为目标验证了针对机器学习系统的安全威胁是切实存在的。针对绕开深度学习图片分类器和人脸识别系统的攻击,提出了有效的检测增强方法。

最后,梁彬教授提出新的攻击技术层出不穷,构建足够有效的检测防御方法还是一个待充分研究的开放问题。 会议进行的过程中,大家踊跃参与,频频举手提问,就该工作的诸多细节进行了详细的讨论,梁彬教授也一一解答了大家的疑惑。会议结束后,还有不少与会者与梁彬教授进行了深入的交流。

附件下载: