机器学习系统的隐私和安全问题综述

作     者：何英哲 胡兴波 何锦雯 孟国柱 陈恺 He Yingzhe;Hu Xingbo;He Jinwen;Meng Guozhu;Chen Kai

作者机构：信息安全国家重点实验室(中国科学院信息工程研究所)北京100195 中国科学院信息工程研究所北京100195 中国科学院大学网络空间安全学院北京101408 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2019年第56卷第10期

页      面：2049-2070页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划项目(2016QY04W0805) 国家自然科学基金项目(U1836211,61728209) 中国科学院青年创新促进会 北京市科技新星计划 北京市自然科学基金项目(JQ18011) 国家前沿科技创新项目(YJKYYQ20170070) 

主　　题：机器学习安全 深度学习安全 攻防竞赛 对抗攻击 成员推理攻击 隐私保护 

摘      要：人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.