检索结果-内蒙古大学图书馆

计算机研究与发展 2024年第5期61卷 1182-1192页

作者：朱素霞王金印孙广路哈尔滨理工大学计算机科学与技术学院哈尔滨150080 黑龙江省智能信息处理及应用重点实验室(哈尔滨理工大学) 哈尔滨150080

深度学习模型容易受到后门攻击,在处理干净数据时表现正常,但在处理具有触发模式的有毒样本时会表现出恶意行为.然而,目前大多数后门攻击产生的后门图像容易被人眼察觉,导致后门攻击隐蔽性不足.因此提出了一种基于感知相似性的多目标优... 详细信息

深度学习模型容易受到后门攻击,在处理干净数据时表现正常,但在处理具有触发模式的有毒样本时会表现出恶意行为.然而,目前大多数后门攻击产生的后门图像容易被人眼察觉,导致后门攻击隐蔽性不足.因此提出了一种基于感知相似性的多目标优化隐蔽图像后门攻击方法.首先,使用感知相似性损失函数减少后门图像与原始图像之间的视觉差异.其次,采用多目标优化方法解决中毒模型上任务间冲突的问题,从而确保模型投毒后性能稳定.最后,采取了两阶段训练方法,使触发模式的生成自动化,提高训练效率.最终实验结果表明,在干净准确率不下降的情况下,人眼很难将生成的后门图像与原始图像区分开.同时,在目标分类模型上成功进行了后门攻击,all-to-one攻击策略下所有实验数据集的攻击成功率均达到了100%.相比其他隐蔽图像后门攻击方法,具有更好的隐蔽性.

关键词：后门攻击隐蔽后门投毒攻击深度学习模型安全

来源：评论

学校读者我要写书评

暂无评论

抑制图像非语义信息的通用后门防御策略

引用

中国图象图形学报 2023年第3期28卷 836-849页

作者：郭钰生钱振兴张新鹏柴洪峰复旦大学计算机科学技术学院上海200438 文化和旅游部数字文化保护与旅游数据智能计算重点实验室上海200438 复旦大学金融科技研究院上海200438

目的后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该... 详细信息

目的后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论提出的非语义信息抑制防御方法能够在不需要相关先验知识的情况下将含触发器的样本纠正为正常样本,并且保持对干净样本的分类准确率。

关键词：卷积神经网络(CNN) 模型安全图像分类神经网络后门后门防御

来源：评论

学校读者我要写书评

暂无评论

联邦学习安全与隐私保护综述

引用

南京航空航天大学学报 2020年第5期52卷 675-684页

作者：陈兵成翔张佳乐谢袁源南京航空航天大学计算机科学与技术学院/人工智能学院南京211106

联邦学习是一种新型的分布式学习框架,它允许在多个参与者之间共享训练数据而不会泄露其数据隐私。但是这种新颖的学习机制仍然可能受到来自各种攻击者的前所未有的安全和隐私威胁。本文主要探讨联邦学习在安全和隐私方面面临的挑战。首... 详细信息

联邦学习是一种新型的分布式学习框架,它允许在多个参与者之间共享训练数据而不会泄露其数据隐私。但是这种新颖的学习机制仍然可能受到来自各种攻击者的前所未有的安全和隐私威胁。本文主要探讨联邦学习在安全和隐私方面面临的挑战。首先,本文介绍了联邦学习的基本概念和威胁模型,有助于理解其面临的攻击。其次,本文总结了由内部恶意实体发起的3种攻击类型,同时分析了联邦学习体系结构的安全漏洞和隐私漏洞。然后从差分隐私、同态密码系统和安全多方聚合等方面研究了目前最先进的防御方案。最后通过对这些解决方案的总结和比较,进一步讨论了该领域未来的发展方向。

关键词：计算机系统结构联邦学习模型安全隐私保护

来源：评论

学校读者我要写书评

暂无评论

深度神经网络模型水印研究进展

引用

上海理工大学学报 2024年第3期46卷 225-242页

作者：谭景轩钟楠郭钰生钱振兴张新鹏复旦大学计算机科学技术学院上海200433

随着深度神经网络在诸多领域的成功应用,以神经网络水印为代表的深度模型知识产权保护技术在近年来受到了广泛关注。对现有的深度神经网络模型水印方法进行综述,梳理了目前为了保护模型知识产权而提出的各类水印方案,按照提取水印时所... 详细信息

随着深度神经网络在诸多领域的成功应用,以神经网络水印为代表的深度模型知识产权保护技术在近年来受到了广泛关注。对现有的深度神经网络模型水印方法进行综述,梳理了目前为了保护模型知识产权而提出的各类水印方案,按照提取水印时所具备的不同条件,将其分为白盒水印、黑盒水印和无盒水印3类方法,并对各类方法按照水印嵌入机制或适用模型对象的不同进行细分,深入分析了各类方法的主要原理、实现手段和发展趋势。然后,对模型水印的攻击方法进行了系统总结和归类,揭示了神经网络水印面对的主要威胁和安全问题。在此基础上,对各类模型水印中的经典方法进行了性能比较和分析,明确了各个方法的优势和不足,帮助研究者根据实际的应用场景选用合适的水印方法,为后续研究提供基础。最后,讨论了当前深度神经网络模型水印面临的挑战,并展望未来可能的研究方向,旨在为相关的研究提供参考。

关键词：深度神经网络知识产权保护神经网络水印白盒水印黑盒水印无盒水印水印攻击模型安全

来源：评论

学校读者我要写书评

暂无评论

人工智能处理器的安全架构研究

人工智能处理器的安全架构研究

引用

作者：王兴宾中国科学院大学

学位级别：博士

深度神经网络是现代人工智能的一个重要基石，它在图像分类、人脸识别、自然语言处理等诸多应用中实现了很高的准确度。人工智能算法在不断发展的同时，也面临着诸多安全问题。而对抗样本攻击与防御是AI安全问题中最重要的研究方向之一... 详细信息

深度神经网络是现代人工智能的一个重要基石，它在图像分类、人脸识别、自然语言处理等诸多应用中实现了很高的准确度。人工智能算法在不断发展的同时，也面临着诸多安全问题。而对抗样本攻击与防御是AI安全问题中最重要的研究方向之一。攻击者通过对正常的样本添加精心制作的扰动，就能够欺骗DNN模型使其做出错误的预测。为了防御对抗样本的攻击，研究者一般会采用两种途径来防御AI系统的攻击。一种是通过额外的检测机制来检测对抗样本的攻击，从而来增强AI系统的安全性。研究者通常采用DNN模型或者机器学习去噪方法，亦或者是两者的结合，来实现防御对抗样本攻击的目的。另一种是通过提高AI模型自身防御对抗样本攻击的鲁棒性，来实现AI系统的安全性。通过神经架构搜索自动设计鲁棒网络的方法被认为是防御对抗样本攻击的一种有效的方法。　　然而，无论是DNN模型还是对抗样本防御方法，亦或是具有鲁棒性的NAS网络。部署到云端或者边缘端都面临着一个主要的挑战，就是每次执行DNN模型的推理都有数百万的参数参与计算，使得它的推理任务具有非常高的计算开销。为了解决这个挑战，研究者采用脉动PE阵列和定制的内存层次结构来设计DNN加速器，使得它们能够提供DNN推理所需的高性能。首先，在DNN加速器设计之初，主要是以高性能和低能耗为设计目标，并没有考虑到DNN加速器的安全问题。DNN加速器正面临着各种各样的侧信道攻击，例如内存侧信道攻击、功耗侧信道攻击等。其次，部署这些对抗样本检测机制在现有的DNN加速器上，会面临着不能支持或者低效执行它们的检测任务。尤其是，现在的DNN加速器架构也无法有效支持Robust NAS网络的新特性。总而言之，现存的DNN加速器既存在各种各样的侧信道信息泄露问题，也不能有效的支持额外的检测机制来进行对抗样本检测，更无法适应最新的Robust NAS网络的算法特性。　　为了应对上述问题与挑战，本文从模型安全、对抗样本防御、Robust NAS网络三个方面着手，重新思考DNN加速器的架构设计。从安全的体系架构角度出发，在设计之初就引入安全的基因，对上述三个方面进行硬件体系结构设计。具体研究内容包括如下几点:　　1.为了应对DNN加速器的侧信道攻击，本文从指令流、数据流、控制流三个方面进行安全增强设计，提出了一个安全的DNN加速器架构来抵御模型反向攻击。其中指令安全单元和数据安全单元用来加解密DNN模型的权重、特征图和指令。关键路径加密和融合单元用来缓解DNN加速器内存侧信道的信息泄露。　　2.为了协同原始（目标）DNN网络和对抗样本的检测机制进行高效的执行，并且满足对抗样本防御方法各种计算需求。本文提出了一个弹性异构的DNN加速器架构-DNNGuard，该架构采用了DNN加速器和CPU核紧耦合的设计。弹性特性使得目标网络和检测网络能够同时运行在一个加速器中，并且CPU核有效地执行非DNN计算和神经网络特殊层的计算。为了减少片外内存访问流量和提高资源利用率，本文提出了一种动态的资源调度机制。与此同时，本文还提出了一个扩展的AI指令集来满足典型的加速器架构要求，它能够用于目标网络和检测网络两者间的同步，以及它们之间的任务调度和数据交互。　　3.与典型的DNN网络相比，Robust NAS网络具有显著的特点，例如多分支并行计算，且有分支之间的反向的数据流等特性。现有的DNN加速器不能或者只能低效的支持该网络的推理，为此本文提出了一种支持Robust NAS网络的DNN加速器架构-NASGuard。基于细粒度的众核架构，使得它可以有效地提高多分支并发执行能力。为了充分地利用加速器的计算资源和内存带宽，本文首先设计了启发式的多分支映射模型来合理地进行计算和存储资源的分配。同时，本文设计了多粒度调度机制来解决多分支并行计算造成的负载不平衡问题。此外，为了充分挖掘多分支内的数据时空局部性，本文还设计了拓扑感知性能预测模型来指导硬件进行数据预取操作。

关键词： AI系统 DNN加速器模型安全对抗样本防御 Robust NAS网络

来源：评论

学校读者我要写书评

暂无评论

基于轻量级神经网络的白盒攻防研究

引用

计算机应用与软件 2022年第3期39卷 328-335页

作者：曾逸夫薛继伟东北石油大学计算机与信息技术学院黑龙江大庆163318

针对轻量级神经网络在移动端的安全性缺乏问题,提出模型安全的反防御和二次防御方法。通过在MobileNet v2模型上改造CW算法优化器,采用旋转、添加高斯噪声以及双边滤波器平滑的传统数据增强进行防御,进而体现出反防御效果。在MobileNet... 详细信息

针对轻量级神经网络在移动端的安全性缺乏问题,提出模型安全的反防御和二次防御方法。通过在MobileNet v2模型上改造CW算法优化器,采用旋转、添加高斯噪声以及双边滤波器平滑的传统数据增强进行防御,进而体现出反防御效果。在MobileNet v2、ShuffleNet v2和MnasNet模型上,通过改变旋转缩放因子、采用高斯-X噪声混叠模式以及调整双边滤波像素中心点直径对模型进行二次防御。实验结果表明,ASGD优化器对CW算法的反防御能力有很好的提升,同时改进的数据增强方法可以降低对抗样本的鲁棒性,提升模型二次防御能力。

关键词：轻量级神经网络模型安全反防御二次防御数据增强对抗样本

来源：评论

学校读者我要写书评

暂无评论

基于SCADE的形式化验证技术的改进研究

引用

计算机工程与设计 2013年第6期34卷 2025-2030页

作者：李耀郭进孔令晶宋海权西南交通大学信息科学与技术学院四川成都610031

为保证SCADE软件开发的安全性,研究了SCADE形式化验证技术,指出其不足,提出了基于代码生成器的解决方法。该方法对安全特性属性引入了逻辑描述,并利用SCADE编辑器及代码生成器的特点,对SCADE形式化验证技术进行改进,降低了模型正确性确... 详细信息

为保证SCADE软件开发的安全性,研究了SCADE形式化验证技术,指出其不足,提出了基于代码生成器的解决方法。该方法对安全特性属性引入了逻辑描述,并利用SCADE编辑器及代码生成器的特点,对SCADE形式化验证技术进行改进,降低了模型正确性确认时人为的主观性。通过实例阐述了应用该方法进行形式化验证的一般步骤,表明了该方法是有效可行的。

关键词：高安全性应用开发环境形式化验证安全特性观察器逻辑描述模型安全

来源：评论

学校读者我要写书评

暂无评论

深度学习模型的后门攻击研究综述

引用

计算机科学 2023年第3期50卷 333-350页

作者：应宗浩吴槟中国科学院信息工程研究所信息安全国家重点实验室北京100085 中国科学院大学网络空间安全学院北京100049

近年来,以深度学习为代表的人工智能在理论与技术上取得了重大进展,在数据、算法、算力的强力支撑下,深度学习受到空前的重视,并被广泛应用于各领域。与此同时,深度学习自身的安全问题也引起了广泛的关注。研究者发现深度学习存在诸多... 详细信息

近年来,以深度学习为代表的人工智能在理论与技术上取得了重大进展,在数据、算法、算力的强力支撑下,深度学习受到空前的重视,并被广泛应用于各领域。与此同时,深度学习自身的安全问题也引起了广泛的关注。研究者发现深度学习存在诸多安全隐患,其中在深度学习模型安全方面,研究者对后门攻击这种新的攻击范式进行广泛探索,深度学习模型在全生命周期中都可能面临后门攻击威胁。首先分析了深度学习面临的安全威胁,在此基础上给出后门攻击技术的相关背景及原理,并对与之相近的对抗攻击、数据投毒攻击等攻击范式进行区分。然后对近年来有关后门攻击的研究工作进行总结与分析,根据攻击媒介将攻击方案分为基于数据毒化、基于模型毒化等类型,随后详细介绍了后门攻击针对各类典型任务及学习范式的研究现状,进一步揭示后门攻击对深度学习模型的威胁。随后梳理了将后门攻击特性应用于积极方面的研究工作。最后总结了当前后门攻击领域面临的挑战,并给出未来有待深入研究的方向,旨在为后续研究者进一步推动后门攻击和深度学习安全的发展提供有益参考。

关键词：深度学习模型安全后门攻击攻击范式数据毒化

来源：评论

学校读者我要写书评

暂无评论

针对机器学习Webshell检测模型的对抗补丁研究

引用

信息网络安全 2021年第S01期 247-251页

作者：姚鸿富陈奋陈荣有厦门服云信息科技有限公司厦门361001

机器学习、深度学习技术已经被广泛应用于检测Webshell,并且表现出色。然而机器学习应用于安全核心业务的风险并没有得到业界足够的重视,尤其是对抗样本的存在风险。文章揭示了一种针对Webshell检测模型的低成本、高成功率的对抗样本构... 详细信息

机器学习、深度学习技术已经被广泛应用于检测Webshell,并且表现出色。然而机器学习应用于安全核心业务的风险并没有得到业界足够的重视,尤其是对抗样本的存在风险。文章揭示了一种针对Webshell检测模型的低成本、高成功率的对抗样本构造方法,并设计了一系列指标评价这种对抗样本的风险水平。实验结果显示,该方法对不同的Webshell检测模型均构成威胁,具有极高的攻击成功率以及通用性。文章最后探讨了安全类型机器学习系统应对此类风险的对策,希望能够对研究如何防御此类风险以及提高模型的鲁棒性和安全性带来启发,促进机器学习技术更广泛应用于安全领域。

关键词： Webshell 机器学习深度学习模型安全对抗样本

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的模型窃取方法的研究

基于生成对抗网络的模型窃取方法的研究

引用

作者：吴烘锐华南理工大学

学位级别：硕士

深度学习模型的预测结果隐含了模型的相关信息。模型窃取攻击允许攻击者利用目标黑盒模型的输出训练一个与其功能相同的替代模型,威胁深度学习模型应用和部署的安全。研究这类攻击对于更全面评估模型面临攻击的风险,改进模型部署方式以... 详细信息

深度学习模型的预测结果隐含了模型的相关信息。模型窃取攻击允许攻击者利用目标黑盒模型的输出训练一个与其功能相同的替代模型,威胁深度学习模型应用和部署的安全。研究这类攻击对于更全面评估模型面临攻击的风险,改进模型部署方式以提高防御能力有着重要的意义。模型窃取攻击首先需要获取大量的样本数据,然后通过请求目标模型来获取对应的标签构造数据集,最后利用该数据集训练替代模型。因此攻击的效果很大程度上取决于样本的质量。虽然当前针对模型窃取方法的研究取得了一定的进展,但是仍然存在以下问题:1、为保证样本质量,已有的模型窃取方法大多假定了攻击者可以获取目标模型的部分训练数据,或相关的替代数据集,对于更普遍的无数据场景缺乏研究;2、在无数据场景下,生成的样本容易出现分布集中,样本类别不平衡的问题,限制了替代模型预测精度的提升。针对上述问题,本文提出了一种基于生成对抗网络的模型窃取方法——GBMS,GBMS允许攻击者在没有真实数据的情况下训练替代模型,完成对目标黑盒模型的窃取任务。GBMS通过引入对抗生成网络来解决样本来源问题,同时为使得获取的样本具有较大的分布差异,除了向生成器输入噪声外还输入一组标签数据,并利用最大化互信息技术,不断增大标签和生成样本之间的关联程度。该机制使得可以通过控制输入生成器标签的值来获取不同数据分布的样本,解决生成样本不平衡,数据分布过于集中的问题。实验结果表明,本文所提出的GBMS攻击方法可以很大程度上改善样本不平衡问题,有效提高了替代模型的窃取成功率,并优于当前较新的模型窃取技术。同时,本文还针对GBMS攻击训练得到的替代模型生成对抗样本,并验证了利用该对抗样本进一步向目标模型发起攻击的可行性。

关键词：模型安全模型窃取生成对抗网络互信息

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：