检索结果-内蒙古大学图书馆

作者：何秉钧中国电子科技集团公司电子科学研究院

学位级别：硕士

在人工智能持续快速发展的浪潮中,深度学习被广泛应用于导航、制造、医疗、交通等领域,并在人类社会的生产、生活中实现越来越深入的融合。与此同时,深度学习模型的设计和运行安全性面临着严峻挑战,针对模型本身的对抗样本攻击已经被证... 详细信息

在人工智能持续快速发展的浪潮中,深度学习被广泛应用于导航、制造、医疗、交通等领域,并在人类社会的生产、生活中实现越来越深入的融合。与此同时,深度学习模型的设计和运行安全性面临着严峻挑战,针对模型本身的对抗样本攻击已经被证明能攻破图像、文本、语音等分类模型,如果投入运行的深度学习系统受到破坏,将会导致隐私泄露、财产损失和人员伤亡等严重后果。为了支撑对抗样本攻击研究,提升模型安全性,在模型上线运行前通过测试平台对其安全性进行全面评估是研究人员常用的做法。本文针对现有的深度学习模型安全分析方法存在的缺乏统一的评估标准、缺少综合评估指标等不足,提出了一套评估对抗样本对模型影响的指标集,这套指标集涵盖了误分类、不可察觉性、对抗样本鲁棒性、攻击效率等方面的性质,能够帮助研究人员更客观、更全面评估在各种对抗样本和攻防算法影响下模型的安全性;在实际环境中,对抗样本攻防算法往往具有很强的针对性,导致已有平台难以具备统一、全面、高效、方便的模型安全分析能力。本文设计实现了人工智能深度学习模型安全测试分析平台,集成了包括Hop Skip Jump Attack,Zoo Attack,Sim BA等黑盒攻击方法,包括Fast Gradient Sign Method,Least Likely Class attack,Deep Fool等白盒攻击方法和PWWS,Text Fooler等文本攻击方法以及Ensemble Adversarial Training,Naive Adversarial Training,Defensive Distillation等防御方法。基于Docker容器技术,预先将各种框架下的模型需要的环境镜像化,以支撑不同框架下深度学习模型的测试场景,同时可将模型转换为ONNX格式来实现黑盒测试。本文基于人工智能深度学习模型安全指标和测试分析平台,进行了图像、文本多场景下的攻击测试、防御测试和攻防测试。通过对测试结果分析,提出了关于模型安全性改进优化的建议。通过对平台的实际测试,证明该系统达到了设计时预期的功能、性能指标。

关键词：对抗样本攻击对抗样本防御深度学习模型安全安全评估

来源：评论

学校读者我要写书评

暂无评论

深度学习模型版权保护技术研究综述

引用

信息安全学报 2025年第1期10卷 17-35页

作者：李珮玄黄土罗书卿宋佳鑫刘功申上海交通大学电子信息与电气工程学院上海200240

深度学习模型在许多任务中取得出色的成绩,也逐渐被广泛应用到众多领域。由于训练一个性能优越的深度神经网络成本高昂,因此深度学习模型可以视作模型所有者的知识产权。然而深度学习模型设计之初并未考虑模型的安全问题,在其快速发展... 详细信息

深度学习模型在许多任务中取得出色的成绩,也逐渐被广泛应用到众多领域。由于训练一个性能优越的深度神经网络成本高昂,因此深度学习模型可以视作模型所有者的知识产权。然而深度学习模型设计之初并未考虑模型的安全问题,在其快速发展的同时面临的安全问题也逐渐突显出来。随着模型训练云平台的部署与应用,深度学习模型被盗取、恶意分发、转卖的威胁大大增加。由于深度学习模型有巨大的实用价值,恶意攻击者非法窃取模型会严重侵犯模型所有者的权益,保护深度学习模型版权迫在眉睫。针对这一问题,近年来有很多关于保护深度学习模型版权的方案陆续被提出,包括基于数字水印技术实现模型所有权验证以及基于水印或加密技术实现模型访问控制等。本文总结梳理了当前研究现状,并探讨了未来可能的研究方向。文章首先介绍了深度学习模型水印、后门攻击的基本概念以及对模型水印的要求;然后,基于不同的分类指标,从方案的实现功能、实现方式、实现时间、以及验证方式的不同,对现有深度学习模型版权保护方案进行全面细致的总结与分类;并且从检测攻击、逃逸攻击、去除攻击及欺诈攻击四个方面,归纳总结了针对深度学习模型版权保护方案的攻击方法;最后,总结研究现状并对未来的关键研究方向进行展望。希望本文详细的梳理总结可以为该领域后续的研究提供有益的参考。

关键词：深度学习模型安全深度学习模型版权保护模型水印

来源：评论

学校读者我要写书评

暂无评论

深度学习模型无损水印与完整性认证方法研究

深度学习模型无损水印与完整性认证方法研究

引用

作者：管玺权中国科学技术大学

学位级别：博士

随着互联网应用的普及,当今时代的信息量呈爆炸式增长。作为一种能在海量数据中获取知识和处理信息的技术,深度学习因其优秀的性能被广泛应用于数据挖掘、计算机视觉、自然语言处理等领域。作为深度学习技术实现的重要载体,深度学习模... 详细信息

随着互联网应用的普及,当今时代的信息量呈爆炸式增长。作为一种能在海量数据中获取知识和处理信息的技术,深度学习因其优秀的性能被广泛应用于数据挖掘、计算机视觉、自然语言处理等领域。作为深度学习技术实现的重要载体,深度学习模型本身具有巨大的应用潜力与商业价值,也因此面临着盗版和篡改等一系列安全问题。为了应对这些潜在的威胁,大量深度学习模型的保护策略应运而生,其中模型水印技术作为一种主动的保护方法,通过将特殊的水印信息嵌入模型,实现版权保护或完整性认证的功能。然而,这些水印信息的嵌入虽然对模型的性能影响较小,但仍会永久地修改模型参数,破坏模型的完整性,不能满足模型完整性认证应用的需求。此外,现有的模型水印方法难以定位模型的篡改区域,更无法修复被篡改的关键参数。因此,设计不损坏模型参数的模型无损水印方法,并构建包含模型篡改定位和修复功能的完整性认证方案已成为当前研究的迫切需求。根据模型使用者能否获取模型内部结构和参数信息,当前深度学习应用主要分为白盒模型和黑盒模型两种场景。为了在不同场景下实现深度学习模型完整性认证方案,本文提出两种不同的无损水印方法:针对内部信息可以被完全获取的白盒模型,本文提出一种可逆水印方法,使模型使用者在完全重构模型参数的同时根据提取的水印信息实现完整性认证、篡改定位和修复功能;针对内部信息无法被获取,只能通过远程访问的黑盒模型,本文在不修改模型参数的情况下提出一种无修改水印方法,使模型使用者仅通过输入输出数据实现模型的完整性认证。此外,为了应对攻击者和不可靠存储平台对模型的篡改攻击,本文通过结合两种无损水印方法和完整性认证方案,设计共享模型的完整性认证策略,以保护深度学习模型的数据安全。本文的主要研究内容和创新点概括为: 1、提出一种白盒模型可逆水印方法本文提出一种白盒模型可逆水印方法,通过设计参数重要性衡量标准和数据处理策略,构建水印嵌入载体,利用可逆信息隐藏技术实现模型可逆水印的嵌入与提取,克服已有方法永久修改模型参数的局限性,使模型使用者在提取水印信息的同时能完全重构模型参数。此外,本文还提出两种白盒模型可逆水印的提升方案,通过改进参数重要性衡量指标并增加参数分块操作,进一步提高模型可逆水印的嵌入容量,降低水印嵌入对模型性能的影响。实验结果表明,本文提出的白盒模型可逆水印具有脆弱性,方法具备严格的可逆性,水印的嵌入对模型性能影响极小,模型使用者在提取出水印信息后能够完全重构模型参数,有效地保留模型的完整性。 2、提出一种基于可逆水印的白盒模型完整性认证方法本文提出一种基于可逆水印的白盒模型完整性认证方法,通过结合可逆水印保留模型完整性的优势,分别实现白盒模型整体完整性认证和局部完整性认证,包括篡改检测、篡改定位和篡改修复的功能。在整体完整性认证中,模型持有者利用可逆水印的方法将包含模型整体特征的水印信息嵌入模型参数中,模型使用者通过比较提取的水印信息与重构模型生成的特征信息实现模型整体的完整性认证;在局部完整性认证中,模型持有者通过将模型参数分块并构建块映射序列,依次嵌入恢复水印和认证水印,使模型使用者通过提取的水印信息定位篡改区域,修复篡改参数。此外,本文结合不同限制条件下攻击者对模型参数篡改策略的差异,讨论不同攻击场景下的篡改参数修复方案。实验结果表明,这两类完整性认证方法都能准确地检测出攻击者对模型参数的篡改,局部完整性认证方法还可以定位篡改区域,并有效地修复篡改参数。 3、提出一种黑盒模型的无修改水印方法与完整性认证方法本文提出一种黑盒模型的无修改水印方法与完整性认证方法,通过迭代构造一组紧贴模型决策边界的输入数据,并利用特定的编码算法编码输出结果,表征无修改水印信息,使模型使用者在无法修改和重构模型参数的情况下提取水印。在此基础上,本文提出一种黑盒模型完整性认证方法,使模型使用者在只能远程访问模型的情况下,通过将预先共享的数据输入模型,提取水印信息,实现模型的完整性认证。实验结果表明,生成的无修改水印能够有效刻画决策边界信息,黑盒模型的整体完整性认证方法能够准确地检测出攻击者对模型的篡改行为,进一步扩展模型完整性认证的应用场景。 4、提出一种共享模型的完整性认证方案本文提出一种共享模型的完整性认证方案,通过结合可逆水印与无修改水印方法,针对共享模型分别设计使用者在远程访问模型和本地下载模型两种情况下的完整性认证策略。该方法能够应对潜在攻击者篡改模型参数和不可靠存储平台篡改模型参数两种攻击行为,并为模型持有者和存储平台提供篡改行为的预警提示,降低共享模型的使用风险,保护模型在共享与传递过程中的完整性。实验结果表明,共享模型的完整性认证方案能够在较低的时间代价下,有效地检测出攻击者的篡改行为,保护深度学习模型的数据安全。

关键词：深度学习模型安全完整性认证无损水印可逆水印无修改水印

来源：评论

学校读者我要写书评

暂无评论

干净标签数据投毒攻击及其于迁移学习中的应用研究

干净标签数据投毒攻击及其于迁移学习中的应用研究

引用

作者：侯哲贤西安电子科技大学

学位级别：硕士

随着近些年计算机算力的增加和数据信息大爆炸,深度学习逐渐受到人们的广泛关注,其在多种现实场景中都有应用。而迁移学习是在成熟的深度学习模型基础上对模型进行再训练,是利用少量数据和计算资源得到目标模型的方法。模型在提供便利... 详细信息

随着近些年计算机算力的增加和数据信息大爆炸,深度学习逐渐受到人们的广泛关注,其在多种现实场景中都有应用。而迁移学习是在成熟的深度学习模型基础上对模型进行再训练,是利用少量数据和计算资源得到目标模型的方法。模型在提供便利的同时也遭受着如对抗样本、模型窃取、数据投毒之类的安全问题。本文对其中的数据投毒攻击展开了深入研究,挖掘深度学习模型中存在的数据投毒问题,寻找和设计潜在的攻防方案。同时又把部分目光放在了迁移场景当中,挖掘数据投毒攻击在迁移学习中的作用和危害。为此本文制定了详细的方案以及实验,并通过实验对比分析寻找影响攻击的因素,成功降低模型的分类性能。本文的主要工作和创新如下: (1)设计基于噪声添加的干净标签毒物数据,并将其应用于网络模型训练当中。本文采用了干净标签攻击的策略,在深度学习的过程中通过制造在人类观察者看来“无比正常”的数据来躲避投毒检测机制并实施数据投毒攻击。其中毒物制作技术采用基于噪声的方式,通过更改原始图像像素值数据(变化的本质即向图像中添加噪声)来得到毒物样本。这些毒物样本会被神经网络中特征提取和处理算法放大,使得图像在特征空间中的张量表示呈现一定的规律,进而误导深度学习模型。 (2)设计并使用了一种基本的卷积神经网络模型BCNN,引入了两种成熟的模型和三种数据集,以对研究进行充分实践和评估。本文工作中单个图像噪声占比维持在0.1953%至0.5102%,预训练模型误判率最高达42.23%,已投毒模型针对目标数据的误判率维持在73.75%至99.4274%。其中误判率数值的高低只是一种数据表现,分类结果只是取分类占比的最高值对应结果。在相同的分类任务中,两个模型的运行时间相差微乎其微,可忽略不计,意即投毒攻击不会对模型分类功能产生过多干扰。 (3)提出了干净标签数据投毒攻击及其在迁移学习中的应用研究,旨在挖掘迁移学习面临的投毒攻击问题。根据分析研究,迁移学习之所以会继承投毒攻击的根本原因在于再训练模型和预训练模型的相似性,会使得模型在对数据进行处理的过程中用同样的方式对数据特征进行计算,对数据造成同样的误判。在本文工作中,已中毒模型再训练之后对目标数据的误判率维持在53.4557%至86.7%,非目标数据误判率以及模型运行效率基本同预训练模型保持一致。防御方案介入后的误判率下降了13.3557%至51.95%,可起到一定程度的防御。

关键词：人工智能干净标签数据投毒迁移学习深度学习模型安全

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：