检索结果-内蒙古大学图书馆

自动化学报 2020年第7期46卷 1367-1377页

作者：征察吉立新高超李邵梅吴翼腾国家数字交换系统工程技术研究中心郑州450002

偏标记数据消歧是利用偏标记数据进行机器学习的基础.针对偏标记数据中广泛存在的数据不平衡问题,以及现有消歧算法对样本间约束信息利用不足的问题,本文提出一种基于成对约束的偏标记数据消歧算法.首先,基于低秩表示,推导出数据不平衡... 详细信息

偏标记数据消歧是利用偏标记数据进行机器学习的基础.针对偏标记数据中广泛存在的数据不平衡问题,以及现有消歧算法对样本间约束信息利用不足的问题,本文提出一种基于成对约束的偏标记数据消歧算法.首先,基于低秩表示,推导出数据不平衡条件下样本低秩表示系数和样本相似度之间的关系;其次,基于推导结果,分别构建基于样本间正约束和负约束的图模型,通过最小化图模型的能量函数求解偏标记数据的标签.在5个公开数据集上的实验结果表明本文方法相对基准算法在消歧准确率上平均提高了2.9%~14.9%.

关键词：偏标记数据消歧数据不平衡低秩表示成对约束

来源：评论

学校读者我要写书评

暂无评论

面向机器学习中不安全训练数据的若干关键问题研究

面向机器学习中不安全训练数据的若干关键问题研究

引用

作者：贺硕电子科技大学

学位级别：博士

在当前“数据开放”的时代,随着可利用数据的增多和计算资源的增加,机器学习经历了持续而迅速的发展,在诸如图像视频识别与生成、语言知识理解与推理以及生物信息分析等领域取得了重大突破。然而,数据开放性也给机器学习系统带来了训练... 详细信息

在当前“数据开放”的时代,随着可利用数据的增多和计算资源的增加,机器学习经历了持续而迅速的发展,在诸如图像视频识别与生成、语言知识理解与推理以及生物信息分析等领域取得了重大突破。然而,数据开放性也给机器学习系统带来了训练数据安全性问题。本文关注机器学习中两类不安全训练数据:无恶意的自然弱监督偏标记数据和恶意的有毒后门数据。前者的不安全性体现在标签层面,即偏标记样本的候选标签集合中包含噪声候选标签,这将影响模型训练,导致模型泛化能力下降,从而破坏模型可用性;而后者的不安全性则体现在样本(特征)层面,即后门样本上的触发器可以被用来操纵模型输出行为,从而破坏模型完整性。因此,如何有效防御这两类不安全训练数据提高机器学习模型可用性和完整性具有十分重要的研究意义。随着开放环境复杂化和训练范式多样化,面向这两类不安全训练数据的研究存在以下三个关键问题:(a)现实开放场景下偏标记数据在训练时难以消歧防御:由于图像视觉复杂性、标签语义歧义性、标注场景多样性,偏标记样本中候选标签集合通常包含复杂多样的噪声候选标签,难以有效去噪;(b)参数高效微调范式下文本后门数据仍然存在安全威胁:虽然参数高效微调范式对现有文本后门数据具有鲁棒性,但是依然能被增强文本后门数据有效攻击,暴露出严重的后门安全隐患,且缺少相应防御研究;(c)多模态模型中图文后门数据的防御代价太高:现有多模态后门防御研究集中在预训练或微调阶段,需要额外计算优化过程,难以应用于现实任务。针对这些关键问题,开展了以下三个方面的防御技术研究: (1)面向现实开放场景下偏标记数据的消歧防御研究:首先,针对类别相关偏标记数据,提出了基于标签语义表示的学习方法,采用特定设计的权重校准排序损失函数进行联合视觉与语言的特征表示学习,以促进标签消歧;其次,针对样本相关偏标记数据,提出了基于选择性消歧和候选相关阈值化的方法。该方法优先选择消歧效果较好的样本进行模型训练,然后动态更新两种阈值来选择额外的样本加入模型训练;然后,针对混合闭集与开集OOC(out-of-candidate)偏标记数据,提出了一个统一的训练框架,包括OOC样本选择、反向标签消歧和随机候选标签生成三个部分。各部分实验结果证明了所提出方法能够有效消除噪声候选标签,提高模型泛化能力。此外,以训练数据为中心的视角提出了一个新任务:候选标签裁剪,其目标在于训练前过滤潜在噪声候选标签。为此,提出了基于特征表示空间与候选标签空间不一致性的裁剪算法,并从理论上分析了特征表示质量、标签歧义度以及算法涉及参数如何影响裁剪误差的概率上界。实验结果表明该裁剪算法能够有效过滤噪声候选标签并提高现有方法的性能表现。 (2)面向高效参数微调范式下文本后门数据的微调防御研究:不同于现有文本后门攻击方法集中于全参数微调,首先提出了一个在参数高效微调下的文本后门攻击方法,其通过弱化样本目标类别语义来提高后门植入效率,能够在有限微调周期内实现较高的攻击成功率,从而暴露出严重的后门威胁。为此,提出了基于学习率调整的高效微调防御方法,在微调前期维持学习率以专注干净样本语义学习,而后加速降低学习率,降低后门触发器植入。实验结果证明了该方法能够有效降低所提出攻击方法的攻击成功率。 (3)面向多模态零样本分类下图文后门数据的检测防御研究:提出了一个高效的测试时后门样本检测方法。该方法首先通过语言模型提示输出类别相关描述文本和类别无关随机文本(两种类别特定提示文本);然后通过比较测试图像与这两类文本之间的对比匹配分布差异来检测后门样本。其中,将对比匹配分布差异较小(较大)的测试图片判定为后门图片(干净图片)。实验结果表明,该方法能够有效且快速地检测出不同攻击类型的后门样本。本文针对两类不安全训练数据在不同机器学习任务、不同模态特性、不同应用场景中所展现的本质特点,提出了相应的防御技术解决方案,对于建立安全可靠的机器学习系统具有重要的意义。

关键词：机器学习模型可用性模型完整性偏标记数据后门数据

来源：评论

学校读者我要写书评

暂无评论

基于图的偏标记学习算法研究

基于图的偏标记学习算法研究

引用

作者：谢天战略支援部队信息工程大学

学位级别：硕士

弱监督数据相比于精确标注的强监督数据更易获取,成本更低。如何利用弱监督数据来训练分类器近年来得到了机器学习领域研究者的广泛关注。偏标记数据是一类重要的弱监督数据,在偏标记数据中,每个样本在特征空间中由单个示例来表示,在标... 详细信息

弱监督数据相比于精确标注的强监督数据更易获取,成本更低。如何利用弱监督数据来训练分类器近年来得到了机器学习领域研究者的广泛关注。偏标记数据是一类重要的弱监督数据,在偏标记数据中,每个样本在特征空间中由单个示例来表示,在标记空间中由一组标记组成的候选标记集表示,其中有且只有一个是样本的真实标记。由于偏标记数据的标记不具有单一性和明确性,传统的监督学习算法无法对其进行利用。因此,研究者们提出偏标记学习框架来利用偏标记数据训练分类器,并设计了众多标记学习算法。在众多偏标记学习算法中,基于图模型的偏标记学习算法以其无需复杂参数模型,算法效率高的特点,受到研究者的广泛关注。基于图模型的偏标记学习算法包含三个关键步骤:(1)数据预处理;(2)根据近邻原则构建图模型;(3)根据图模型对偏标记数据进行消歧并训练分类器。现有的基于图模型的偏标记学习算法仍然存在以下问题:(1)算法基于流形假设,即在特征空间中相邻的样本具有相同标记,导致算法表现容易受到共现易错样本的影响;(2)现有方法在构建图模型的过程中,只关注样本在特征空间上的关系,缺乏对候选标记信息的利用,导致信息利用不充分;(3)现有方法在初始状态赋予每个候选标记相同的置信度值,在标记消歧的过程中不断调用初始置信度矩阵,但缺乏对初始置信度矩阵的修正,导致算法容易受到伪标记的影响。针对以上三个问题,本文主要进行了以下工作:(1)针对共现易错样本的的问题,提出一种面向偏标记数据的度量学习算法:在数据处理过程中将数据映射到一个新的特征空间,增大共现易错样本之间的距离。该方法采用统计推断的思想训练度量矩阵,对度量矩阵进行分解得到映射矩阵以将样本映射到新的特征空间。具体地,首先根据标记集信息将样本与其近邻样本组成的样本对划分为由易错样本组成的负样本对和其他样本组成的正样本对两类,对各个样本对赋予不同的权重;然后通过统计推断,利用最大似然估计来计算度量矩阵;最后,通过对度量矩阵进行楚列斯基分解得到映射矩阵,将数据映射到一个新的特征空间,增大共现易错样本之间的距离,从而减轻在流形假设下易错样本的影响。在多个公开数据集上的实验结果表明,利用该方法将数据映射到新的特征空间,可以有效提升现有基于图的偏标记学习算法的消歧和分类表现。(2)针对现有方法在构建图模型的过程中,只关注样本在特征空间上的关系,导致信息利用不充分的问题,提出一种候选标记信息感知的偏标记数据相似度图构建方法:该方法在构建相似度图的过程中综合利用了特征空间和标记空间中的信息。具体来讲,该方法采用杰卡德距离和线性重构两种方式计算各个候选标记集之间的相似度,结合示例在特征空间上的近邻关系构建相似度图,排除图中不合理的连边,以便现有的基于图的偏标记学习算法进行学习和预测。在多个人工合成数据集和真实数据集上的实验结果表明,在构建相似度图的过程中,采用候选标记信息可以有效地提升现有基于图的偏标记学习算法的消歧和分类表现。(3)针对现有方法没有对初始置信度进行修正,导致算法易受伪标记影响的问题,提出一种基于置信度修正的偏标记学习算法:该方法基于标签传播算法并采用双向标记传播,通过正向标记传更新邻居节点当前的置信度矩阵,并将各个邻居节点的消歧结果通过反向标记传播的方式传回原节点,以更新初始置信度矩阵,从而降低伪标记置信度的影响。在公开数据集上的实验结果表明该算法相比于基线算法,具有较好的消歧和分类表现。

关键词：偏标记数据偏标记学习图模型统计推断信息融合标记传播

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：