检索结果-内蒙古大学图书馆

计算机辅助设计与图形学学报 2021年第10期33卷 1486-1494页

作者：赵鹏马泰宇李毅刘慧婷安徽大学计算智能与信号处理教育部重点实验室合肥230601 安徽大学计算机科学与技术学院合肥230601

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自... 详细信息

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8%,1.4%和1.1%,证明了所提方法的有效性.

关键词：全模态自编码器生成对抗网络跨模态检索

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗机制的跨模态检索方法研究

基于生成对抗机制的跨模态检索方法研究

引用

作者：马泰宇安徽大学

学位级别：硕士

检索任务一直都是学术界和工业界关注的热点,最初的工作主要集中在单模态检索上,例如用图像检索与之相似的图像。但是现如今互联网的发展速度非常快,人们频繁地使用手机中的各类软件,生产出大规模的多模态数据,例如图片,文字,视频和语... 详细信息

检索任务一直都是学术界和工业界关注的热点,最初的工作主要集中在单模态检索上,例如用图像检索与之相似的图像。但是现如今互联网的发展速度非常快,人们频繁地使用手机中的各类软件,生产出大规模的多模态数据,例如图片,文字,视频和语音等等,以往的单模态检索技术面对人们多样化的检索需求开始变的逐渐乏力,例如人们想要通过一幅图像搜索出与之相关的视频片段或者文本描述。因此为了更好地满足人们的需求,同时更好地利用这些海量的多模态数据资源,跨模态检索就变得尤为重要。跨模态检索的目标是在给定一个模态查询实例的情况下,能够精确地从其它模态中检索出与之语义相似的实例。近几年虽然已经在跨模态检索领域取得了巨大的进展,但是“模态鸿沟”依然是该领域目前存在的巨大挑战。由于不同模态实例的分布和表示方式存在差异,因此无法直接度量它们之间的相似性。近年来深度学习技术的发展势头迅猛,在此期间许多优秀的深度网络模型被相继提出,生成对抗网络就是其中比较具有代表性的模型之一。因为生成对抗网络具有强大的拟合真实数据的特征分布和生成具有判别性的特征表示的能力,所以越来越多的跨模态检索方法引入了生成对抗网络。为了在一定程度上减小“模态鸿沟”对跨模态检索产生的负面影响,本文提出两个融合了生成对抗思想的跨模态检索方法,主要贡献如下所示:(1)现有的大部分基于生成对抗机制的跨模态检索方法只包含一个模态判别器,用来判断生成的样本属于哪一种模态,但是只使用一个模态判别器不能充分地挖掘出模态间的不变性,因此限制了跨模态检索的精度。为了解决这个问题,本文提出一个融合全模态自编码器和生成对抗机制的跨模态检索方法。该方法引入两个并行的全模态自编码器,分别将图像和文本模态的样本嵌入到公共空间中,每个全模态自编码器不仅重构出自身模态的特征表示,还重构出跨模态的特征表示。为了在公共空间中更好地保留语义判别性,在两个全模态自编码器的中间层之间连接了一个分类器,将公共空间中的嵌入特征映射到标签空间中。为了挖掘模态间的不变性,引入一个模态判别器,并在此基础上新增了两个模态判别器,用来挖掘更深层的模态间的不变性。通过生成对抗的策略训练网络,使最终学习到的公共空间不仅保留语义判别性,而且还保留模态间的不变性。(2)现有的大部分有监督的跨模态检索方法没有充分利用类别标签中包含的语义判别信息,尤其是处理多标签数据的跨模态检索方法,它们根据样本的类别标签计算得到的相似度矩阵只能表示两个样本是否相似,并不能表示样本之间更精细的相似关系。为了解决这个问题,本文提出一个融合多级语义关系和注意力机制的对抗跨模态检索方法。该方法计算了一个多级的相似度矩阵,可以表示样本之间更精细的相似关系,指导网络学习保留跨模态数据之间的多级语义相似性。为了在公共空间中更好地保留语义判别性,在两个并行的网络分支末端连接了一个分类器,为公共空间中不同模态的嵌入特征预测一个标签。引入了注意力机制,为特征中包含信息量多的部分赋予更高的权重,让网络在训练过程中更加关注这些部分。除此之外还引入了生成对抗机制,在学习保留语义判别性信息的同时挖掘模态间的不变性信息。

关键词：生成对抗机制全模态自编码器跨模态检索注意力机制

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：