检索结果-内蒙古大学图书馆

作者：孙苹苹桂林电子科技大学

学位级别：硕士

随着多媒体数据资源的日益丰富,用于媒体数据知识共享、精准数据挖掘的跨模态检索研究逐渐兴起。由于不同模态数据之间存在表征差异和数据分布差异,因此,如何有效地衡量模态间的相似性、实现精准匹配成为解决跨模态检索问题的关键。伴... 详细信息

随着多媒体数据资源的日益丰富,用于媒体数据知识共享、精准数据挖掘的跨模态检索研究逐渐兴起。由于不同模态数据之间存在表征差异和数据分布差异,因此,如何有效地衡量模态间的相似性、实现精准匹配成为解决跨模态检索问题的关键。伴随着深度学习进入预训练模型时代,经过多种模态数据联合训练的多模态预训练模型获得了丰富的跨模态理解能力,具有良好的迁移能力。本文以对比语言图像预训练(Contrastive Language-Image Pre-training,CLIP)模型为基础,将其迁移至下游跨模态图文检索任务,针对模型数据处理过程中缺少模态间的信息交互,传统类别分类损失函数对于模态内、模态间分类约束效果欠佳,以及类内存在语义信息差的图-文对未作细化区分等问题展开了深入研究,主要研究内容如下:(1)构建了基于CLIP的语义最大相关及模态对齐跨模态检索模型。首先,利用预训练模型已有的图文信息理解能力进行特征提取;其次,通过基于可分解注意力的模态对齐模块,促进相同语义类别间的模态信息交互;接着,利用权重共享的多层感知机来削弱多模态数据在公共表示空间中的模态异质性,保持模态不变性;最后,通过Arc4cmr损失函数,在特征向量和权重矩阵之间施加恒定角度边界惩罚,以增强类别之间的区分度,从而实现同时增大类内相似性与类间差异性的目的。(2)提出了基于CLIP的语义细分及模态对齐推理学习跨模态检索模型。通过基于缩放点积注意力的模态对齐模块,增强语义相关模态特征的关联性,学习两种模态数据之间的模态对齐;设计语义近似匹配与正确匹配模块,增强类内图文特征的聚合性,同时,对类内存在语义信息差异的图-文对做细化区分;利用相互监督对比损失函数,增强特征细粒度对齐,利用图文特征相似度矩阵和相似标签矩阵间的对比损失函数,使类内语义近似匹配的损失小于类间错误匹配的损失。本文基于预训练模型提出了两种跨模态检索模型,并在公开数据集上做了充分的对比实验和消融实验,验证了所提方法的有效性。实验结果表明,在Wikipedia、PascalSentence和NUS-WIDE等三个数据集上,所提算法模型相较于目前典型的算法模型获得了最佳的评估指标分数,有效地提升了跨模态图文检索结果的精度。

关键词：跨模态图文检索 CLIP 语义最大相关语义细分模态对齐

来源：评论

学校读者我要写书评

暂无评论

基于双关系推理的跨模态图文检索研究

基于双关系推理的跨模态图文检索研究

引用

作者：徐莼浙江工商大学

学位级别：硕士

随着多模态数据的爆发式增长,单模态检索已经无法满足人们的检索需求,跨模态检索应运而生并越来越受到研究者的关注。跨模态检索是指用一种模态的数据检索与其语义相关的另一种不同模态的数据。近年来,许多研究者将深度学习技术应用在... 详细信息

随着多模态数据的爆发式增长,单模态检索已经无法满足人们的检索需求,跨模态检索应运而生并越来越受到研究者的关注。跨模态检索是指用一种模态的数据检索与其语义相关的另一种不同模态的数据。近年来,许多研究者将深度学习技术应用在跨模态图文检索领域,这类方法一般包括特征提取、模态内关系推理、跨模态关系推理三个部分。尽管前人的工作在该领域已取得许多进展,但仍然存在一些不足。本文针对模态内关系推理和跨模态关系推理进行了深入研究,主要研究内容和创新如下: (1)为了解决现有方法对图像分支内部潜在语义提取不足、在跨模态关系推理中忽略不重要匹配信息会影响检索性能的问题,提出了一个基于强化表示的跨模态图文检索模型DRRN(Dual Reinforced Representation Network)。设计了图像关系推理模块,使用图卷积神经网络初步构建图像区域间的局部结构关系,并使用门控循环单元保持视觉连贯性。设计了跨模态关系推理模块,使用基于多头的协同注意力捕捉多层面的模态间关联关系,并使用自注意力进一步筛选其中的重要信息。实验结果表明,与对比方法中最先进的方法相比,该模型在两个公开数据集上的以图搜文的R@1值分别提高了1.3%和1.9%,以文搜图的R@1值分别提高了6.2%和1.3%,证明了DRRN的有效性。 (2)针对强化表示模型无法学习对象、关系和属性之间的细粒度对应关系、无法全面表征相似度的问题,提出了一个基于双尺度相似度图推理的跨模态图文检索模型DSGRN(Double-Scale Similarity Graph Reasoning Network)。设计了一个图注意特征增强模块构建模态内关联关系。设计了一个关系图匹配模块,通过匹配文本图和视觉图推理跨模态关系。在推理过程中,将相似度表达为方向和距离两个尺度的向量来全面描述文本与图像之间的匹配关系。实验结果表明,与对比方法中最先进的方法相比,该模型在两个公开数据集上的以文搜图的R@1值分别提高了2.7%和0.6%,证明了DSGRN的有效性。

关键词：跨模态图文检索深度学习注意力机制图卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

基于深度哈希的分层监督跨模态图文检索方法研究

基于深度哈希的分层监督跨模态图文检索方法研究

引用

作者：陈锐东桂林电子科技大学

学位级别：硕士

随着互联网和物联网的迅速发展,产生了海量有价值的多模态数据。如何在海量数据中快速高效地找到与之相关的多模态信息极其重要,这就使得跨模态检索具有了应用场景和研究意义。跨模态检索就是对某一模态的数据进行搜索,返回与检索数据... 详细信息

随着互联网和物联网的迅速发展,产生了海量有价值的多模态数据。如何在海量数据中快速高效地找到与之相关的多模态信息极其重要,这就使得跨模态检索具有了应用场景和研究意义。跨模态检索就是对某一模态的数据进行搜索,返回与检索数据语义相关性最大的其它模态数据。现有跨模态检索算法大多是针对非层次结构监督信息的,没有充分利用层次结构标签中丰富的监督信息,没有很好地将含有相同语义信息的多种模态数据在公共子空间中的距离最小化,没有充分地将不同语义的数据分离开来。针对这些存在的问题,本论文对跨模态图文检索开展了相关的研究,包括如下三个方面:(1)针对当前跨模态检索算法中未能充分最小化含有相同语义信息的多种模态数据在公共空间中的距离,没有充分考虑到层次结构监督信息的层间相关性,不能完全学习到复杂的层间相关信息的问题,本文提出了基于对抗式的分层监督跨模态深度哈希检索算法(Adversarial Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,AHSDH)。该算法基于对抗思想,将特征提取网络作为生成器,模态区分网络作为对抗器,两者进行对抗学习,使含有相同语义的不同模态在公共空间中的距离最近。同时引入标签层内相似性损失和标签层间相关性损失来充分挖掘每一层标签存在的内在相似度和标签层间存在的相关性,从而提高了跨模态检索的准确性。(2)针对基于对抗式的分层监督跨模态深度哈希检索算法(AHSDH)使用词袋模型表示文本模态数据,忽略了文本中语义相关性的问题,本文提出了基于多尺度特征堆叠模型的分层监督跨模态深度哈希检索算法(Multiscale Feature Stacking Model-Based Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,MSFSM-net)。该算法使用不同均值池化层构造的多尺度特征堆叠模型提取文本特征,充分考虑了文本模态的语义相关性。(3)针对不同语义的模态数据对检索干扰的问题,提出基于不同语义区分的分层监督跨模态深度哈希检索算法(Different Semantic Distinctions-Based Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,DSD-net)。该算法为不同语义类别的同一模态和不同模态数据分别设置不同的目标函数,使得具有不同语义类别的模态数据在公共子空间中彼此远离,从而避免了不同语义类别数据对检索的干扰。

关键词：跨模态图文检索深度哈希算法分层监督对抗网络多尺度特征

来源：评论

学校读者我要写书评

暂无评论

融合多标签语义信息的细粒度跨模态图文检索研究

融合多标签语义信息的细粒度跨模态图文检索研究

引用

作者：曹洁中国科学院大学

学位级别：硕士

近几年，跨模态图文检索发展越来越火热，对智能搜索引擎的开发、多媒体数据管理以及多种场景的应用开发具有重要意义。跨模态图文检索是用图片、文本两种模态的数据进行双向检索，包括文本检索和图片检索两个子任务。不同模态的数据具... 详细信息

近几年，跨模态图文检索发展越来越火热，对智能搜索引擎的开发、多媒体数据管理以及多种场景的应用开发具有重要意义。跨模态图文检索是用图片、文本两种模态的数据进行双向检索，包括文本检索和图片检索两个子任务。不同模态的数据具有异质性，呈现底层特征异构、高层语义相关的特点。本文总结跨模态图文检索存在以下四个挑战:1）如何表示底层特征。随着深度学习的发展，人们已经由传统的手工特征转为选择使用深度学习特征。目前存在特征表示方式有:粗粒度特征表示、细粒度特征表示等。如何选择简单有效的方式表示底层特征是跨模态图文检索的挑战之一。2）如何建模语义相关性。跨模态图文检索的关键是缩小不同模态的异质性差距，从而可以简便准确地得到语义相关性，有效地建模语义相关性决定着跨模态图文检索能否取得好的效果。3）如何建模模态的关系。模态之间的关系复杂，包括位置语义关系、相同或不同模态间的关系等，正确的建模模态的关系可以提高检索准确率。4）如何利用外部数据提升检索效果。现有的很多方法都使用了外部数据，如知识图谱、标签集，或者对在其他数据集上预训练的模型进行微调等，各种数据以及数据的使用方法层出不穷。　　针对以上困难，本文提出两个跨模态图文检索方法:　　1)基于注意力全局关系感知的图文检索研究。设计了三个实用的模块，全局注意力模块、Transformer编码模块和关系感知注意力模块，在全局范围明确地考虑局部特征和全局特征以及它们之间的关系，从而实现高效的跨模态图文检索。　　2)基于多标签多模态对比学习网络的跨模态检索研究。通过借助外部分类标签库、使用对比学习来达到跨模态图文检索的目的。利用多标签信息计算多标签负向优化矩阵得到多标签负向注意力，并结合对比学习提出基于多标签InfoNCE的多模态损失函数进行训练。　　总之，本文研究多标签语义信息与细粒度特征实现跨模态图文检索，实验证明本文方法能有效提高检索性能。

关键词：跨模态图文检索深度学习细粒度特征语义关系

来源：评论

学校读者我要写书评

暂无评论

用于图文检索的跨模态信息交互推理网络

引用

计算机工程与应用 2023年第16期59卷 115-124页

作者：魏钰琦李宁东北大学理学院沈阳110819

针对跨模态检索任务中图像与文本模态的语义特征复杂度不一致问题,提出了一种局部细粒度对齐与全局特征推理相结合的图文匹配方法。首先将图像和文本特征输入自适应交叉注意网络,该网络在交叉注意机制内设置门控单元,利用文本(图像)模... 详细信息

针对跨模态检索任务中图像与文本模态的语义特征复杂度不一致问题,提出了一种局部细粒度对齐与全局特征推理相结合的图文匹配方法。首先将图像和文本特征输入自适应交叉注意网络,该网络在交叉注意机制内设置门控单元,利用文本(图像)模态中的相关语义特征,自适应地引导图像(文本)模态的交叉注意。突出关键的局部对齐特征的同时及时高效地过滤掉冗余的交互信息,从而实现更精准的细粒度对齐。然后利用自适应交叉注意网络输出的包含文本(图像)引导信息的特征,在全局推理网络中逐步合成图像(文本)全局对齐特征。不仅利用这些特征之间的长短期记忆关系灵活地将细粒度对齐特征融合为全局特征,并且在迭代更新当前全局特征时,能够根据跨模态交互信息加深对整体潜在语义信息的理解。最后采用交叉熵损失函数训练整个模型。提出的模型在公开数据集MS COCO和Flickr 30k上进行一系列实验,利用Recall@K指标对比实验结果,证明该模型优于目前的先进模型。

关键词：跨模态图文检索交叉注意力关系推理多模态交互

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的跨模态新闻图文检索方法研究

基于深度学习的跨模态新闻图文检索方法研究

引用

作者：彭康华中科技大学

学位级别：硕士

当下,新闻内容呈现出文本、图像、音频、视频等多种数据模态,因而对检索方式产生了更高的要求。其中,一个具有极高应用价值的任务即跨模态图文检索开始被应用于新闻检索领域,其打破了传统单模态检索方式的局限性。然而,现有的跨模态图... 详细信息

当下,新闻内容呈现出文本、图像、音频、视频等多种数据模态,因而对检索方式产生了更高的要求。其中,一个具有极高应用价值的任务即跨模态图文检索开始被应用于新闻检索领域,其打破了传统单模态检索方式的局限性。然而,现有的跨模态图文检索方法仍存在着许多的不足之处,包括对多模态数据的语义表征不足、没有较好的实现对图像与文本的图文语义对齐、图文数据之间的信息交互不够充分,图文模态之间仍然存在着较大的“异构鸿沟”,因而造成检索精度不够、准确率较低等问题。针对上述问题,通过采用深度学习领域的相关技术对现有方法进行改进。首先,引入了预训练的深度网络模型Faster R-CNN、Res Net152以及BERT来提取图文模态的高阶语义特征,包括图像区域特征、图像网格特征以及文本特征,从而改善以往方法中对多模态数据表征能力的不足。其次,为进一步构建对图文模态的深度语义对齐,提出了一种联合局部-全局的图文匹配模型JLGITM,其引入了协同注意力来挖掘对图像区域特征与文本特征的局部匹配关系,再设计了一个门控单元来过滤图像网格特征中的冗余信息,并使用自注意力与残差连接来实现对图文模态的特征增强,进而挖掘图文模态之间的全局匹配关系,最后使用距离函数计算图文模态的局部匹配相似度与全局匹配相似度,并对两者采用加权和值来度量图文模态的相似性。另外,为构建图文模态之间的深度信息交互,提出了一种模态内与模态间的特征融合模型FFIIM,其可以通过灵活使用不同的融合策略来依次执行模态内与模态间的特征融合操作,并引入了多头自注意力来挖掘融合特征中的隐含语义关联,然后利用融合特征执行后续的跨模态图文检索任务。分别在自建新闻图文数据集与公开数据集Flickr30K、MS COCO上对提出的两种方法进行了相关实验与分析,并通过R@K与Rsum等性能评价指标来与现有的优秀工作进行对比。两种方法均展现出了卓越的跨模态图文检索性能,从而证明了所提出方法的合理性与有效性。

关键词：跨模态图文检索深度学习注意力机制图文匹配特征融合

来源：评论

学校读者我要写书评

暂无评论

基于文本生成与迭代匹配的图像-文本检索

引用

计算机辅助设计与图形学学报 2024年

作者：潘莹莹马青白琮浙江工业大学计算机科学与技术学院浙江工业大学理学院

跨模态图文检索由于图像和文本的特征表示方式不同面临着模态异构问题，传统的公共空间方法难以度量图像和文本的相似性. 为此，提出了基于文本生成与迭代匹配的跨模态图像文本检索框架，它包含了特征融合模块和文本生成模块. 特征... 详细信息

跨模态图文检索由于图像和文本的特征表示方式不同面临着模态异构问题，传统的公共空间方法难以度量图像和文本的相似性. 为此，提出了基于文本生成与迭代匹配的跨模态图像文本检索框架，它包含了特征融合模块和文本生成模块. 特征融合模块通过迭代融合的方式，多次对齐图像和文本，在不同的迭代步骤中聚合细粒度信息，捕获图像和文本之间的局部关联信息，优化了局部公共嵌入空间; 文本生成模块采用特征转换的思路，由图像模态中的特征映射到文本模态中的句子特征，通过图文信息交互增强了图像和文本的整体语义相关性，优化了全局公共嵌入空间，挖掘出图像与文本更深层的语义信息，以提高跨模态图像文本检索模型的性能. 在Flickr30K、COCO数据集上进行了实验，并与现有的模型进行比较，结果表明，该框架在Flickr30K和COCO上的整体性能分别提升了0.7%和1.2%. 在文本检索任务的召回指标中，最高可以提升3.4%; 在图像检索任务的召回指标中，最高可以提升4.6%. 消融实验也证明了其中特征融合模块以及文本生成模块的有效性.

关键词：跨模态图文检索文本生成公共空间特征融合迭代匹配

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：