检索结果-内蒙古大学图书馆

作者：吴祖成江南大学

学位级别：硕士

随着互联网和大数据的发展,跨模态检索逐渐成为多模态学习领域一个重要的研究方向。多模态学习主要解决不同类型数据间的相互关联问题,数据类别包括图像、文本、视频、音频等。跨模态检索的主要任务就是通过一个模态的数据检索其他模态... 详细信息

随着互联网和大数据的发展,跨模态检索逐渐成为多模态学习领域一个重要的研究方向。多模态学习主要解决不同类型数据间的相互关联问题,数据类别包括图像、文本、视频、音频等。跨模态检索的主要任务就是通过一个模态的数据检索其他模态的相关数据,建立不同类型数据间的关联。由于文本和图像是最为常见且存在巨大差异的两个数据类型,本文着重于跨模态的图像-文本检索这一任务。目前主流的跨模态检索算法主要是基于注意力机制的细粒度跨模态检索模型。这些方法通过跨模态注意力机制在图像候选框和文本中的单词之间建立联系,实现细粒度特征间的相似度计算,从而提高了检索准确度。然而图像模态和文本模态巨大的模态差异使得细粒度的跨模态检索难以匹配到准确的信息。具体来说,细粒度的跨模态检索方法通常采用目标检测算法获取图像候选框,而这难以与文本中的深度语义信息进行关联。此外,目标检测算法通过物体的外观特征对图像中的物体进行分类,这导致外观相似的物体特征间通常具有较高的相似度,而文本中相互关联的物体在外观上通常差异较大。因此基于相似度的模态内特征关联会对两个模态间的关系匹配产生干扰。为了解决上述问题,本文从图像和文本两个角度出发,通过图卷积和信息补充帮助跨模态检索模型获得更好的细粒度特征匹配。本文的主要工作如下所示: (1)提出了一个基于位置信息图推理和文本指导特征选择的图像-文本检索算法。采用目标检测模型作为图像特征提取器的方法倾向于在外观相近的物体间构建关联,而文本中相关的物体通常在外观上存在巨大差异,这导致了跨模态检索模型难以通过物体间关系获得正确的检索结果。为了解决图像中物体关联和文本中物体关联不匹配的问题,本文提出了基于位置信息的图推理模块,通过物体间的位置关系建立物体间关联。同时提出了基于文本指导的特征选择模块,在通过图模型获取物体间关系的同时保留原始图像特征的信息。 (2)提出了一个基于图像信息提取的图像文本检索算法。为了解决采用目标检测算法作为图像特征提取器难以获得深层语义信息的缺点,本文提出了采用预训练的场景图生成模型提取图像中的物体类别和物体属性信息并将其作为图像特征的补充,从而减小图像模态和文本模态间的模态鸿沟。算法通过将物体类别和属性信息与文本进行跨模态的匹配,使模型学习到其与文本中单词的对应关系,再通过注意力机制计算其与原始图像特征的潜在关系以对图像特征进行信息补充,从而获得更为精确的跨模态检索精度。 (3)提出了一个基于模态内细粒度特征关系提取的图像文本检索算法。为了解决获取图像模态和文本模态的模态内物体关系获取的问题,在基于位置信息图推理和文本指导特征选择的图像-文本检索工作的基础上,在图像模态使用物体位置信息和特征相似度相结合的方式获取图像物体间的关联,在文本模态通过单词相似度获取单词间的关联。再通过多个子图对物体间关系进行推理,最后通过跨模态信息指导的特征融合模块对原始特征和经过图卷积的特征间进行自适应的特征融合,在获取物体间关系的同时,减小了图卷积带来节点特征间差异减小的问题。通过采用两个子模型集成的方式使模型获得了更好的跨模态检索准确率。

关键词：跨模态检索图像-文本检索注意力机制位置信息

来源：评论

学校读者我要写书评

暂无评论

融合全模态自编码器和生成对抗机制的跨模态检索

引用

计算机辅助设计与图形学学报 2021年第10期33卷 1486-1494页

作者：赵鹏马泰宇李毅刘慧婷安徽大学计算智能与信号处理教育部重点实验室合肥230601 安徽大学计算机科学与技术学院合肥230601

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自... 详细信息

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8%,1.4%和1.1%,证明了所提方法的有效性.

关键词：全模态自编码器生成对抗网络跨模态检索

来源：评论

学校读者我要写书评

暂无评论

基于哈希的图文跨模态检索综述

引用

长江信息通信 2025年第1期38卷 134-137,145页

作者：蒋琴钞路四川幼儿师范高等专科学校四川绵阳621600 中国移动通信集团设计院有限公司陕西分公司陕西西安710000

互联网的高速发展,不同模态的数据(图像、视频、文本等)日益增长,使得大数据环境下实现跨模态检索成为了研究热点。哈希方法是一种面向大规模数据的检索手段,利用二值的表示方法使其具备存储小检索快的固有优势。由于深度学习对图像具... 详细信息

互联网的高速发展,不同模态的数据(图像、视频、文本等)日益增长,使得大数据环境下实现跨模态检索成为了研究热点。哈希方法是一种面向大规模数据的检索手段,利用二值的表示方法使其具备存储小检索快的固有优势。由于深度学习对图像具备强大的特征学习能力并且端对端的优势,使得二者的高效结合成为了近年来解决大量多媒体数据检索的利器。为此,文章将跨模态哈希方法分为浅层模型和深层模型两大类,简要分析浅层模型的特点,以深度学习新技术为主线,总结基于卷积神经网络和生成对抗网络,根据高级语义信息的提取和模态间相似性的保持展开研究。同时介绍了评估指标,比对分析不同算法的创新内容和优势。最后,对基于深层模型的跨模态哈希方法的未来发展方向进行讨论展望。

关键词：跨模态检索图文检索跨模态哈希深度学习

来源：评论

学校读者我要写书评

暂无评论

基于多模态预训练模型的跨模态检索方法研究

基于多模态预训练模型的跨模态检索方法研究

引用

作者：夏鑫雨山东师范大学

学位级别：硕士

跨模态检索使用一种模态的数据作为查询,在另一种模态中检索语义相关的数据。依靠深度神经网络强大的语义表征能力,深度跨模态检索模型在跨模态检索任务上展现了优越的检索性能。近几年,多模态预训练模型通过自然语言监督学习视觉表示,... 详细信息

跨模态检索使用一种模态的数据作为查询,在另一种模态中检索语义相关的数据。依靠深度神经网络强大的语义表征能力,深度跨模态检索模型在跨模态检索任务上展现了优越的检索性能。近几年,多模态预训练模型通过自然语言监督学习视觉表示,在多个多模态任务中取得了显著的进展。然而,在跨模态检索方面的潜在影响尚未得到研究。另外,绝大多数的深度跨模态检索方法仅适用于模态数据完备下的跨模态检索场景,他们对模态数据的处理能力不足。针对这些挑战,本文对基于多模态预训练模型的跨模态检索方法展开了研究,主要包括两个工作: (1)本文首次探讨了多模态预训练模型CLIP对跨模态哈希检索性能的影响,并提出了一种简单但强大的无监督对比多模态融合哈希网络(UCMFH)作为基线。首先从CLIP模型中提取现成的视觉和语言特征,作为跨模态哈希函数的输入。为了进一步缩小图像和文本特征之间的语义差距,设计了一个有效的对比多模态学习模块,该模块利用多模态融合Transformer编码器,并受到对比损失的监督,以增强模态间的交互并提升每种模态的语义表示。此外,还设计了一个对比哈希学习模块来生成高质量的模态相关哈希码。实验结果表明,与现有的最先进的监督和无监督跨模态哈希方法相比,本文提出的新无监督基线UCMFH能够实现显著的性能提升。同时,实验也证明了CLIP特征在跨模态哈希检索任务上的性能,相较于现有方法中使用的深度视觉和语言特征具有显著的优势。 (2)本文提出了一个融合多模态预训练网络的多模态Transformer模型,该模型能在模态缺失的情况下充分进行多模态细粒度语义交互,提取多模态融合语义并构造跨模态子空间,同时引导学习生成多模态典型概念。另外,本文使用典型概念作为跨注意力的键(Key)和值(Value)来驱动模态映射网络的训练,使模态映射网络可以自适应地感知查询模态数据中隐含的多模态语义概念,生成跨模态检索特征,充分保留训练提取的多模态融合语义。在四个基准跨模态检索数据集上的实验结果证明,本文提出的方法在模态完备和模态缺失下的跨模态检索任务上都取得了优越的性能。

关键词：跨模态检索缺失模态模态融合哈希 CLIP

来源：评论

学校读者我要写书评

暂无评论

基于联合模态语义相似度的跨模态检索研究及应用

基于联合模态语义相似度的跨模态检索研究及应用

引用

作者：戈明远重庆师范大学

学位级别：硕士

近年来，随着大数据的高速发展，文本、图像以及视频等不同模态的数据也呈现爆炸式增长。因此搭建相同语义信息下不同模态数据之间的联系，实现大规模的跨模态匹配、融合和检索成为了当下的研究热点。跨模态检索旨在对如图像、视频、文... 详细信息

近年来，随着大数据的高速发展，文本、图像以及视频等不同模态的数据也呈现爆炸式增长。因此搭建相同语义信息下不同模态数据之间的联系，实现大规模的跨模态匹配、融合和检索成为了当下的研究热点。跨模态检索旨在对如图像、视频、文本等不同表现形式的数据之间进行互相检索，由于不同模态数据间存在天然的“语义鸿沟”，因此如何对多模态数据进行高级语义抽取与对齐，实现灵活且智能的视频-文本、图像-文本跨模态检索是目前面临的一大挑战。诸多学者已经提出了多种基于深度神经网络的跨模态检索方法，这些方法可以通过非线性的映射方式将不同模态的数据投影到统一的特征空间中挖掘多模态数据的语义信息，增强多模态数据的语义关联性。但这些工作对于模态间以及模态内的相似度挖掘得并不够深入，二者在跨模态检索领域中并没有得到很好的结合。本文致力于解决以上问题，主要做了如下工作：　　(1) 提出了基于相似度增强的无监督跨模态图文哈希检索方法。首先针对文本模态特征稀疏的问题，本文基于GCN设计了一个文本编码器，将语义相近的文本实例联系起来，丰富文本特征。其次使用Hadamard 乘积对原始的模内相似度矩阵进行增强，提出了增强注意力融合机制对不同模态的语义相似度矩阵进行融合。针对不同的实例的文本和图像相似度有不同注意力，且该机制会随着数据集分布的改变自适应的调整注意力。在MS-COCO、NUS-WIDE和Flickr-25K上的大量实验表明，本文提出的方法比其他无监督跨模态图文哈希方法能更有效地优化哈希函数。　　(2) 提出了基于联合模态多粒度相似度对比学习的视频-文本跨模态检索方法。首先针对此前方法缺乏捕获细粒度交互的能力的问题，该方法设计了一个时态多模态变换器来提取视频和文本数据的多粒度语义特征。此外，还进行了模态内和模态间的多粒度相似性计算。其次，为了获得实例级的相似性，该方法提出了注意力联合模态相似性（AJS）模块，它使用了注意力机制来聚合和分配不同的权重的相似性向量/矩阵中的分数。在四个视频-文本基准数据集上的实验表明，该方法在检索性能方面优于现有的方法，验证了所提出方法的有效性。　　(3) 设计并实现了一个跨模态检索系统。该系统对本文提出的两种方法进行封装，验证所提出模型的有效性。实现了文本与图像、文本与视频之间的相互检索等功能，能在短时间内输出并展示有效结果，为实际应用提供了借鉴。

关键词：跨模态检索深度学习对比学习语义相似度联合模态

来源：评论

学校读者我要写书评

暂无评论

基于信息瓶颈的跨模态检索研究

基于信息瓶颈的跨模态检索研究

引用

作者：杨志朋大连理工大学

学位级别：硕士

作为多模态学习领域的重要研究方向之一,跨模态检索旨在弥合视觉和语言的差异,使得它们之间的相似性能够直接被度量。然而,由于多模态数据高维特征的复杂性,现有方法未能充分挖掘特征之间的共享信息,导致相似性度量不准确。此外,多模态... 详细信息

作为多模态学习领域的重要研究方向之一,跨模态检索旨在弥合视觉和语言的差异,使得它们之间的相似性能够直接被度量。然而,由于多模态数据高维特征的复杂性,现有方法未能充分挖掘特征之间的共享信息,导致相似性度量不准确。此外,多模态成对数据之间的冗余信息导致跨模态匹配过程中出现语义偏差,严重影响了数据匹配的准确性。因此,本文基于信息瓶颈理论提出了两种跨模态检索方法,旨在减少数据匹配过程中的冗余信息,使得数据的高维特征能够包含更丰富的跨模态共享语义表示,从而提高跨模态检索的性能。针对多模态数据之间的特征冗余阻碍模态间匹配问题,本文提出基于信息瓶颈冗余信息去除的跨模态检索方法。利用全局池化聚合策略,动态调整区域特征的聚合权重,提升公共嵌入的准确性和语义一致性。设计信息瓶颈压缩网络,以有效地建模跨模态数据变量之间的依赖性。通过限制信息流量,迫使模型捕获数据变量之间的固有关系,并且抛弃冗余特征,以确保学习到的公共嵌入具有更高的代表性和鲁棒性。针对多模态共享信息挖掘不充分,导致模态固有表示偏离的问题,本文提出基于信息瓶颈知识蒸馏的跨模态检索方法。设计全局注意力聚合方式,实现区域关系交互,增强模型的表征能力。设计信息瓶颈知识蒸馏网络,将多模态数据的共享信息和成对数据的依赖关系从视觉语言预训练模型迁移到视觉语义嵌入网络,以保障视觉语义嵌入网络能够以较低的计算代价实现准确的跨模态检索。在公开的跨模态检索基准数据集上,对本文所提出的两种方法进行广泛的实验。实验结果证明两种方法能够降低冗余信息,增强多模态公共表示,提升跨模态检索性能。在Flickr30K数据集上,相比于检索性能次优算法,两种方法分别在R@sum评估指标上提升7.4和10个百分点。在数据分布更复杂的MS-COCO数据集上,相比于基线模型,两种方法在R@sum上分别提升3.2和2.8个百分点。综上所述,本文提出的两种基于信息瓶颈的跨模态检索方法,能够更加充分的挖掘多模态共享信息,提高跨模态检索方法的泛化性和鲁棒性。

关键词：跨模态检索信息瓶颈视觉语义嵌入知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

基于Transformer架构的深度哈希图文跨模态检索研究

基于Transformer架构的深度哈希图文跨模态检索研究

引用

作者：霍亚东曲阜师范大学

学位级别：硕士

近期,随着社交媒体网络和搜索引擎的快速发展,具有多模态性、高维性的多媒体数据呈指数增长,从而亟需设计更加高效的模型来实现精准的跨媒体数据检索。传统检索方案受到存储空间和查询时间的限制,难以实现快速且准确的检索。凭借存储代... 详细信息

近期,随着社交媒体网络和搜索引擎的快速发展,具有多模态性、高维性的多媒体数据呈指数增长,从而亟需设计更加高效的模型来实现精准的跨媒体数据检索。传统检索方案受到存储空间和查询时间的限制,难以实现快速且准确的检索。凭借存储代价低、检索效率高的优势,哈希技术成为解决多媒体数据存储与检索的主流方案。特别是,随着Transformer架构在计算机视觉、自然语言处理等任务中取得突破性进展,基于Transformer架构的深度哈希引起了学术界和工业界的广泛关注。然而,跨模态数据具有底层表征异构、高层语义相关的特点,因此如何生成保持原始语义关系的哈希编码,是一个极具挑战性的任务。本文以图文检索任务出发,研究基于Transformer架构的深度哈希方法,并设计了三种基于深度哈希的图文检索模型。具体研究内容如下: (1)通过计算样本间的相对相似关系,成对损失和三元组损失促进了类间分离,但忽略了类内聚敛,导致产生的哈希编码所包含的语义关系与原始空间的数据分布不一致。为了解决此问题,本文提出基于语义一致代理的深度跨模态哈希方法。具体来说,通过引入可学习的类别代理,设计了语义一致代理损失来学习类内聚敛和类间分离的汉明空间。此外,为了提高哈希编码的质量,提出了均匀分布约束策略来使得哈希编码的分布服从离散均匀分布。通过在三个基准数据集上的实验结果证明,相比于其他先进的跨模态哈希方法,该方法表现出了更好的检索性能。 (2)考虑多标签场景,基于代理学习的跨模态哈希不能有效地表达多标签依赖关系,并且忽略了数据点之间的约束,导致严重的多标签数据间的错误分类冲突。针对该问题,本文提出基于语义感知代理的多标签深度跨模态哈希方法。具体来说,通过联合多模态多标签代理损失和多模态无关损失,设计了语义感知代理损失来捕获多标签相关性,保持样本之间正确的细粒度相似性排序。通过在多标签数据集上的实验结果证明该方法的性能超过了当前主流的深度跨模态哈希模型。 (3)目前的深度跨模态哈希通常利用亲和匹配方案或局部排序方案来捕获简单的局部语义关系,导致了较高的邻居模糊性。同时,上述方法会利用额外的正则化或边际参数来优化参数,导致额外的调整超参数开销。针对该问题,本文提出基于邻居保持的深度跨模态哈希方法。具体来说,通过引入二元互信息,设计了二元球面互信息损失来有效地分离邻居样本和非邻居样本。此外,该模型在参数优化过程中不需要调整任何超参数。为了平稳地优化二元球面互信息损失,提出了平方夹紧方案来提高模型优化的稳定性。在三个数据集上大量的实验结果证明了该算法在不同的评估指标上优于对比方法。

关键词：跨模态检索深度哈希监督学习 Transformer架构语义关系

来源：评论

学校读者我要写书评

暂无评论

基于图网络的深度哈希跨模态检索研究与应用

基于图网络的深度哈希跨模态检索研究与应用

引用

作者：范嘉宝重庆师范大学

学位级别：硕士

科技高速发展的今天，检索数据的精确性和高效性显得尤为重要。实例的多模态数据从不同维度描述实例，同一实例的不同模态往往存在巨大的语义鸿沟。因此，如何填补语义鸿沟并获得对实例一致的语义描述是一个巨大的挑战。为此，学者们开... 详细信息

科技高速发展的今天，检索数据的精确性和高效性显得尤为重要。实例的多模态数据从不同维度描述实例，同一实例的不同模态往往存在巨大的语义鸿沟。因此，如何填补语义鸿沟并获得对实例一致的语义描述是一个巨大的挑战。为此，学者们开发了哈希检索技术，希望通过将不同形式的实例映射到汉明空间来获得接近的哈希表示，这不仅速度快，而且计算成本和存储消耗低。到目前为止，已经提出了将深度神经网络应用于跨模态哈希检索的各种方法。主要的研究领域集中在两个方向：无监督跨模态哈希检索研究以及有监督跨模态哈希检索研究。无监督跨模态哈希检索研究通常使用网络提取的实例特征互补构建亲和矩阵，达到监督网络训练的目的。监督方法通常使用训练数据的标签形成相似性矩阵用来保证网络训练的正确性。本文的主要工作如下：　　(1)提出基于相似性矩阵优化与图网络的跨模态哈希(MHGCN)。对多标签相似性衡量方法进行优化，引入了一种多标签非共现相似性度量方法，该方法在多标签相似性度量中添加实例之间的多标签非共现信息，用以扩大实例之间的差异，能更加准确的定义实例之间的相似性，从而构建出更加精细的相似性矩阵。引入图卷积网络(GCN)处理文本模态信息，提升文本特征的语义层级，减少不同模态之间的语义鸿沟。通过引入内存库机制来限制哈希码学习的差异，从而减少哈希特征形成哈希码时的损失，生成语义信息更加丰富的哈希码。　　(2)提出基于CLIP和图卷积的特征重构跨模态哈希(CGCMH)。通过引入重构特征分别对网络提取的文本和图像特征进行重构，以此来增强模态间的信息交互，用于填补语义鸿沟和进一步减少模态间的损失，解决语义信息在融合过程中丢失生成低质量哈希码的情况，从而有效的保留模态间的相似性。其次，通过引入具有良好性能的预训练大模型CLIP来帮助处理图像信息，提取富含有丰富语义信息的图像特征，提升检索的性能。　　(3)设计并实现了一个跨模态检索系统。该系统对本文提出的CGCMH模型进行封装，验证所提出模型的有效性。实现上传图像检索文本描述、输入文本描述检索对应的图像、上传图像检索类似的图像等功能，能在短时间内高效、快速做出响应，输出并展示结果，为实际应用提供了借鉴。

关键词：跨模态检索深度学习哈希学习图卷积网络

来源：评论

学校读者我要写书评

暂无评论

面向导购机器人的图文跨模态检索算法研究

面向导购机器人的图文跨模态检索算法研究

引用

作者：水翔宇山东交通学院

学位级别：硕士

由于人工智能的兴起,导购机器人在智能零售领域扮演着重要角色,其中图文跨模态检索技术在提升其服务水平方面具有优势。图文跨模态检索,也称为图文匹配,该技术通过将图像与文本信息进行关联,实现了从图像到文本、从文本到图像的跨模态检... 详细信息

由于人工智能的兴起,导购机器人在智能零售领域扮演着重要角色,其中图文跨模态检索技术在提升其服务水平方面具有优势。图文跨模态检索,也称为图文匹配,该技术通过将图像与文本信息进行关联,实现了从图像到文本、从文本到图像的跨模态检索,为用户提供了更加丰富、便捷的信息检索体验。然而,由于图像和文本之间存在着语义上的不一致性和信息表达的差异性,导致图文跨模态检索技术在实际应用中面临诸多挑战。目前主流的方法通常首先检测图像中的显著区域,然后寻找这些区域与文本单词之间的关联性。然而,这些方法主要关注图像中显著区域的特征,而忽略了图像不同区域之间的相关性,并且未充分利用图像区域属性标签,从而无法捕捉到图像和文本中更细节的语义信息,导致图文检索精度不够高。此外,尽管区域-词对构成了跨模态的局部匹配,但当从图像-文本关系的全局视角来看时,它们可能导致相关性的测量不准确。此外,跨模态注意机制可能会引入冗余或不相关的区域单词比对,这会降低检索精度并限制效率。为了解决这些问题,我们提出了以下方法: (1)传统方法往往关注显著区域并且忽略区域间的关联性。针对此类问题,本研究提出了基于图注意力网络的多级语义增强方法。通过联合学习构建全局区域特征图,加强了图像的语义清晰度。在文本端,引入了双层聚合文本网络,以维持语义完整性。此外,利用图注意力网络进一步优化全局图像和文本特征,提升图像-文本跨模态匹配效果。 (2)针对全局视角相关性测量不准确和隐式匹配方法中的冗余问题,本研究提出了基于双重感知注意力和本地全局相似度融合框架。通过综合全局和局部相似性融合,建立更准确的图像和文本对应关系。整合了双重感知-注意力机制来学习图像和文本之间的关系,利用注意力极性来确定匹配程度,并更好地考虑上下文和语义信息,从而减少来自无关区域的干扰。 (3)实验结果证明,我们提出的模型在Flickr30K和MSCOCO两个基准数据集上优于现有方法,为提升导购机器人的检索性能和服务水平提供了有效的技术支持。

关键词：跨模态检索导购机器人注意力机制图文匹配

来源：评论

学校读者我要写书评

暂无评论

面向多层语义对齐的场景文本跨模态检索方法研究

面向多层语义对齐的场景文本跨模态检索方法研究

引用

作者：孙卓天津理工大学

学位级别：硕士

随着互联网技术的飞速发展,文本、图像以及视频等多模态数据的爆发式增长促使多模态任务受到广泛关注。跨模态检索作为多模态领域的重要研究方向,旨在建立不同模态之间的联系,并通过一种模态数据检索另一种模态数据。其主要挑战在于如... 详细信息

随着互联网技术的飞速发展,文本、图像以及视频等多模态数据的爆发式增长促使多模态任务受到广泛关注。跨模态检索作为多模态领域的重要研究方向,旨在建立不同模态之间的联系,并通过一种模态数据检索另一种模态数据。其主要挑战在于如何克服异构数据问题。目前研究者们针对该方向开展了一系列研究并取得了优异成果,目前的方法旨在要求模型理解视觉内容和文本描述的语义信息,然而忽视了图像中的场景文本这一重要模态的语义信息。场景文本在理解视觉场景方面起着至关重要的作用,其中包含的丰富语义信息可以有效辅助细粒度的跨模态检索。为了应对上述挑战,本文提出了面向多层语义对齐的场景文本跨模态检索方法研究,文章的主要内容如下: (1)针对难以进行语义关系对齐的问题,提出了一种面向复杂语义匹配的场景文本跨模态检索方法。首先利用预训练的OCR检测和识别模块提取图像中的场景文本。接下来,构建基于场景文本的检索模块和图像文本检索模块,其中基于场景文本的检索模块利用多层级匹配的方式挖掘文本描述和场景文本的潜在联系,而图像文本检索模块通过聚合不同模态的区域特征,经过池化策略在嵌入空间中度量图片与文本描述间的相似性,缩小语义鸿沟。最后,用难负样本挖掘的三元组损失根据两个模块的融合结果对模型进行约束优化,实现模态间的相互促进,从而提升检索性能。 (2)针对如何充分挖掘模态内和模态间特征的潜在联系这一挑战,提出了一种基于多模态融合的场景文本跨模态检索方法,通过融合图像特征和场景文本特征有效的建模图片的整体语义。该方法基于双流的Transformer结构,并且引入了语义增强模块,该模块通过添加可学习的融合嵌入表示来聚合图像和场景文本的高层语义信息,提升了模型捕获图像中重要语义的能力,从而在图像与文本描述进行语义对齐的基础上,利用融合嵌入表示与文本描述的语义对齐关系增强跨模态检索的精度。 (3)设计了跨模态图文检索原型系统。该系统采用Vue框架,Boot Strap框架与Python结合编程的方式。通过前后端页面实现上述所提出的检索方法,展示了图像与文本的双向检索。

关键词：跨模态检索图像文本匹配场景文本对比学习语义对齐

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：