检索结果-内蒙古大学图书馆

作者：秦亮武汉理工大学

学位级别：硕士

随着信息技术的快速发展,传统的单模态检索已经无法满足人们对多媒体数据的检索需求,跨模态检索因此受到了广泛关注,成为新的研究热点.在实际应用中,由于对数据进行标记的成本过高,通常只能获得部分标记数据和大量未标记数据.面对这种情... 详细信息

随着信息技术的快速发展,传统的单模态检索已经无法满足人们对多媒体数据的检索需求,跨模态检索因此受到了广泛关注,成为新的研究热点.在实际应用中,由于对数据进行标记的成本过高,通常只能获得部分标记数据和大量未标记数据.面对这种情况,现有的监督跨模态检索方法和无监督跨模态检索方法往往无法取得令人满意的结果.此外,大多数现有的跨模态检索方法假设所有样本数据提前已知,通过离线方式对哈希函数和哈希码进行学习,取得了较好的性能.但面对大量流数据的输入时,这些方法往往需要付出高额的训练处理成本且十分低效.本文围绕基于半监督学习的跨模态检索方法进行研究,针对上述问题提出相应解决方案,具体研究内容如下: 1.提出基于锚图分类的半监督跨模态哈希方法,通过核映射将各模态数据映射到高维空间中,保留原始特征的非线性结构,解决了数据在低维空间中的线性不可分问题;设计多标签正则化锚图及标签预测函数,对未标记的多标签数据进行标签预测;在子空间中构造关系投影矩阵,将类标向量映射到低维子空间,减少异构差异并匹配同一类别数据;最后结合预测标签信息和子空间关系信息学习具有区分性的哈希函数,生成统一哈希码,实现高效的跨模态检索. 2.大多数现有跨模态检索方法为离线方法,面对流数据的输入需要高额训练成本且效率低下.本文提出基于在线学习的跨模态哈希方法,针对流数据的输入,对模型进行在线学习并设计新的目标函数,实时更新哈希函数及哈希码;设计在线离散优化算法,当有新数据到来时,利用中间变量的存储与更新对锚图及各变量进行在线更新,同时通过交替迭代优化算法对目标函数进行求解,生成统一哈希码,有效加快训练速度,降低存储空间的需求. 在三个常用于跨模态检索研究的数据集NUS-WIDE、MIRFlickr和MSCOCO2017上进行了相关实验,包括m AP值对比、P-R曲线、top-K曲线和训练速度对比实验,与多种对比方法在同等实验设置下进行的对比实验结果表明,本文提出的方法优于现有跨模态哈希方法.

关键词：跨模态检索半监督学习锚图正则化子空间学习在线学习

来源：评论

学校读者我要写书评

暂无评论

基于多层注意力机制的跨模态检索方法研究

基于多层注意力机制的跨模态检索方法研究

引用

作者：孔浩华中科技大学

学位级别：硕士

大数据的一个重要特征是多模态,不同行业领域的数据来源广泛、形式多样,每一种来源或形式都可以看作是一种模态,例如视频、图片、语音等。基于这些多模态数据,用户可能选择任何媒体形式的内容作为查询条件,因此跨模态数据之间的信息检... 详细信息

大数据的一个重要特征是多模态,不同行业领域的数据来源广泛、形式多样,每一种来源或形式都可以看作是一种模态,例如视频、图片、语音等。基于这些多模态数据,用户可能选择任何媒体形式的内容作为查询条件,因此跨模态数据之间的信息检索具有非常广阔的应用空间,已经成为目前研究的一个热点问题。跨模态检索的主要挑战是如何弥补不同模态间的语义鸿沟,目前已有的基于深度学习的跨模态检索方法通常利用神经网络单独学习每个模态的特征,然后将这些特征投影到公共空间进行表示,然而这些方法往往忽略了每个模态内部和不同模态之间的相互影响。考虑到已有方法的不足,本文在跨模态检索过程中引入了多层注意力机制提取文本和图像数据的细粒度特征,学习每个模态数据内部和不同模态之间的潜在语义关系。在模型中使用自注意力单元学习模态内部的上下文局部信息,使用协同注意力单元学习不同模态数据的全局交互信息,然后将自注意力单元以及协同注意力单元堆叠成多层神经网络结构,利用文本特征编码后的结果指导图像特征的学习过程。此外,由于图像特征会影响单词的含义进而影响文本在语义空间中的位置,本文在多层注意力机制中引入一个多模态自适应门根据图像特征动态的调整文本特征的表示形式,实现文本和图像特征的进一步融合,最后根据标签对模型进行训练,使用训练好的模型完成跨模态检索任务。本文在公开的数据集上进行了测试,通过对比实验和消融实验验证了所提出的跨模态检索模型的有效性。实验结果表明,基于多层注意力机制的跨模态检索方法在Wiki Pidea、Pascal Sentence和Nuswide-10k三个公开的数据集上的效果超越了之前提出的方法,有效的提升了跨模态检索任务的平均精度均值。

关键词：跨模态检索公共空间表示多层注意力机制多模态自适应门

来源：评论

学校读者我要写书评

暂无评论

基于特征融合的跨模态检索方法研究与应用

基于特征融合的跨模态检索方法研究与应用

引用

作者：李超越北京化工大学

学位级别：硕士

随着互联网纪元的来临,每天有大量的数字信息被请求与传输。这些数码讯息有着文字、图片、视频、音频等各自不同的模态种类,针对此类多模态数据的相关检索操作也逐渐被人们所重视。此外,由于数字博物馆与资料数字化的进展,以中国书画为... 详细信息

随着互联网纪元的来临,每天有大量的数字信息被请求与传输。这些数码讯息有着文字、图片、视频、音频等各自不同的模态种类,针对此类多模态数据的相关检索操作也逐渐被人们所重视。此外,由于数字博物馆与资料数字化的进展,以中国书画为数据源产生了大量的相关图像、文本等数字信息,如何更好地整理与利用此类数据,更有效的完成跨模态检索任务,也成为多模态数据研究领域中一个重要的分支。本文以文本和图像两个具有差异的模态数据为切入点,旨在充分发掘二者底层特征与高层语义的关联性,利用独特的特征融合方法完成跨模态检索任务。主要工作包含下述内容:(1)针对中国书画数据的特殊性与当前主流方式的局限性,提出了基于特征融合的跨模态检索方法。该方法充分利用了预训练语言模型与卷积神经网络在文本与图像特征获取的优势,提出一种特征融合方法将二者有机的结合,完成了由文本至图像以及图文组合搜索的跨模态检索任务。并将该方法在公开数据集Fashion200K与MIT-States上进行了相关实验,通过与其余几种不同模态特征的融合方法做对比,证明了所设计方法在跨模态检索性能提升上的有效性。同时,针对中国书画数据,构建了带有标签的书画图像数据集合。并将所提出方法在该数据集上进行了测试实验,以完成对该方法在书画图像跨模态检索任务中的效果检验。(2)构建了书画图像检索应用系统,实现了一个可交互的Java Web应用。该系统以中国书画相关数据为基础,可完成书画图像、印鉴以及相关人物的数据展示与数据检索功能。

关键词：特征融合跨模态检索中国书画检索应用系统

来源：评论

学校读者我要写书评

暂无评论

基于语义共享子空间的跨模态检索算法研究

基于语义共享子空间的跨模态检索算法研究

引用

作者：代瑾江南大学

学位级别：硕士

移动互联网时代,信息数据如图片、文本、音视频等呈现爆炸式增长。如何从这些语义关联且模态多样的数据中获取有价值的信息显得尤为重要,跨模态检索也因此备受关注。与图片检索等单模态检索不同,跨模态检索能跨越不同模态实现信息检索,... 详细信息

移动互联网时代,信息数据如图片、文本、音视频等呈现爆炸式增长。如何从这些语义关联且模态多样的数据中获取有价值的信息显得尤为重要,跨模态检索也因此备受关注。与图片检索等单模态检索不同,跨模态检索能跨越不同模态实现信息检索,更能满足用户日益增长的检索需求。而不同模态的数据特征表示间存在天然的异构鸿沟,无法直接度量其相似性,同模态数据的底层特征表示与高层语义类别间又存在语义鸿沟,难以获得语义一致的数据表示。因此如何挖掘多模态数据间的匹配信息,弥合异构鸿沟与语义鸿沟,提升跨模态检索性能,是当前亟待解决的问题。论文主要研究基于语义共享子空间的跨模态检索,即将不同模态的数据映射到一个同维子空间,并在该子空间中利用简单的距离度量函数度量其相似性。面对多模态数据间的异构鸿沟与语义鸿沟问题,论文在如何更充分的利用数据间的语义一致性、辨识度差异、局部一致性等方面进行了深入研究与分析,主要创新思想及研究成果如下:(1)针对现有的任务导向型的跨模态检索方法对检索模态的语义一致性考虑不足的问题,提出一种联合线性判别和图正则的任务导向型跨模态检索方法。该方法在一个联合学习框架中为不同的检索任务构建不同的映射机制,将不同模态的数据映射到公共子空间中以进行相似性度量;学习过程中结合相关性分析和单模态语义回归,保留成对数据间的相关性以及增强查询模态样本的语义准确性,同时利用线性判别分析保证检索模态样本的语义一致性;还为不同模态的数据构建局部近邻图以保留结构信息,从而提升跨模态检索的性能。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了1.0%～16.0%和1.2%～14.0%。(2)针对现有的基于深度学习的跨模态检索方法对不同模态样本的语义辨识度差异考虑不足的问题,提出一种深度辨识度迁移的跨模态检索方法。该方法最小化文本语义标签与文本公共表征间的语义损失以保留文本公共表征的语义一致性,最小化文本解码向量与文本原始特征间的重构损失将文本原始特征的语义高辨识度迁移至公共子空间。与此同时,最小化公共子空间中的模态不变损失与样本相关性损失以消除不同模态公共表征间的模态差异,保持模态间的成对相关与模态内的局部一致,从而将文本公共表征的语义高辨识度迁移到图片公共表征。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了0.7%～40.6%和3.0%～54.0%。(3)针对现有的基于公共子空间的跨模态检索方法对模态内局部一致性挖掘不充分的问题,提出一种融合图卷积的跨模态检索方法。首先采用K近邻算法为不同模态的样本构建各自的模态图,通过对称的图卷积编码网络和对称的多层全连接编码网络对不同模态样本的原始特征编码并将编码特征融合输入权重共享的公共表征学习层。之后联合优化公共子空间中模态内的语义约束与模态间的模态不变约束为不同模态的样本学习高度局部一致且语义一致的公共表征。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了2.3%～42.2%和2.4%～53.4%。

关键词：跨模态检索公共子空间线性判别分析辨识度迁移图卷积编码

来源：评论

学校读者我要写书评

暂无评论

基于噪声鲁棒学习的跨语言跨模态检索技术研究

基于噪声鲁棒学习的跨语言跨模态检索技术研究

引用

作者：王雅冰浙江工商大学

学位级别：硕士

近年来,随着社交媒体平台(如Facebook,抖音)以及视频分享平台(如YouTube,TikTok)的普及,多媒体数据(如图像,视频,文本)得以在世界各地大规模传播,从而使用户负载了大量的多媒体数据。在这一趋势下,需要探索先进的技术,以跨越不同的模态... 详细信息

近年来,随着社交媒体平台(如Facebook,抖音)以及视频分享平台(如YouTube,TikTok)的普及,多媒体数据(如图像,视频,文本)得以在世界各地大规模传播,从而使用户负载了大量的多媒体数据。在这一趋势下,需要探索先进的技术,以跨越不同的模态,实现有用信息的检索。跨模态检索是一个跨计算机视觉和自然语言处理的多模态任务,其中文本与视频/图像之间的跨模态检索是跨模态检索领域中的重要研究课题之一,受到了学术界和工业界的广泛关注。然而,由于目前大量的人工标注数据都是基于高资源语言的,如英语,这导致了跨模态检索领域的研究工作大多集中在这些高资源语言上,限制了其在低资源语言上的发展。为了缓解人工标注多语言数据的困难,顺应国际化发展的潮流,使跨模态检索应用可以更好的服务于世界各地的用户,跨语言跨模态检索的研究变得非常必要的,特别是如何从资源丰富的源语言(如英语)迁移到缺乏甚至无法获得人工标注数据的目标语言来进行跨模态检索。当前,主流的跨语言跨模态检索方法大多通过机器翻译构造伪平行视觉语言语料库来实现跨语言迁移,然而,机器翻译并不总是完美的,它不可避免地在翻译句子中引入了噪声,如拼写错误,语法错误或是整个句子的语义扭曲,使得到的翻译句子难以准确地描述对应的视觉内容,这被称为噪声对应问题。在这种情况下,如果我们直接将翻译的句子特征和视觉特征直接对齐,会导致网络过拟合于错误的监督信号,使模型检索性能下降。因此,本文以基于噪声鲁棒学习的跨语言跨模态检索技术为研究主题,分别从以下三种角度来实现:(1)受人类阅读策略启发的跨模态检索。为了实现更加鲁棒的跨模态检索任务,本文首先关注于视频表示学习,以提取更加强壮的视频特征,提高跨模态检索的准确性。本文首先设计了一种受人类阅读策略启发的跨模态检索方法,模仿人类阅读策略-由预览到精读。该方法主要针对视觉特征学习设计了两个分支:预览分支和精读分支。预览分支旨在捕捉视频中的概述信息,精读分支旨在提取视频中更深层次的信息,其中,精读分支是可以感知到预览分支所捕捉的概述信息,然后分别从两个空间(预览空间和精读空间)来进行跨模态匹配。(2)基于鲁棒蒸馏的跨语言跨模态检索。为了缓解机器翻译引入了大量的噪声的问题,本文引入了多视角自蒸馏方法来学习噪声鲁棒的目标语言特征,该方法利用cross-attention模块来生成软伪目标,从基于相似度和基于特征的两个视角为目标语言分支学习提供直接监督。此外,受无监督机器翻译的启发,我们使用回译来最小化原句和回译句子之间的语义差异,以进一步提高文本编码器的噪声鲁棒性。(3)基于双视角课程最优传输的跨语言跨模态检索。由于错误的假设通过机器翻译得到的伪平行数据对是正确相关的,这将会导致网络对噪声样本对过拟合。为了解决跨语言跨模态检索中所存在的这一噪声对应关系问题,本文提出了一种双视角课程最优传输方法,基于最优传输理论从跨语言和跨模态两个视角来量化样本对正确相关的置信度,并设计了双视角课程学习策略,根据两种视角的学习状态动态地建模传输代价。最终,根据估计的置信度来自适应地调整每一个样本对的贡献。本文在Multi30K,MSC0C0,VATEX,MSR-VTT-CN和TGIF五个数据集上进行了实验,并证明了本文方法的有效性。同时,还展现了本文所提出的噪声鲁棒学习方法对于机器翻译所引入噪声的鲁棒性。

关键词：跨语言跨模态检索跨模态检索噪声鲁棒最优传输蒸馏

来源：评论

学校读者我要写书评

暂无评论

鉴别性跨模态检索算法研究

鉴别性跨模态检索算法研究

引用

作者：章浩明江南大学

学位级别：硕士

近年来,随着互联网的快速发展,由视频剪辑、图像、文本等多种类型的数据构成的多媒体数据无处不在。如何从这些多媒体数据中获得丰富的信息和宝贵的价值引起了学术界和工业界的广泛研究,跨模态检索算法应运而生。人们对跨模态检索进行... 详细信息

近年来,随着互联网的快速发展,由视频剪辑、图像、文本等多种类型的数据构成的多媒体数据无处不在。如何从这些多媒体数据中获得丰富的信息和宝贵的价值引起了学术界和工业界的广泛研究,跨模态检索算法应运而生。人们对跨模态检索进行了各种各样的研究,该算法的目的是当给定来自一个模态的数据对象作为查询时,可以从另一个模态获得所需的相关对象,所提供的结果能够帮助用户获取有用的信息。跨模态检索方法存在一个基本问题,即如何直接度量多模态数据之间的相似性,这被称为语义鸿沟。为了解决这个问题,大致有两类方法,一类是跨模态子空间学习方法,另一类是跨模态哈希方法。考虑到多模态数据的特点和一些现存于跨模态检索方法的缺点,本文针对如何充分地利用鉴别性信息来更好地保留语义结构信息展开摸索,主要做了以下工作:(1)为了既保持多模态信息之间的相关性,又充分利用语义结构信息,提出了一种跨模态检索的鉴别子空间学习方法,将特征选择和语义结构保留结合到子空间学习中。该方法通过构建一个共享图来保留每个模态中的语义结构,此外引入希尔伯特-施密特独立性准则来保持样本的特征相似度和语义相似度之间的一致性,最后为学习模型构造了一个标签角度重构方案,以学习每个模态的特征表示,这个项可以弥补鉴别性数据使用不充分的缺点,使学习到的表示更具鉴别性,从而提升跨模态检索的性能。针对优化问题,设计了一种基于Stiefel流形的迭代优化方法,该方法收敛性较好,并提供了它的严格收敛性的理论分析。在两个广泛使用的数据集上的实验结果表明,与五种经典的子空间学习方法相比,该方法可以获得更好的性能,因此在子空间学习方法中更具有竞争力。(2)现有的哈希方法仍然存在一些挑战,例如如何有效地利用标签信息,如何学习到更具鉴别性的哈希码以及如何避免大规模相似度矩阵带来的高成本。为了解决这些问题,提出了一种快速鉴别性跨模态哈希方法。在哈希码学习阶段,该方法引入哈希码角度重构方案,将图像和文本信息重构到汉明空间中,利用低层文本图像原始特征直接学习二进制哈希码,减少了由松弛方案引起的信息损失。其次,该方法没有通过构造9)×9)的相似度矩阵,而是利用语义标签嵌入方案直接建立高层语义标签到哈希码的映射,所以计算量较小,存储成本较低。结合上述两者可以学习到更具鉴别性的哈希码。另外,在哈希函数学习阶段,在简单的线性分类回归模型基础上引入一个公共项来保留模态间的有价值的公共信息,从而学习到更加符合预期的哈希函数。在两个基准数据集上展开了充分的实验,最终数据显示,与一些先进的哈希方法相比,该方法可以获得令人满意的性能,具有优越性和有效性。

关键词：跨模态检索鉴别性监督学习子空间学习哈希学习

来源：评论

学校读者我要写书评

暂无评论

面向服装领域的图文融合跨模态检索方法研究

面向服装领域的图文融合跨模态检索方法研究

引用

作者：林辉哈尔滨工业大学

学位级别：硕士

随着互联网和人工智能的不断发展,传统制造业正在面临着升级转型的挑战,服装产业开始使用现代检索技术,从而更好的了解消费者的偏好和行为,以便更好地制定营销策略并将产品推向目标市场,提高销售额和利润。目前大多数平台为消费者和企... 详细信息

随着互联网和人工智能的不断发展,传统制造业正在面临着升级转型的挑战,服装产业开始使用现代检索技术,从而更好的了解消费者的偏好和行为,以便更好地制定营销策略并将产品推向目标市场,提高销售额和利润。目前大多数平台为消费者和企业提供的检索服务以“以文搜图”和“以图搜图”为主,这些检索方式都属于一次检索,用户难以检索到心仪的商品,同时存在语义表达歧义以及缺乏引导性等问题。本文针对现有跨模态检索方法存在的问题和不足,主要研究了图像文本对齐以及图像文本融合两个问题,并基于上述研究实现了面向服装领域的图文融合跨模态检索系统。 (1)图像文本对齐其目的在于使得具有相似语义的图像和文本特征在同一个向量空间当中尽可能的近。为了解决这个问题,本文提出了一种基于文本标签注意的网络CLAN,以图像区域与句子中的词以及句子中的词与图像标签作为图文对的上下文从而发现完整的潜在语义对齐,得到加权的图像和文本特征,计算其相似性,从而利用损失函数进行优化。通过与其他网络的对比实验,证明了该网络的有效性。 (2)图像文本融合其目的在于使得参考图片和相关描述的融合特征与目标图片在同一个向量空间当中尽可能的近。针对图像文本融合特征学习,本文提出了一种基于自注意力和交叉注意力机制的方法。该方法利用CLAN编码器得到特征并进行连接进行初步融合,再利用自注意力和交叉注意力机制得到加权特征和交叉特征,经过简单线性层得到最终的融合特征,计算融合特征与目标图片特征的相似度,从而使得模型能够利用对比损失进行优化。通过实验对比分析,证明本文提出的方法在服装数据集上的有效性和可行性。 (3)基于上述的研究成果,本文设计并开发了图文融合跨模态检索系统,主要面向服装领域,提供了图像文本融合检索功能,并设计测试用例对模型接口和检索功能进行测试,测试结果验证了系统的可靠性以及可用性,同时验证了本文所提出的图文融合检索方法的有效性。

关键词：智能化服装行业跨模态检索图像文本对齐图像文本融合

来源：评论

学校读者我要写书评

暂无评论

基于协同矩阵自适应分解的跨模态检索的技术研究

基于协同矩阵自适应分解的跨模态检索的技术研究

引用

作者：黎安华侨大学

学位级别：硕士

随着大数据时代的到来,网络上出现了大量的多模态数据。大量的多模态数据带来了信息检索领域新的应用需求,从以往的以图搜图片或以文检文,到现在的以文搜图和以文检图的跨模态检索方式。然而这样新的检索方式不能用之前单一模态检索的... 详细信息

随着大数据时代的到来,网络上出现了大量的多模态数据。大量的多模态数据带来了信息检索领域新的应用需求,从以往的以图搜图片或以文检文,到现在的以文搜图和以文检图的跨模态检索方式。然而这样新的检索方式不能用之前单一模态检索的技术来解决跨模态检索的应用需求,如何有效的实现多模态数据之间的相互检索已经成为了当今信息检索领域的研究热点。哈希技术以低存储开销和快速检索的优势,在跨模态检索领域引起广泛的关注,在深入研究和分析跨模态检索的特点的基础上,本文的主要研究图像和文本两种模态之间的跨模态哈希检索,提出了两种跨模态哈希方法解决跨模态检索问题,并验证了该方法在多个公共数据集上的有效性。本文的主要创新点和研究内容:1)大多数的跨模态哈希算法仅仅依赖底层数据结构进行潜在语义关联和数据相似性度量,进行语义一致性约束,这样不利于减小多模态数据的语义鸿沟,而且忽略了,多模态数据之间的语义的相似性。本文从语义相似性保持出发,考虑到模态内相似性和模态间相似性,提出基于松弛化协同矩阵分解的跨模态哈希检索方法,此方法约束了不同模态数据之间的语义相似性,使用矩阵分解构建各个模型的语义空间,生成相似的语义哈希编码,从而减小语义度量的计算量和高层语义鸿沟,实现多模态数据的高层语义表达。2)由深度学习的启发,通过非线性变换映射,更能学习不同模态特征数据之间的高层语义。基于这个思想,提出深度协同矩阵分解的跨模态哈希检索方法,此方法通过学习构建深度矩阵分解模型,经过多层矩阵分解,实现数据的高层语义相似表达,学习多模态相似语义哈希函数,哈希函数通过非线性变换和二值化将数据抽象为高层语义哈希编码,从而减小高层语义之间的鸿沟。

关键词：跨模态检索语义相似性语义鸿沟矩阵分解哈希编码

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的跨模态检索研究

基于深度学习的跨模态检索研究

引用

作者：阮海涛华侨大学

学位级别：硕士

近年来,以视频、图像和文本为代表的多模态数据爆炸式增长。海量的多模态数据中蕴含着丰富的有价值信息。如何让机器自动地理解数据内容、挖掘海量数据背后的潜在关系,以及从海量数据中高效准确检索到用户所需的关键信息,是学术界和工... 详细信息

近年来,以视频、图像和文本为代表的多模态数据爆炸式增长。海量的多模态数据中蕴含着丰富的有价值信息。如何让机器自动地理解数据内容、挖掘海量数据背后的潜在关系,以及从海量数据中高效准确检索到用户所需的关键信息,是学术界和工业界备受关注的研究热点。作为多模态数据分析的重要研究方向,跨模态检索旨在于用一种模态数据搜索语义近似的其他模态的数据。然而,实际场景中面对着数据量大、不同模态的数据存在强烈异质性的问题,如何有效表征不同模态的数据、如何度量异质数据的相似性成为跨模态检索领域亟待解决的问题。为此,本文针对跨模态检索难点问题,提出了基于特征金字塔融合表征网络的跨模态哈希算法和基于语义监督深度度量学习的跨模态检索算法,有效提升跨模态检索性能。具体如下: 方案一是提出一种基于特征金字塔融合表征网络的跨模态哈希检索算法。该方法首先设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。然后,将特征映射到汉明空间进行哈希码学习和相似性的度量,最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习并同时联合优化特征学习和哈希码学习过程,实现端到端的跨模态检索。所提算法与其他跨模态哈希算法在具有挑战性的跨模态检索数据库上进行性能测试。实验结果表明本文所提方法可以进一步提升跨模态检索性能,并优于多种跨模态检索方法。方案二是提出一种基于语义监督深度度量学习的跨模态检索。传统的度量学习方法侧重于对固定的特征学习浅层(线性)马氏度量或手动选择合适的度量(欧式距离、余弦距离),这些方法虽然简单易执行,但是会限制相似性在固定的空间维度,也无法对非等长特征进行相似性度量。同时,这些方法高度依赖特征嵌入网络,性能受特征嵌入网络影响较大,鲁棒性很差。此外,大多数方法只关注了模态间损失,损失函数设计过于单一,具有局限性。为此,所提方法首先采用轻量级深度神经网络去自动学习一个非线性度量函数,并挖掘标签的深层语义通过模态内损失、模态间损失、标签空间损失和度量学习损失保持不同模态数据的相似性,且同时将特征学习和度量学习整合到统一的框架内,实现端到端的跨模态检索。实验结果表明本文所提方法可以进一步提升跨模态检索性能,并优于多种跨模态检索方法。综上所述,本文所提算法在一定程度上为基于深度学习的跨模态检索算法研究开拓思路,为多模态数据的挖掘和有效利用提供了一定的理论依据和技术支撑。

关键词：跨模态检索深度学习特征学习度量学习

来源：评论

学校读者我要写书评

暂无评论

公共空间共享参数的跨模态检索研究

引用

华南师范大学学报（自然科学版） 2023年第1期55卷 88-93页

作者：徐清振肖彬华南师范大学计算机学院广州510631

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法:首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征... 详细信息

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法:首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明:SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。

关键词：跨模态检索公共空间共享参数

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：