检索结果-内蒙古大学图书馆

计算机工程与应用 2024年第4期60卷 1-20页

作者：陈磊习怡萌刘立波宁夏大学信息工程学院银川750021

模态代表着数据特定的存在形式,不同模态数据的快速增长,使得多模态学习受到广泛关注。跨模态检索作为多模态学习的一个重要分支,在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据,也包含更广泛的信息,能够满足... 详细信息

模态代表着数据特定的存在形式,不同模态数据的快速增长,使得多模态学习受到广泛关注。跨模态检索作为多模态学习的一个重要分支,在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据,也包含更广泛的信息,能够满足用户对信息检索全面性、灵活性的要求,近年来逐渐成为跨模态检索的研究热点。为全面认识和理解视频文本跨模态检索及其前沿工作,对现有代表性方法进行了梳理和综述。首先归纳分析了当前基于深度学习的单向、双向视频文本跨模态检索方法,对每类方法中的经典工作进行了详细分析并阐述了优缺点。接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标,并在多个常用基准数据集上比较了一些典型方法的性能。最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战。

关键词：多模态跨模态检索深度学习特征提取

来源：评论

学校读者我要写书评

暂无评论

跨模态检索研究进展综述

引用

计算机科学 2021年第8期48卷 13-23页

作者：冯霞胡志毅刘才华中国民航大学计算机科学与技术学院天津300300 民航智慧机场理论与系统重点实验室天津300300

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。文中梳理了跨模... 详细信息

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等角度归纳论述了跨模态检索领域的研究成果。在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能。最后,分析了跨模态检索研究存在的问题,并对该领域未来发展趋势以及应用进行了展望。

关键词：跨模态检索深度学习特征提取相关性度量

来源：评论

学校读者我要写书评

暂无评论

跨模态检索的鉴别子空间学习方法

引用

计算机仿真 2023年第12期40卷 556-562页

作者：章浩明吴小俊徐天阳张东霖江南大学人工智能与计算机学院江苏无锡214122 江南大学江苏省模式识别与计算智能工程实验室江苏无锡214122

许多现有的基于子空间学习的跨模态检索方法只集中于学习一个潜在的子空间,忽略了对鉴别性信息的充分利用,没有很好地保留语义结构信息。为了弥补这一不足,提出了一种跨模态检索的鉴别子空间学习方法(DSL),首先构建一个共享语义图来保... 详细信息

许多现有的基于子空间学习的跨模态检索方法只集中于学习一个潜在的子空间,忽略了对鉴别性信息的充分利用,没有很好地保留语义结构信息。为了弥补这一不足,提出了一种跨模态检索的鉴别子空间学习方法(DSL),首先构建一个共享语义图来保留每个模态中的语义结构,随后引入希尔伯特-施密特独立性准则(HSIC)来保持样本的特征和语义相似度之间的一致性,最后构建角度重构方案。由此DSL可以弥补鉴别性数据使用不足的缺陷,更好地保留每个模态的语义结构信息。在两个常用的基准数据集上进行实验,结果表明上述方法相对于经典子空间学习方法更具有效性。

关键词：核相关性跨模态检索子空间学习监督学习鉴别性

来源：评论

学校读者我要写书评

暂无评论

跨模态检索技术研究综述

引用

计算机工程与应用 2022年第23期58卷 12-23页

作者：徐文婉周小平王佳北京建筑大学电气与信息工程学院北京100044

跨模态检索可以通过一种模态检索出其他模态的信息,已经成为大数据时代的研究热点。研究者基于实值表示和二进制表示两种方法来减小不同模态信息的语义差距并进行有效的相似度对比,但仍会有检索效率低或信息丢失的问题。目前,如何进一... 详细信息

跨模态检索可以通过一种模态检索出其他模态的信息,已经成为大数据时代的研究热点。研究者基于实值表示和二进制表示两种方法来减小不同模态信息的语义差距并进行有效的相似度对比,但仍会有检索效率低或信息丢失的问题。目前,如何进一步提高检索效率和信息利用率是跨模态检索研究面临的关键挑战。介绍了跨模态检索研究中基于实值表示和二进制表示两种方法的发展现状;分析对比了包含两种表示技术下以建模技术和相似性对比为主线的五种跨模态检索方法:子空间学习、主题统计模型学习、深度学习、传统哈希和深度哈希;对最新的多模态数据集进行总结,为相关的研究和工程人员提供有价值的参考资料;分析了跨模态检索面临的挑战并指出了该领域未来研究方向。

关键词：跨模态检索深度学习哈希学习

来源：评论

学校读者我要写书评

暂无评论

面向跨模态检索的音频数据库内容匹配方法研究

引用

信号处理 2020年第6期36卷 966-976页

作者：张天靳聪帖云李小兵郑州大学信息工程学院河南郑州450000 中国传媒大学信息与通信工程学院北京100000 中央音乐学院北京100000

跨模态检索旨在通过以某一模态的数据为查询词,使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法,这已成为多媒体和信息检索领域中一个有趣的研究问题。但是,目前大多数的研究成果集中于文本到图像、文本到视频以及... 详细信息

跨模态检索旨在通过以某一模态的数据为查询词,使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法,这已成为多媒体和信息检索领域中一个有趣的研究问题。但是,目前大多数的研究成果集中于文本到图像、文本到视频以及歌词到音频等跨模态相关任务上,而关于如何为特定的视频通过跨模态检索得到合适的音乐这一跨模态的相关研究却很有限。此外,大多现有的关于视频和音频跨模态的研究依赖于元数据(例如关键字,标签或描述)。本文介绍了一种基于音频和视频这两种模态数据内容的跨模态检索的方法,该方法以新型的双流处理网络为框架,并通过神经网络学习两模态数据在公共子空间的特征表达,以计算音频和视频数据之间的相似度。本文所提出的方法的创新点主要在以下三个方面:1)在原有的提取各模态特征的模型基础上引入注意力机制,以此得到了视频和音频的特征选择模型,并筛选出相应的特征表达。2)使用了样本挖掘机制,剔除了无效样本,使得数据的训练更加高效。3)从计算模态间相似性和保持模态内结构不变两方面出发,利用了相应的损失函数进行模型的训练。且所提出的模型在VEGAS数据集和自建数据集上都取得了较高的准确度。

关键词：深度学习公共子空间跨模态检索

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的跨模态检索综述

引用

中国图象图形学报 2021年第6期26卷 1368-1388页

作者：尹奇跃黄岩张俊格吴书王亮中国科学院自动化研究所北京100190

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检... 详细信息

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索。本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类:基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索。一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优。在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法。同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同。为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库。最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向。

关键词：跨模态检索跨模态哈希深度学习共同表示学习对抗学习似然分析学习排序

来源：评论

学校读者我要写书评

暂无评论

基于高阶语义相关的子空间跨模态检索方法研究

引用

数据分析与知识发现 2020年第5期4卷 84-91页

作者：朱路田晓梦曹赛男刘媛媛华东交通大学信息工程学院南昌330000

【目的】针对跨模态检索中存在的语义鸿沟问题,将异构的多模态数据特征同构化,提升跨模态检索精度。【方法】基于多模态数据间的高阶语义相关性,联合多模态数据的标注信息和结构信息,将不同模态的数据转化为可直接进行检索的同构数据。... 详细信息

【目的】针对跨模态检索中存在的语义鸿沟问题,将异构的多模态数据特征同构化,提升跨模态检索精度。【方法】基于多模态数据间的高阶语义相关性,联合多模态数据的标注信息和结构信息,将不同模态的数据转化为可直接进行检索的同构数据。【结果】在Wiki、NUS-WIDE和XMedia三个公开数据集上进行验证,本文方法的MAP平均值较CCA、JGRHML、SCM、JFSSL这4种方法中的最高值分别提高0.111 3、0.091 0和0.185 0。【局限】该方法对半监督和无监督数据未能取得很好效果。【结论】本文考虑了标注信息的高阶语义相关性和多模态数据之间的结构信息,有效提高了跨模态检索精度。

关键词：跨模态检索高阶语义相关子空间映射

来源：评论

学校读者我要写书评

暂无评论

跨模态检索的哈希方法

跨模态检索的哈希方法

引用

作者：钟芳明大连理工大学

学位级别：博士

随着社交网络的快速发展，爆炸性增长的文本、图像、音视频等多模态数据如潮水一般涌入互联网中，给人们在海量的多模态数据中进行跨模态检索造成了巨大的困难。所谓模态是指一种数据类型或者表现形式，如文本模态和图像模态。而多模态... 详细信息

随着社交网络的快速发展，爆炸性增长的文本、图像、音视频等多模态数据如潮水一般涌入互联网中，给人们在海量的多模态数据中进行跨模态检索造成了巨大的困难。所谓模态是指一种数据类型或者表现形式，如文本模态和图像模态。而多模态数据通常指描述一个共同语义，但是以不同数据类型表示的数据。因此，跨模态检索是一种针对多模态数据之间交叉检索的特殊方式。由于不同模态数据之间的异构差异性和语义鸿沟，给跨模态检索造成了一定的困难。此外，数据的高维度、数据量大、存储开销大等问题进一步给高效和准确的跨模态检索实现提出了挑战。　　哈希方法将不同模态数据映射到一个由精简的哈希编码构成的汉明空间，能够有效解决跨模态检索。然而，汉明空间中的相似度保持、哈希编码的较大量化损失、跨模态数据的线性不可分和检索中存在不可见类为哈希方法设计提出了严峻挑战。本文针对上述四个问题，专注于围绕图像和文本的跨模态检索哈希方法研究。主要贡献如下:　　(1)针对已有算法从模态数据原始空间定义模态内局部结构信息造成汉明空间中的相似度保持不够准确问题，提出一种模态内和模态间相似度保持哈希算法。从目标低维空间的角度研究模态内相似度保持，将相似度矩阵的计算定义在目标空间，并且提出一种有监督距离收缩策略优化相似度矩阵，以加强模态内局部结构一致性。同时还考虑模态间的相似度保持，并将哈希函数学习结合到相似度保持中，以提高其对于海量样本外数据的适应性。实验表明该算法能够有效提升汉明空间中相似度保持的准确性，同时学习到适应性更强的哈希函数。在Pascal VOC数据集上当哈希编码长度为32bits时两个跨模态检索任务的平均精确率均值相比于最好的对比算法，分别提高了12％和11％。　　(2)针对现有方法采用松弛策略丢弃离散受限造成哈希编码较大量化损失问题，提出一种非线性离散跨模态哈希算法。首先基于联合矩阵分解学习跨模态数据公共语义，采用离散优化方法直接学习哈希编码，减小量化损失。同时提出将哈希函数学习转化成一个基于非线性核的二值分类问题，学习一组二值分类器作为哈希函数，建立原始数据和哈希编码之间的直接连接。实验验证该算法能够通过所学习的哈希函数直接生成哈希编码，减小量化损失，提高哈希编码的质量，在MIR Flickr数据集上当哈希编码长度为8bits时两个跨模态检索任务的平均精确率均值相比于最好的对比算法，分别提高了22％和18％。　　(3)针对现有基于线性哈希函数的算法难以解决跨模态数据的线性不可分问题，提出一种深度离散跨模态哈希算法。设计了一种跨模态深度神经网络框架，结合顶层模态间相似度保持、多层模态内相似度保持、标签一致性保持和哈希编码信息冗余最小化等，定义新的目标函数，以离散优化的方式，学习两个深度神经网络作为非线性跨模态哈希函数。实验验证该算法能够有效抓取跨模态数据内的非线性关系，解决跨模态数据的线性不可分问题。在NUS-WIDE数据集上，当哈希编码长度为8bits时两个跨模态检索任务的平均精确率均值相较于最好的对比算法分别取得了21％和14％的提升。　　(4)针对现有哈希方法难以解决跨模态检索过程中存在不可见类的问题，本文提出一种跨模态属性哈希算法。基于不可见类和可见类数据间的属性共享迁移，在跨模态哈希函数学习过程中，将数据特征、哈希编码、类属性和类标签之间的关系建模成一个双多层网络。实现哈希函数将所学知识从可见类迁移到不可见类上。实验表明，该算法通过学习具有知识迁移能力的哈希函数，能够实现不可见类数据的跨模态检索。

关键词：跨模态检索哈希算法数据映射汉明空间

来源：评论

学校读者我要写书评

暂无评论

跨模态检索中的相关度计算研究

跨模态检索中的相关度计算研究

引用

作者：董建锋浙江大学

学位级别：博士

随着互联网、智能移动设备、社交媒体和即时通讯等技术的迅猛发展,人们可以随时随地自行创建和分享各种不同模态的多媒体数据(文字、图像、视频等)。面对大量产生的多媒体数据,如何从中高效、准确地检索到用户所需或感兴趣的多媒体数据... 详细信息

随着互联网、智能移动设备、社交媒体和即时通讯等技术的迅猛发展,人们可以随时随地自行创建和分享各种不同模态的多媒体数据(文字、图像、视频等)。面对大量产生的多媒体数据,如何从中高效、准确地检索到用户所需或感兴趣的多媒体数据是一个具有实际应用价值的问题。其中,跨模态检索允许输入的查询和候选检索对象为不同模态的数据并实现不同模态数据的相互检索,比如以图像搜文本、以文本搜图像等,其灵活多变的检索方式更能满足用户的检索需求,已成为多媒体检索领域的研究热点。对于给定的查询样例,跨模态检索技术根据候选检索对象与查询样例的相关度对候选对象进行排序从而得到最终的检索结果,因此关键在于计算不同模态的多媒体数据间的跨模态相关度。由于不同模态的数据之间呈现出底层特征异构及不可比的特点,称之为异构鸿沟,使得如何计算跨模态相关度成为巨大的挑战。针对上述挑战,本文关注文本、图像和视频三种最常见的数据,对基于文本和图像的跨模态检索及基于文本和视频的跨模态检索展开深入的研究。本文从跨模态数据的表达、公共空间选择的角度出发来计算跨模态相关度,提出了一系列跨模态检索模型,并在多个公开数据上进行了丰富的实验验证。此外,本文还系统评测了目前主流的基于文本和图像的跨模态检索模型,揭露了这些模型的优点和局限性,并从相关度融合角度提出了一个模型融合的框架。具体而言,本文的主要创新和工作可以总结为如下几个方面:1.现有的跨模态检索模型主要对跨模态数据的整体语义信息进行建模,而在图像分析、单模态图像检索领域中受到广泛关注的显著信息并没有在跨模态检索领域被挖掘。本文对文本、视频这两类数据的显著信息表达进行了挖掘,提出了一种能够同时获取输入数据的整体语义信息和显著信息的特征表达方法。所提出的特征表达方法被分别轻松地应用到基于公共空间学习和基于相似性度量的跨模态检索模型中,表现出很好的通用性。实验结果验证了该方法的有效性,并表明额外挖掘显著信息对跨模态检索的潜力。2.基于公共空间学习的主流跨模态检索方法主要依赖将不同模态的数据映射到公共的潜在子空间中,但潜在子空间缺乏实际的物理解释性且需要两次映射才能实现跨模态相关度的计算。本文直接将通过深度卷积神经网络得到的深度视觉特征空间作为公共空间,这样只需简单的单向映射就能实现相关度计算。为此,本文提出了一个可以从文本输入中学习预测深度视觉特征的神经网络模型,使得文本也能在深度视觉空间进行表达从而实现在这个空间中计算跨模态相关度。所提出的模型被应用于与图像和视频相关的跨模态检索中,并在四个公开数据集超过了主流的基于潜在子空间的跨模态模型,实验结果证明选择深度视觉空间作为公共空间进行跨模态检索的可行性和有效性。3.虽然有大量的跨模态检索模型相继被提出,但大部分的模型都是在实验的环境下进行评测,其在真实环境下的表现不得而知,这不利于我们更好的认识模型从而阻碍对模型的改进。本文结合商用搜索引擎的大规模查询日志数据分析对主流的基于文本和图像的跨模态检索模型进行系统地评测,提出了一个基于匹配的基线方法以帮助揭露复杂的先进模型相比于基线模型的性能提升,并进一步对各个模型进行了鲁棒分析和统计显著性检验。本文还通过引入查询的视觉性对文本查询进行自动分类,从而帮助对检索结果进行更细化的分析,认识模型的优点和局限性。4.不同特征和不同跨模态检索方法通常有自己独特的机制、优点及局限性,因此不同特征和不同的方法可能存在一定的互补性。本文系统地研究了特征融合、方法融合两种方案的特点和性能,并提出了一个跨模态相关度的融合框架。所提出的融合框架支持对任何跨模态检索方法进行融合,表现出很好的扩展性;实验结果证明,该融合框架不仅能提升跨模态检索的性能,还能提升其鲁棒性。5.在跨模态相关度融合框架下构建了一个跨模态图像检索原型系统,并在原型系统上初步实现了本文提出的跨模态检索模型,验证了模型在实际跨模态检索应用中的实用性。

关键词：跨模态检索多媒体检索相关度计算特征表达公共空间潜在子空间查询的视觉性显著信息深度学习

来源：评论

学校读者我要写书评

暂无评论

融合改进图卷积的跨模态检索

引用

计算机工程与应用 2024年第11期60卷 95-104页

作者：张宏图化春键蒋毅俞建峰陈莹江南大学机械工程学院江苏无锡214122 江苏省食品先进制造装备技术重点实验室江苏无锡214122 江南大学物联网工程学院江苏无锡214122

针对现有跨模态检索在公共子空间度量时难以充分挖掘模态内局部一致性的问题,提出了一种融合改进图卷积的跨模态检索方法。为了提升各模态内的局部一致性,以单个完整样本为节点构建模态图,充分挖掘特征间的交互信息;为了解决图卷积网络... 详细信息

针对现有跨模态检索在公共子空间度量时难以充分挖掘模态内局部一致性的问题,提出了一种融合改进图卷积的跨模态检索方法。为了提升各模态内的局部一致性,以单个完整样本为节点构建模态图,充分挖掘特征间的交互信息;为了解决图卷积网络只能做浅层学习的问题,采用在每一层图卷积添加初始残差链接和权重恒等映射的方法来缓解此现象;为了通过高低阶邻居信息共同更新中心节点特征,提出减少邻居节点、增加图卷积网络层数的改进;为了学习高度局部一致且语义一致的公共表征,共享公共表征学习层权重,并联合优化公共子空间中模态内的语义约束和模态间的模态不变约束。实验结果表明,在Wikipedia和Pascal sentence这两个跨模态数据集上,不同检索任务的平均mAP值比11种现有方法分别提升了2.2%~42.1%和3.0%~54.0%。

关键词：图卷积网络跨模态检索初始残差连接恒等映射邻接矩阵

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：