检索结果-内蒙古大学图书馆

中国科学院大学学报(中英文) 2025年第2期42卷 236-247页

作者：钟金彦陈俊李宇吴业炜葛小青中国科学院空天信息创新研究院北京100094 中国科学院大学电子电气与通信工程学院北京100049 中国科学院计算机网络信息中心北京100083 中国科学院大学计算机科学与技术学院北京100049

遥感图文跨模态检索技术能够从海量的遥感数据中快速获取有价值的信息,但现有遥感图文检索方法对遥感图像中的多尺度信息利用不足、目标信息识别效果不佳,检索精度相对较低。为此,提出一种新的遥感图文跨模态检索方法。该方法主要包括... 详细信息

遥感图文跨模态检索技术能够从海量的遥感数据中快速获取有价值的信息,但现有遥感图文检索方法对遥感图像中的多尺度信息利用不足、目标信息识别效果不佳,检索精度相对较低。为此,提出一种新的遥感图文跨模态检索方法。该方法主要包括一个多尺度特征融合模块和一个显著特征增强模块,分别用于融合遥感图像的多尺度信息、加强对遥感图像目标信息的表达能力,从而提高遥感图文跨模态检索精度。在2个公开的遥感图像文本数据集上进行实验验证,结果表明,在遥感图文跨模态检索任务中,该方法在大部分评价指标上都优于其他方法,具有最佳的总体检索性能。

关键词：跨模态检索遥感图像深度学习多尺度特征

来源：评论

学校读者我要写书评

暂无评论

基于哈希的图文跨模态检索综述

引用

长江信息通信 2025年第1期38卷 134-137,145页

作者：蒋琴钞路四川幼儿师范高等专科学校四川绵阳621600 中国移动通信集团设计院有限公司陕西分公司陕西西安710000

互联网的高速发展,不同模态的数据(图像、视频、文本等)日益增长,使得大数据环境下实现跨模态检索成为了研究热点。哈希方法是一种面向大规模数据的检索手段,利用二值的表示方法使其具备存储小检索快的固有优势。由于深度学习对图像具... 详细信息

互联网的高速发展,不同模态的数据(图像、视频、文本等)日益增长,使得大数据环境下实现跨模态检索成为了研究热点。哈希方法是一种面向大规模数据的检索手段,利用二值的表示方法使其具备存储小检索快的固有优势。由于深度学习对图像具备强大的特征学习能力并且端对端的优势,使得二者的高效结合成为了近年来解决大量多媒体数据检索的利器。为此,文章将跨模态哈希方法分为浅层模型和深层模型两大类,简要分析浅层模型的特点,以深度学习新技术为主线,总结基于卷积神经网络和生成对抗网络,根据高级语义信息的提取和模态间相似性的保持展开研究。同时介绍了评估指标,比对分析不同算法的创新内容和优势。最后,对基于深层模型的跨模态哈希方法的未来发展方向进行讨论展望。

关键词：跨模态检索图文检索跨模态哈希深度学习

来源：评论

学校读者我要写书评

暂无评论

跨模态检索中的相似性漂移问题

引用

国防科技大学学报 2021年第5期43卷 99-106页

作者：郑奇斌刁兴春王彦臻曹建军刘艺秦伟陆军工程大学指挥控制工程学院江苏南京210007 军事科学院北京100089 军事科学院国防科技创新研究院北京100071 天津(滨海)人工智能创新中心天津300450 国防科技大学第六十三研究所江苏南京210007

为了降低“相似性漂移”问题的影响,提出一种基于“邻域传播”的匹配策略,将待查询项的模态内近邻映射到目标空间中,并将它们在目标空间中的最近邻作为查询项的跨模态近邻。基于邻域传播的匹配策略在不改变跨模态映射函数的条件下,可以... 详细信息

为了降低“相似性漂移”问题的影响,提出一种基于“邻域传播”的匹配策略,将待查询项的模态内近邻映射到目标空间中,并将它们在目标空间中的最近邻作为查询项的跨模态近邻。基于邻域传播的匹配策略在不改变跨模态映射函数的条件下,可以有效地降低“相似性漂移”带来的误匹配现象。理论和实验分析证明,跨模态映射函数的“相似性漂移”问题广泛存在,而基于“邻域传播”的匹配策略可以有效降低其影响,提高匹配的准确率。

关键词：跨模态检索相似性漂移邻域传播深度神经网络

来源：评论

学校读者我要写书评

暂无评论

跨模态检索研究文献综述

引用

计算机科学与探索 2021年第8期15卷 1390-1404页

作者：陈宁段友祥孙歧峰中国石油大学(华东)计算机科学与技术学院山东青岛266580

随着互联网技术的蓬勃发展和智能设备的普及,多媒体数据在数量爆炸式增长的同时,其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索,通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。在深入了解... 详细信息

随着互联网技术的蓬勃发展和智能设备的普及,多媒体数据在数量爆炸式增长的同时,其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索,通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。在深入了解分析跨模态检索研究背景和研究进展的基础上,以跨模态检索的关键技术——公共子空间建模为主线,对跨模态检索技术的三大类方法传统统计分析方法、深度学习方法与哈希学习方法,从不同角度对研究内容、关键技术、局限性、适用性和特点等方面进行了全方位、多角度的对比分析,并进行了实验以更深入地对比。最后,对跨模态检索有待解决的难点、未来的探索方向、近些年主流设计思路以及发展趋势进行了充分展望,为进一步研究提供理论基础。

关键词：跨模态检索多媒体数据知识协同公共子空间

来源：评论

学校读者我要写书评

暂无评论

联合哈希特征和分类器学习的跨模态检索算法

引用

模式识别与人工智能 2020年第2期33卷 160-165页

作者：刘昊鑫吴小俊庾骏江南大学江苏省模式识别与计算智能工程实验室无锡214122

为了解决跨模态检索算法检索准确率较低、训练时间较长等问题,文中提出联合哈希特征和分类器学习的跨模态检索算法(HFCL).采用统一的哈希码描述语义相同的不同模态数据.在训练阶段,利用标签信息学习具有鉴别性的哈希码.第二阶段基于生... 详细信息

为了解决跨模态检索算法检索准确率较低、训练时间较长等问题,文中提出联合哈希特征和分类器学习的跨模态检索算法(HFCL).采用统一的哈希码描述语义相同的不同模态数据.在训练阶段,利用标签信息学习具有鉴别性的哈希码.第二阶段基于生成的鉴别性哈希码,采用核逻辑回归学习各模态的哈希函数.在测试阶段,给定任意一个模态查询样本,利用学习的哈希函数生成哈希特征,从数据库中检索与之语义相关的另一模态数据.在3个公开数据集上的实验验证HFCL的有效性.

关键词：哈希学习分类器学习矩阵分解跨模态检索

来源：评论

学校读者我要写书评

暂无评论

面向跨模态检索的查询感知双重对比学习网络

引用

软件学报 2024年第5期35卷 2120-2132页

作者：尹梦冉梁美玉于洋曹晓雯杜军平薛哲北京邮电大学计算机学院(国家示范性软件学院) 北京100876 智能通信软件与多媒体北京市重点实验室(北京邮电大学) 北京100876

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和... 详细信息

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.

关键词：跨模态语义融合跨模态检索视频时刻定位对比学习

来源：评论

学校读者我要写书评

暂无评论

基于关联特征传播的跨模态检索

引用

计算机研究与发展 2022年第9期59卷 1993-2002页

作者：张璐曹峰梁新彦钱宇华山西大学大数据科学与产业研究院太原030006 计算智能与中文信息处理教育部重点实验室(山西大学) 太原030006 山西大学计算机与信息技术学院太原030006

深度学习的快速发展和关联学习的深度研究,使得跨模态检索的性能有了很大提升.跨模态检索研究面临的挑战是:不同模态的数据在高层语义上具有关联关系,但在底层特征上存在异构鸿沟.现有方法主要通过单个相关性约束将不同模态的特征映射... 详细信息

深度学习的快速发展和关联学习的深度研究,使得跨模态检索的性能有了很大提升.跨模态检索研究面临的挑战是:不同模态的数据在高层语义上具有关联关系,但在底层特征上存在异构鸿沟.现有方法主要通过单个相关性约束将不同模态的特征映射到具有一定相关性的特征空间中来解决底层特征上的异构鸿沟问题.然而,表征学习表明,不同层次的特征在帮助模型最终性能的提升上都会起作用.所以,现有方法学习到的单一特征空间的关联性是弱的,即该特征空间可能不是最优的检索空间.为解决该问题,提出了基于关联特征传播的跨模态检索模型,其基本思想是强化深度网络各层之间的关联性,即前一层具有一定关联的特征经过非线性变化传到后一层,有利于找到使2种模态关联性更强的特征空间.通过在Wikipedia,Pascal数据集上的大量实验验证得到,该方法提升了平均精度均值.

关键词：跨模态检索特征传播深度网络关联学习深度学习

来源：评论

学校读者我要写书评

暂无评论

图文跨模态检索的联合特征方法

引用

西安电子科技大学学报 2024年第4期51卷 128-138页

作者：高迪辉盛立杰许小冬苗启广西安电子科技大学计算机科学与技术学院陕西西安710071 西安电子科技大学大数据与视觉智能关键技术重点实验室陕西西安710071

随着深度学习的快速发展,图文跨模态检索性能有了显著提升。然而现有方法仅利用全局信息对图像文本整体匹配或仅利用局部信息匹配,对图文信息的利用存在局限性,检索性能有待进一步提升。为了充分挖掘图像与文本语义的潜在联系,提出了一... 详细信息

随着深度学习的快速发展,图文跨模态检索性能有了显著提升。然而现有方法仅利用全局信息对图像文本整体匹配或仅利用局部信息匹配,对图文信息的利用存在局限性,检索性能有待进一步提升。为了充分挖掘图像与文本语义的潜在联系,提出了一种基于联合特征的跨模态检索模型,其特征提取部分由两级网络分别处理图像与文本的局部特征和全局特征。并且在全局特征优化的过程中,设计了基于注意力机制的双线性层结构来过滤冗余信息,减小与局部特征的精细度差距。同时为实现两类特征联合优化,在损失函数部分使用三元组排名损失获取不同模态间的联系,并引入语义标签分类损失保持全局语义一致性。所提出的模型具有广泛的通用性,可以有效提升仅基于局部信息模型的性能。在公开数据集Flickr30k和MS COCO上一系列的实验结果表明,提出的模型有效地提升了跨模态图文检索任务的性能,在Flickr30k数据集检索任务中提出的模型在文本检索的R@1指标上提高了约5.1%,在图像检索的R@1指标上提高了约2.8%。

关键词：跨模态检索深度学习自注意力网络图像检索

来源：评论

学校读者我要写书评

暂无评论

基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型

引用

计算机学报 2024年第9期47卷 2195-2210页

作者：林俊安包翠竹董建锋杨勋王勋浙江工商大学计算机科学与技术学院杭州310018 中国科学技术大学信息科学技术学院合肥230026

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构... 详细信息

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构建新的检索模型,这使得模型很难快速有效地适用于其他语言的检索任务.近年来,针对多语言问题的研究逐渐深入,这为多语言跨模态检索的实现打下了良好的基石.为了解决多语言跨模态检索问题,本文提出了一种简单有效的基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型,将不同语言与视觉信息映射到同一公共空间.该空间以视频向量为锚点,分别与不同的语言向量进行对齐,以此实现多语言跨模态的学习,由此建立了统一的多语言学习框架,使用一个模型满足了多语言的检索需求并探究了不平行语料库、平行语料库、伪平行语料库三种训练场景下的模型性能.同时,在多语言建模中有效地利用了不同语言之间的互通性和互补性,弥补了单语言文本特征表达的不足;并在文本端与视频端引入了基于对比学习的抗噪音鲁棒性学习方法,进一步提升了不同模态特征的表示能力.在VATEX、MSR-VTT多语言数据集上实验的数据证明,本文模型不仅能够简单快速地适用于多种语言检索任务,模型性能也较为突出,在较为常见的伪平行场景下和最先进的方法相比,中文VATEX和MSR-VTT在总召回率上分别提升了约5.97%和1.37%.

关键词：多语言跨模态检索跨模态特征表示对比学习

来源：评论

学校读者我要写书评

暂无评论

基于关联约束的对抗跨模态检索方法

引用

模式识别与人工智能 2021年第1期34卷 68-76页

作者：郭倩钱宇华梁新彦山西大学大数据科学与产业研究院太原030006 山西大学计算智能与中文信息处理教育部重点实验室太原030006 山西大学计算机与信息技术学院太原030006

现有跨模态检索方法主要使用某一指标约束得到一个子空间,检索结果往往有差异.为了提高公共子空间的鲁棒性,文中提出基于关联约束的对抗跨模态检索方法.对抗约束通过混淆判别器使其无法分辨子空间特征来自哪个模态,从而提升不同模态特... 详细信息

现有跨模态检索方法主要使用某一指标约束得到一个子空间,检索结果往往有差异.为了提高公共子空间的鲁棒性,文中提出基于关联约束的对抗跨模态检索方法.对抗约束通过混淆判别器使其无法分辨子空间特征来自哪个模态,从而提升不同模态特征的一致性.关联约束用于增强投影子空间关联程度.三元组约束同时考虑不同模态同一语义、相同模态不同语义样本之间的结构信息.在数据集上的实验表明文中方法的检索性能得到有效提升.

关键词：跨模态检索多指标约束对抗约束关联约束

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：