检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

339 篇 学位论文
162 篇 期刊文献
1 篇 会议

馆藏范围

502 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

486 篇 工学
- 385 篇 计算机科学与技术...
- 366 篇 软件工程
- 117 篇 机械工程
- 105 篇 控制科学与工程
- 16 篇 信息与通信工程
- 13 篇 仪器科学与技术
- 5 篇 生物医学工程（可授...
- 3 篇 电子科学与技术（可...
- 3 篇 航空宇航科学与技...
- 3 篇 公安技术
- 3 篇 网络空间安全
- 2 篇 食品科学与工程（可...
- 2 篇 生物工程
- 1 篇 电气工程
- 1 篇 建筑学
116 篇 管理学
- 110 篇 管理科学与工程(可...
- 4 篇 图书情报与档案管...
- 3 篇 工商管理
10 篇 艺术学
- 10 篇 设计学（可授艺术学...
7 篇 理学
- 5 篇 系统科学
- 1 篇 物理学
- 1 篇 大气科学
5 篇 医学
- 3 篇 基础医学(可授医学...
- 3 篇 临床医学
- 3 篇 医学技术（可授医学...
- 2 篇 中西医结合
3 篇 农学
- 3 篇 植物保护
2 篇 经济学
- 2 篇 应用经济学
2 篇 法学
- 2 篇 公安学
1 篇 教育学
- 1 篇 体育学
1 篇 军事学

主题

502 篇 跨模态检索
102 篇 深度学习
60 篇 哈希学习
52 篇 注意力机制
34 篇 哈希
22 篇 离散优化
21 篇 对比学习
20 篇 生成对抗网络
20 篇 对抗学习
19 篇 矩阵分解
17 篇 特征融合
16 篇 无监督学习
16 篇 深度哈希
15 篇 特征提取
14 篇 图卷积网络
14 篇 跨模态哈希
13 篇 子空间学习
12 篇 图像检索
12 篇 卷积神经网络
11 篇 transformer

机构

34 篇 西安电子科技大学
26 篇 广东工业大学
25 篇 电子科技大学
22 篇 山东大学
17 篇 中国科学院大学
16 篇 南京邮电大学
14 篇 江南大学
13 篇 北京邮电大学
12 篇 山东师范大学
11 篇 宁夏大学
10 篇 哈尔滨工业大学
9 篇 湖南大学
9 篇 大连理工大学
9 篇 武汉理工大学
8 篇 贵州师范大学
8 篇 华侨大学
7 篇 华东交通大学
7 篇 重庆邮电大学
7 篇 山东建筑大学
7 篇 浙江工业大学

作者

8 篇 刘立波
5 篇 滕少华
5 篇 liu libo
5 篇 xiong wei
4 篇 熊威
4 篇 滕璐瑶
4 篇 荆晓远
4 篇 张巍
4 篇 吴飞
4 篇 zhang wei
3 篇 徐黎明
3 篇 刘文印
3 篇 王海荣
3 篇 chen ying
3 篇 陈莹
3 篇 杨振国
3 篇 宣瑞晟
3 篇 zhu lu
3 篇 梁焕
3 篇 张宏图

语言

501 篇 中文
1 篇 英文

检索条件"主题词=跨模态检索"

共 502 条记录，以下是131-140 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于哈希的跨模态检索方法研究

基于哈希的跨模态检索方法研究

引用

作者：钟挚湖南大学

学位级别：硕士

随着互联网中的文本、图像、视频和音频等多模态数据的迅速增长,跨模态检索问题逐渐受到研究者的广泛关注,该问题旨在通过某一个模态的样本来搜索另一个模态的对应样本。基于哈希的跨模态检索方法由于具备存储开销小以及异或运算快的优... 详细信息

随着互联网中的文本、图像、视频和音频等多模态数据的迅速增长,跨模态检索问题逐渐受到研究者的广泛关注,该问题旨在通过某一个模态的样本来搜索另一个模态的对应样本。基于哈希的跨模态检索方法由于具备存储开销小以及异或运算快的优势而最受研究者的关注,但它们也存在着许多缺陷: 大部分基于哈希的方法的特征向量缺乏判别性,公共空间中的同类样本难以聚集,不同类样本难以分离。而且,这些方法难以在公共空间中保持原始特征空间的亲和结构。在处理哈希码的优化时,现有的方法大多会放松离散约束,以至于哈希码的取值范围有较大偏差;也有些方法采用交替的优化算法,以至于哈希码的优化过程和神经网络的优化过程不连续。另外,有监督的方法在训练过程中受到了标签信息的引导,往往能获得较高的检索性能,但实际应用中难以获取大量人工注释的标签;无监督的方法虽然很容易扩展到实际场景中,但由于完全没有标签信息,其性能往往远低于有监督的方法。针对公共空间特征缺乏判别性的问题,提出了基于Fisher准则和结构保持的对抗跨模态哈希方法（Fisher Criterion and Structure Preservation-Based Adversarial Network for Cross-Modal Hashing）,它使用Fisher准则,构建类内散度矩阵以及类间散度矩阵,将判别性特征的学习问题转化为容易被解决的特征值优化的形式。针对公共空间中原始亲和结构的保持问题,该方法构建一种联合语义矩阵,以此引导哈希码的生成。另外,针对哈希码的优化问题,该方法使用一种放缩的tanh函数,既限制了哈希码的取值范围,又使得哈希码的优化和神经网络的优化构成了一个端到端的连续过程。针对有监的方法中人工注释的标签较少的问题,以及无监的方法性能较低的问题,提出了基于多度量图的无监督领域自适应跨模态哈希方法（M2GUDA:Multi-Metrics Graph-Based Unsupervised Domain Adaptation for Cross-Modal Hashing）,它采用领域自适应方法,将语义知识从有标签的源域转移到无标签的目标域,并同时利用四种一致性约束来引导模型的训练,从而直接提高无监督学习的性能。在Wikipedia、Pascal Sentence、NUS-WIDE、MS COCO和MIRFlickr-25k等数据集上进行了图像检索文本以及文本检索图像的实验,通过与多种方法进行性能比较,证明了提出的方法的有效性。

关键词：跨模态检索哈希 Fisher准则领域自适应

来源：评论

学校读者我要写书评

暂无评论

基于图网络的深度哈希跨模态检索研究与应用

基于图网络的深度哈希跨模态检索研究与应用

引用

作者：范嘉宝重庆师范大学

学位级别：硕士

科技高速发展的今天，检索数据的精确性和高效性显得尤为重要。实例的多模态数据从不同维度描述实例，同一实例的不同模态往往存在巨大的语义鸿沟。因此，如何填补语义鸿沟并获得对实例一致的语义描述是一个巨大的挑战。为此，学者们开... 详细信息

科技高速发展的今天，检索数据的精确性和高效性显得尤为重要。实例的多模态数据从不同维度描述实例，同一实例的不同模态往往存在巨大的语义鸿沟。因此，如何填补语义鸿沟并获得对实例一致的语义描述是一个巨大的挑战。为此，学者们开发了哈希检索技术，希望通过将不同形式的实例映射到汉明空间来获得接近的哈希表示，这不仅速度快，而且计算成本和存储消耗低。到目前为止，已经提出了将深度神经网络应用于跨模态哈希检索的各种方法。主要的研究领域集中在两个方向：无监督跨模态哈希检索研究以及有监督跨模态哈希检索研究。无监督跨模态哈希检索研究通常使用网络提取的实例特征互补构建亲和矩阵，达到监督网络训练的目的。监督方法通常使用训练数据的标签形成相似性矩阵用来保证网络训练的正确性。本文的主要工作如下：　　(1)提出基于相似性矩阵优化与图网络的跨模态哈希(MHGCN)。对多标签相似性衡量方法进行优化，引入了一种多标签非共现相似性度量方法，该方法在多标签相似性度量中添加实例之间的多标签非共现信息，用以扩大实例之间的差异，能更加准确的定义实例之间的相似性，从而构建出更加精细的相似性矩阵。引入图卷积网络(GCN)处理文本模态信息，提升文本特征的语义层级，减少不同模态之间的语义鸿沟。通过引入内存库机制来限制哈希码学习的差异，从而减少哈希特征形成哈希码时的损失，生成语义信息更加丰富的哈希码。　　(2)提出基于CLIP和图卷积的特征重构跨模态哈希(CGCMH)。通过引入重构特征分别对网络提取的文本和图像特征进行重构，以此来增强模态间的信息交互，用于填补语义鸿沟和进一步减少模态间的损失，解决语义信息在融合过程中丢失生成低质量哈希码的情况，从而有效的保留模态间的相似性。其次，通过引入具有良好性能的预训练大模型CLIP来帮助处理图像信息，提取富含有丰富语义信息的图像特征，提升检索的性能。　　(3)设计并实现了一个跨模态检索系统。该系统对本文提出的CGCMH模型进行封装，验证所提出模型的有效性。实现上传图像检索文本描述、输入文本描述检索对应的图像、上传图像检索类似的图像等功能，能在短时间内高效、快速做出响应，输出并展示结果，为实际应用提供了借鉴。

关键词：跨模态检索深度学习哈希学习图卷积网络

来源：评论

学校读者我要写书评

暂无评论

基于语义解耦的跨模态检索

基于语义解耦的跨模态检索

引用

作者：吴涵天津大学

学位级别：硕士

跨模态检索旨在以一种模态作为查询来检索另一种模态的相关数据,其本质是提取不同模态对同一目标的共享语义,以获得关于目标主题更全面的信息,如图像和文本的相互检索是最典型的场景之一。现有的研究工作可以分为两大类:第一类是共同子... 详细信息

跨模态检索旨在以一种模态作为查询来检索另一种模态的相关数据,其本质是提取不同模态对同一目标的共享语义,以获得关于目标主题更全面的信息,如图像和文本的相互检索是最典型的场景之一。现有的研究工作可以分为两大类:第一类是共同子空间方法,通过将不同模态映射到一个共同空间进行相似度计算,这将不可避免的造成信息量丢失;第二类是跨模态相似性度量,通过图或近邻分析的方法度量模态间相似性,由于精确的模态间相关性难以定义,性能并不稳定。当前的方法无法获得模态间精准的共享语义,而这对于跨模态检索的性能却至关重要。这些方法通常在丰富的标注数据集上进行训练,有助于模型提取共享语义,但是在实际场景下数据不足,模态信息量较少,导致精准的共享语义无法获得。互信息作为一种度量指标,现已成功地在数据资源丰富的跨域场景进行语义解耦。由于低资源场景下数据不足,模态信息无法通过丰富的样本进行刻画,导致互信息的度量对象缺失。并且,异构的跨模态数据存在于不同的空间且具有不同的分布,直接度量将会带来语义损失。因此,在低资源场景下精准提取共享语义是本文研究的科学问题。为刻画低资源场景下的模态信息,本文提出了基于中枢语言的跨模态度量学习框架,通过对比学习的策略克服多模态嵌入空间的不稳定性,在数据缺失的条件下获得完整的跨模态共享语义。然而,完整的共享语义并不一定精准,其中可能包含噪声。针对完整语义中噪声无法明确度量而导致检索结果不准确的问题,本文进一步探索了如何精准度量共享语义。本文通过平行空间的构造提出了一个基于互信息解耦的跨模态检索框架,在保留模态最大信息量的同时进行共享语义的精准提取。通过实验验证了本文的语义解耦方法能在低资源场景下克服对数据的依赖,精准提取低资源场景下的共享语义,提升了模型的鲁棒性。本文还将该方法应用到数据资源丰富的跨模态场景下,实验表明可以显著提高检索性能。此外,本文形式化解耦框架,并理论证明了该方法可以在较宽松的条件下达到理想状态,进一步提升了泛化性。总的来说,本文研究了共享语义的精准提取,提出的方法为其他以此为基础的多模态任务提供了一个新的角度。

关键词：跨模态检索共享语义解耦互信息

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的跨模态检索方法研究

基于生成对抗网络的跨模态检索方法研究

引用

作者：邓佳鑫贵州师范大学

学位级别：硕士

跨模态检索通过用户给出某一模态的查询样本进行检索,返回与该样本语义相近的其他模态样本。跨模态检索面临的主要挑战是不同模态数据之间存在着异构鸿沟和语义鸿沟,不能直接计算它们之间的相似度。目前,一些基于生成对抗网络的跨模态... 详细信息

跨模态检索通过用户给出某一模态的查询样本进行检索,返回与该样本语义相近的其他模态样本。跨模态检索面临的主要挑战是不同模态数据之间存在着异构鸿沟和语义鸿沟,不能直接计算它们之间的相似度。目前,一些基于生成对抗网络的跨模态检索方法被提出来减小异构鸿沟和语义鸿沟,但大都是将模态特征直接映射到公共表征空间并计算相似度,缺乏对模态特征公共部分和私有部分的区分,模态之间缺乏信息交互。本文基于生成对抗网络框架,提出了两种新型跨模态检索方法。主要工作如下:1.表征分离对抗跨模态检索方法。现有的大多数跨模态检索方法忽略了不同模态的数据在具有公共特征的同时又具有各自独特的特征这一事实。基于此,本文提出了表征分离对抗跨模态检索方法,将各模态原始表征分离为公共表征和模态私有表征。公共表征表达了不同模态数据公共的信息,而私有表征表达了各模态数据独特的模态信息。具体地,通过最小化公共表征和私有表征之间的相关性确保表征分离;然后通过交换不同模态的公共表征并连接私有表征重构原始表征实现信息交换,提升公共表征的鲁棒性;最后利用标签信息增强公共表征的判别性。在Wikipedia数据集上,该方法在两个检索任务上的平均准确率(mAP)比Corr-AE(Cross-modal retrieval with correspondence autoencoder)和ACMR(Adversarial cross-modal retrieval)分别平均高出10.9%和1.4%,在NUSWIDE-10k数据集上,分别平均提高16.1%和1.5%。实验证实了对每个模态的私有表征进行建模可以有效提高公共表征的鲁棒性。2.跨模态特征生成对齐哈希方法。现有的很多跨模态哈希方法只利用标签信息建立跨模态相似性,跨模态特征之间缺乏信息交互。基于此,本文提出了跨模态生成对齐哈希方法。该方法通过生成跨模态特征和探索跨模态特征对之间的跨模态相似性来促进跨模态信息交互。具体地,先使用条件生成对抗网络从一个模态生成另一个模态的跨模态特征,然后利用特征相似性对齐网络挖掘跨模态特征对中隐含的跨模态相似性,促进信息交互。在FLICKR25K数据集上,该方法在两个检索任务上的平均准确率(mAP)比DCMH(Deep cross-modal hashing)和SSAH(Self-supervised adversarial hashing networks for cross-modal retrieval)分别平均高出3.5%和1%,在NUSWIDE数据集上分别平均提高5.8%和1.4%,在IAPR TC-12数据集上分别平均提高6.2%和0.1%。实验证明了增强不同模态数据间的信息交互有助于跨模态数据的关联建模和相似性度量。

关键词：跨模态检索生成对抗网络对抗学习跨模态哈希子空间学习

来源：评论

学校读者我要写书评

暂无评论

基于深度网络优化的图像-文本跨模态检索研究

基于深度网络优化的图像-文本跨模态检索研究

引用

作者：索冠宇燕山大学

学位级别：硕士

随着移动互联网的发展，图像、文字、音频等数字信息表现出了爆炸性的增长，从这些语义相关、模态多样的数据中获取有价值信息尤为重要，因此跨模态检索方向在近些年引起了人们的广泛关注。与传统的单模态检索不同，跨模态检索能够对不... 详细信息

随着移动互联网的发展，图像、文字、音频等数字信息表现出了爆炸性的增长，从这些语义相关、模态多样的数据中获取有价值信息尤为重要，因此跨模态检索方向在近些年引起了人们的广泛关注。与传统的单模态检索不同，跨模态检索能够对不同模态的信息进行相似性度量，能够更好地与人们日益增长的需求相匹配。如何挖掘多模态数据之间的匹配信息，消除异构鸿沟和语义鸿沟，提高跨模态检索性能，是一个亟待解决的问题。　　首先，对传统算法提取文本特征单一、无法解决多义词、不能针对特定任务做动态优化等问题进行了改进。设计了一种通过Bert来提取文本特征的算法。算法首先通过VGG网络和Bert网络分别提取图像和文本特征，再学习一个公共空间，之后利用标签信息学习鉴别特征从而实现跨模态检索。这种方法使文本特征提取范围更广，并有效解决了多义词问题。　　其次，由于现有算法仅仅针对语义保留单个跨模态耦合项，导致检索结果不准确的问题。本文利用标签预测和结构保存，设计了提升特征投影鉴别性的跨模态检索方法。算法先对图像和文本提取特征并进行变换，再使用特征投影进行表征学习，最后利用模态分类预测公共子空间中投影的语义标签，从而使跨模态检索的结果更加准确。　　最后，为了有效利用数据区域的相似性，更好的保留数据区域信息。提出了注意力模块来寻找语义对应区域，找到判别性匹配最大化的数据区域，从而降低检索损失。算法通过特征学习模块来提取特征，同时设计了注意力模块和哈希模块，有效区分有监督和无监督的数据区域。使得网络能够更好的保存了多模态数据的相似性，得到的跨模态检索结果更加精准。

关键词：跨模态检索深度学习特征提取生成对抗网络哈希学习

来源：评论

学校读者我要写书评

暂无评论

基于深度模型学习的跨模态检索

基于深度模型学习的跨模态检索

引用

作者：陈小平北京邮电大学

学位级别：硕士

近年来随着技术的发展,网络上的多媒体数据呈现爆炸式增长。跨模态领域由于是一个融合图像、文本多种模态数据的研究方向,成为了近年来的研究热点。本文结合深度学习技术,对跨模态领域中的图像描述生成和跨模态检索任务进行较深入的探究... 详细信息

近年来随着技术的发展,网络上的多媒体数据呈现爆炸式增长。跨模态领域由于是一个融合图像、文本多种模态数据的研究方向,成为了近年来的研究热点。本文结合深度学习技术,对跨模态领域中的图像描述生成和跨模态检索任务进行较深入的探究,主要工作有以下几方面:1.探究卷积神经网络、文本特征和循环神经网络参数对实验效果的影响,通过改变图像特征输入LSTM网络的方式,提出一种结合CNN网络和LSTM网络的图像描述模型,通过实验验证了模型的有效性;2.使用一种多示例学习模型提取图像的文本标签并将其作为Attention信息输入网络,实现一种结合Attention机制、CNN网络和LSTM网络的图像描述模型,改善了模型的性能;3.实现了基于深度模型的跨模态检索系统,用VLAD编码表示文本,融合多个深度网络提取图像特征,利用DCCA-PHS最大化不同模态数据的关联性。实验表明,相对于传统特征表示方法,本系统在跨模态检索库上取得了显著的提升效果。

关键词：图像描述跨模态检索循环神经网络卷积神经网络注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于成对相似信息的无监督跨模态检索研究

基于成对相似信息的无监督跨模态检索研究

引用

作者：赵阳南京理工大学

学位级别：硕士

近年来,随着多模态数据规模的快速增长,人们希望能够突破模态数据类型的限制,将不同模态的数据放在统一尺度下进行使用。其中,跨模态检索任务备受关注。跨模态的检索任务也可理解为以某种类别的数据为检索输入,来搜索另一个类别的相应... 详细信息

近年来,随着多模态数据规模的快速增长,人们希望能够突破模态数据类型的限制,将不同模态的数据放在统一尺度下进行使用。其中,跨模态检索任务备受关注。跨模态的检索任务也可理解为以某种类别的数据为检索输入,来搜索另一个类别的相应数据。比如,用户可通过文本来搜索有关照片或录像。因为检索输入与其搜索结果并不属于同一模态,所以,样判断不同模态数据间的内容相似程度,并且怎样把在不同流型下的多模态数据嵌入到同一个公共隐空间中是目前最主要的挑战。在本文中,我们会回顾一些跨模态检索的代表性方法,并将它们分为两类:实值表示学习和二元表示学习。实值表示学习方法旨在将不同模态的数据嵌入公共连续隐空间,习得实值表示。二元表示学习将不同模态的数据映射到公共汉明空间,这样可以提高检索速度。根据学习公共表征时是否利用标签信息,跨模态检索方法可以进一步分为两类:(1)无标签监督方法以及(2)有标签监督的方法。一般来说,一种方法利用的信息越多,它获得的性能就越好。带有标签监督信息的跨模态检索因为标签信息提供了更多信息往往能得到更好的检索结果,但是在实际使用中,要想使用有标签监督方法需要获取大量的手动注释过的数据集,而获取标签信息有时很昂贵。但是不使用任何信息,仅利用共现信息来学习多模态数据的共同表示往往又难以取得令人满意的效果。于是,对成对相似信息的研究成为了近期主要的关注热点。本文旨在研究基于成对相似信息的跨模态检索研究,致力于在节省空间的同时提高检索精度。该技术目前有以下三个主要问题需要解决:(1)模态信息提取以及近邻信息挖掘问题。无标签监督跨模态检索算法受制于标签信息的缺失,获取不到完整的原始近邻信息,性能弱于有标签信息的监督算法。虽然标签信息获取难度较大,但是获取训练过程中的成对信息是较为容易的。利用成对相似信息能够极大的提升检索能力,因此需要研究合适的网络模型来挖掘成对相似信息的价值,得到有效的邻近相似信息。(2)全局近似信息和局部近似信息的合理利用问题。针对整个数据集得到的近似信息可以称为全局邻近信息。目前深度学习在优化目标函数时常用的方法是批量梯度下降法,需要将数据分批次输入网络模型。全局邻近信息的稀疏性会在小批量数据中放大,所以需要进一步发掘局部邻近信息,将二者合理利用,才能进一步提升检索性能。(3)模态间近似信息不一致的问题。由于各个模态的数据在经过特征提取网络后,会进入不同维度的流形,不能直接计算数据在不同模态之间的相似度。同时不同流形内的数据分布又存在不一致性,在缺失标签信息的情况下,从每个模态所在流形中提取出的近邻信息缺乏统一的度量标准,进而会存在差异。为此,必须寻找获取统一近邻关系的网络模型。基于上述三个问题,本文的主要内容及贡献如下:(1)本文中,我们提出了一种学习同构信息和异构信息的细粒度跨模态检索算法,基于“模态共现”现象,对不同模态的数据进行对齐操作(alignment)。该算法首先使用Faster-RCNN结合注意力机制在图像中获取多个候选物体,使用双向GRU对文本信息中的单词构建词向量,然后将候选物体和词向量映射入同一公共隐空间。该算法在不同模态内构造稠密图来保存邻近信息,同时提出“两阶段”(two-steps)算法,通过自注意力机制学习稠密图中的同构信息和异构信息。在这里,隐空间中的样本能够学习到多次与自己共现的其他样本的特征,而成对信息可以控制共现的不同模态之间的样本在语义上最是接近的,这就是“模态共现”现象。(2)本文提出了基于变分自编码器的跨模态哈希检索算法,该算法首先使用变分自编码器将样本嵌入公共隐空间中,然后基于共享潜在空间中的特征服从多元高斯分布的假设,通过最小化类集中损失来同时更新均值向量和潜在特征的聚类质心,以缩小聚类质心和均值向量之间的距离,进一步使簇的分布更加紧凑。该算法引入重构损失来提高性能,在多个数据集上的实验证明了该算法的有效性。(3)本文提出了一种融合全局稀疏近似信息和局部稠密近似信息的跨模态哈希检索算法。该算法首先使用k NN算法构建模态内的全局近邻稀疏图,然后使用多模态图聚类算法获得统一的语义近邻信息。然后结合每个批次中构建的局部近邻稠密图得到最终的近似关系。该算法将近似关系用于指导哈希函数的训练。

关键词：无监督学习稀疏图跨模态检索哈希算法成对相似信息

来源：评论

学校读者我要写书评

暂无评论

基于图卷积深度哈希的跨模态检索方法

基于图卷积深度哈希的跨模态检索方法

引用

作者：徐瑞卿西安电子科技大学

学位级别：硕士

随着过去数年社交网络的强势崛起,当今在互联网上产生的多媒体数据量之多已经超乎我们的想象。面对海量的多媒体数据,人们需要强大的跨模态检索算法来满足日益增长的相似性数据检索需求。当前,跨模态检索技术面临的最大的挑战来自于如... 详细信息

随着过去数年社交网络的强势崛起,当今在互联网上产生的多媒体数据量之多已经超乎我们的想象。面对海量的多媒体数据,人们需要强大的跨模态检索算法来满足日益增长的相似性数据检索需求。当前,跨模态检索技术面临的最大的挑战来自于如何更好地克服不同模态数据之间的异质性差异,这种差异会导致语义鸿沟问题,影响检索性能。为了解决这一问题,研究人员提出了许多的跨模态检索算法,其中跨模态哈希的方法因为其检索效率高且存储成本低的优势,受到了广泛的关注:跨模态哈希的方法利用哈希函数将不同模态数据映射为紧凑的二进制哈希码;利用异或操作计算不同哈希码之间的相似程度,进而衡量数据之间的相似性。为了减小模态之间的差异、跨越语义鸿沟,许多跨模态哈希检索算法利用跨模态数据之间的语义相似性指导更具有判别力的数据特征的学习,从而获得更高的检索精度。然而我们认为,在跨模态数据内不止具有语义相似性,还包含着同样重要的数据空间结构相似性,充分挖掘这两类相似性信息会极大提升跨模态哈希检索的准确性。基于以上分析,在本文中提出了两种不同的基于图卷积神经网络的跨模态检索算法,利用图卷积神经网络学习数据的空间结构相似性,并且与数据的语义相似性相结合,实现更好的检索效果,具体内容如下:(1)提出了一种基于自注意力图卷积神经网络的跨模态检索方法。我们设计了一个端到端的深度网络结构,将特征提取与哈希码学习过程结合在一起;利用基于自注意力机制的特征融合方式,将不同模态的特征融合为一个整体;此外,为了更好地捕捉数据的结构相似性,我们采用图卷积神经网络将数据空间信息嵌入到融合的特征当中,利用这一融合特征指导特征提取网络的学习过程,有效地提升了检索的精度。(2)提出了一种基于多图融合的图卷积神经网络的跨模态检索方法。我们利用标签中包含的丰富信息,建立起语义-空间相似性监督图结构;同时利用图卷积神经网络,对不同模态的数据分别建立数据图结构,在特征提取与哈希码学习的阶段,利用多图融合的方式将监督信息引入其中,有效地建立了跨模态数据的语义与结构相关性,学习了更具有判别力的特征,提升了跨模态检索的精度。

关键词：深度神经网络哈希图卷积神经网络跨模态检索

来源：评论

学校读者我要写书评

暂无评论

基于三元组深度哈希的跨模态检索方法

基于三元组深度哈希的跨模态检索方法

引用

作者：陈兆佳西安电子科技大学

学位级别：硕士

在过去的十年里,随着互联网技术和社交网络的飞速发展,每天都会产生亿量级的多媒体数据。互联网上的多媒体数据以不同的形式存在来自于异质数据源,比如一个网页可能包含了文本,图片,视频等多个模态的数据,虽然这些数据来自不同的模态,... 详细信息

在过去的十年里,随着互联网技术和社交网络的飞速发展,每天都会产生亿量级的多媒体数据。互联网上的多媒体数据以不同的形式存在来自于异质数据源,比如一个网页可能包含了文本,图片,视频等多个模态的数据,虽然这些数据来自不同的模态,但是他们之间有很强的语义关联。跨模态检索就是输入一个查询数据,返回与查询数据相似的结果且查询数据与返回的结果来自于不同模态。跨模态检索主要面临两个技术难题,一个是如何提取不同模态的样本特征以包含更丰富的语义特征,二是如何跨越不同模态之间的语义鸿沟。为了解决上述问题,许多跨模态检索方法被提出,其中哈希方法凭借其高效的检索速度和低耗的内存空间受到工业界和学术界的广泛关注。跨模态哈希方法将高维原始数据映射成紧凑的哈希码,通过异或操作在汉明空间中计算哈希码之间的汉明距离来度量跨模态数据之间的相似性。针对跨模态检索中的两个问题,我们提出两个跨模态哈希检索方法,具体内容如下:(1)提出基于三元组深度哈希的跨模态检索方法。为了提取有效的跨模态样本特征,我们将特征学习过程和哈希码学习过程整合在同一个端对端的深度神经网络中。同时,我们提出的方法使用三元组类标作为监督信息,三元组类标可以更加灵活地捕捉到多种高阶的相似性关系并生成不同的约束,而且使用三元组类标抽取数据可以扩大训练数据个数从而减轻过拟合问题,该方法有效地提高了跨模态检索的检索精度。(2)提出基于图正则化三元组深度哈希的跨模态检索方法。基于上述方法,我们利用三元组类标建立不同的三元组损失函数,模态间三元组损失函数,模态内三元组损失函数和图正则化损失函数。模态间三元组损失函数用于构建不同模态之间的语义关联,模态内三元组损失函数用于增强哈希码的判别性,图正则化损失函数用于建立原始空间和汉明空间之间的相似性关联,该方法改善了跨模态数据之间的语义鸿沟问题并有效地提高了检索精度。

关键词：深度神经网络哈希三元组类标跨模态检索图正则化

来源：评论

学校读者我要写书评

暂无评论

基于深度表示的跨模态检索模型研究

基于深度表示的跨模态检索模型研究

引用

作者：胡莎莎中南财经政法大学

学位级别：硕士

2019年8月30日,中国互联网络信息中心发布的第44次《中国互联网络发展状况统计报告》（1）显示,截至2019年6月底,我国网民规模为8.54亿。与此同时,4G的使用已进入成熟期,5G已于2019年6月6日投入商业使用。网民规模的扩大,网络技术的迅... 详细信息

2019年8月30日,中国互联网络信息中心发布的第44次《中国互联网络发展状况统计报告》（1）显示,截至2019年6月底,我国网民规模为8.54亿。与此同时,4G的使用已进入成熟期,5G已于2019年6月6日投入商业使用。网民规模的扩大,网络技术的迅猛发展正源源不断地产生海量互联网数据,这些数据通常以文本、图像、视频、音频等多种模态的形式存在。自然语言处理（Natural Language Process,NLP）领域和计算机视觉（Computer Vision,CV）领域的研究对象通常是文本或图像等单一模态的数据,尽管对单一模态数据的研究已取得骄人的成绩,然而随着网络短视频、自媒体等的发展,网络用户对信息的需求也从单一的文本或图像转而升级到多模态数据。因此,如何有效地从多模态数据中挖掘出用户需要的信息已成为工业界和学术界亟待解决的重要问题。跨模态检索（Cross-Modal Retrieval）将多模态数据应用到信息检索领域,研究如何实现不同模态数据的相互检索。跨模态检索面临的首要问题是各模态数据具有相似的高层语义特征,然而底层数据分布不同,无法直接进行检索。因此,实现跨模态数据的一致性表示是研究重点。传统的跨模态检索研究通常使用典型相关分析等机器学习技术实现跨模态一致性表示。然而,传统的机器学习技术在跨模态检索中依赖手工提取的特征,适应性较差。相比之下,基于深度学习的跨模态检索能够自动提取抽象特征,较好地学习跨模态特征投影,通常能够取得不错的跨模态检索效果。本文利用自然语言处理和计算机视觉领域的先进研究成果,首先探究了不同模型的特征抽取效果,然后以文本和图像的深度特征为基础,提出了基于预定义子空间的跨模态检索（Predefined Subspace based Cross-Modal Retrieval,PSCMR）模型,并对该模型进行了相关实证研究。PSCMR模型预先定义公共子空间,在文本和图像深度表示的基础上,使用神经网络进行跨模态特征投影,利用神经网络的非线性映射能力将文本和图像特征投影到预定义的公共子空间中,在投影时综合考虑跨模态数据的对齐信息和语义类别标签,进而调整跨模态特征投影的学习过程。跨模态特征投影后,在公共子空间中基于语义相似度进行交叉检索,从而实现跨模态检索。PSCMR模型在Wikipedia（2）和IAPR-TC-12（3）两个数据集上分别取得了44.83%和75.05%的检索效果,在文本查询图像和图像查询文本两项检索任务上的表现均优于基线方法。本文主要有两个创新点:（1）现有的跨模态检索研究大多使用浅层特征或通用语料预训练的深度特征,这种方式并没有考虑到单词语义随着上下文语境发生变化的情况。本文尝试利用迁移学习技术,以大规模通用语料上预训练的模型为基础,用小数据集对模型进行微调从而得到当前数据集特有的深度特征,并将其应用到跨模态检索研究中;（2）本文提出了基于预定义子空间的跨模态检索模型,该模型使用预定义子空间的方式学习各模态数据特征到公共语义空间的非线性转换,使得模型学习目标更清晰,同时利用跨模态数据集的对齐信息进行各模态联合训练,弥补了学习过程丢失原始数据结构信息的缺陷。

关键词：跨模态检索表示学习多模态学习深度学习信息检索

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共51页 << < 10 11 12 13 14 15 16 17 18 19 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：