检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

339 篇 学位论文
162 篇 期刊文献
1 篇 会议

馆藏范围

502 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

486 篇 工学
- 385 篇 计算机科学与技术...
- 366 篇 软件工程
- 117 篇 机械工程
- 105 篇 控制科学与工程
- 16 篇 信息与通信工程
- 13 篇 仪器科学与技术
- 5 篇 生物医学工程（可授...
- 3 篇 电子科学与技术（可...
- 3 篇 航空宇航科学与技...
- 3 篇 公安技术
- 3 篇 网络空间安全
- 2 篇 食品科学与工程（可...
- 2 篇 生物工程
- 1 篇 电气工程
- 1 篇 建筑学
116 篇 管理学
- 110 篇 管理科学与工程(可...
- 4 篇 图书情报与档案管...
- 3 篇 工商管理
10 篇 艺术学
- 10 篇 设计学（可授艺术学...
7 篇 理学
- 5 篇 系统科学
- 1 篇 物理学
- 1 篇 大气科学
5 篇 医学
- 3 篇 基础医学(可授医学...
- 3 篇 临床医学
- 3 篇 医学技术（可授医学...
- 2 篇 中西医结合
3 篇 农学
- 3 篇 植物保护
2 篇 经济学
- 2 篇 应用经济学
2 篇 法学
- 2 篇 公安学
1 篇 教育学
- 1 篇 体育学
1 篇 军事学

主题

502 篇 跨模态检索
102 篇 深度学习
60 篇 哈希学习
52 篇 注意力机制
34 篇 哈希
22 篇 离散优化
21 篇 对比学习
20 篇 生成对抗网络
20 篇 对抗学习
19 篇 矩阵分解
17 篇 特征融合
16 篇 无监督学习
16 篇 深度哈希
15 篇 特征提取
14 篇 图卷积网络
14 篇 跨模态哈希
13 篇 子空间学习
12 篇 图像检索
12 篇 卷积神经网络
11 篇 transformer

机构

34 篇 西安电子科技大学
26 篇 广东工业大学
25 篇 电子科技大学
22 篇 山东大学
17 篇 中国科学院大学
16 篇 南京邮电大学
14 篇 江南大学
13 篇 北京邮电大学
12 篇 山东师范大学
11 篇 宁夏大学
10 篇 哈尔滨工业大学
9 篇 湖南大学
9 篇 大连理工大学
9 篇 武汉理工大学
8 篇 贵州师范大学
8 篇 华侨大学
7 篇 华东交通大学
7 篇 重庆邮电大学
7 篇 山东建筑大学
7 篇 浙江工业大学

作者

8 篇 刘立波
5 篇 滕少华
5 篇 liu libo
5 篇 xiong wei
4 篇 熊威
4 篇 滕璐瑶
4 篇 荆晓远
4 篇 张巍
4 篇 吴飞
4 篇 zhang wei
3 篇 徐黎明
3 篇 刘文印
3 篇 王海荣
3 篇 chen ying
3 篇 陈莹
3 篇 杨振国
3 篇 宣瑞晟
3 篇 zhu lu
3 篇 梁焕
3 篇 张宏图

语言

501 篇 中文
1 篇 英文

检索条件"主题词=跨模态检索"

共 502 条记录，以下是71-80 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

多层语义对齐的跨模态检索研究与应用

多层语义对齐的跨模态检索研究与应用

引用

作者：马泽伟天津理工大学

学位级别：硕士

随着社交媒体的发展,文本、图片等各种类型的数据在网络中快速传播,如何从这些多模态数据中获得有意义的信息显得尤为重要,跨模态检索能够集合多种模态信息,满足用户获取信息的需求,是多模态学习、人工智能等领域上极具发展潜力和研究... 详细信息

随着社交媒体的发展,文本、图片等各种类型的数据在网络中快速传播,如何从这些多模态数据中获得有意义的信息显得尤为重要,跨模态检索能够集合多种模态信息,满足用户获取信息的需求,是多模态学习、人工智能等领域上极具发展潜力和研究意义的重要研究方向。目前学者们针对该方向展开了一系列的研究,并取得了优异的成果,但是如何缩小模态间的语义鸿沟、去除冗余特征以及保持检索效率和检索精度的均衡仍然是跨模态检索面临的重要挑战。针对上述问题,本文提出了多层级语义对齐的跨模态检索方法,主要研究内容如下:(1)针对减小语义鸿沟和去除冗余特征的挑战,提出基于反事实推理的跨模态检索方法。该方法将基于反事实推理的多层级对比学习方法应用在跨模态检索中,分别在实例级、图像级和语义级构建反事实对比学习来训练模型,让模型对图像和文本表达进行全面的理解,减小模态间的语义鸿沟。同时在对比学习正负样本构建过程中引入反事实思维,以生成具有强辨别力的事实和反事实样本,从而提升模型的感知能力。(2)针对保持检索效率和检索精度的均衡这一挑战,提出基于双流Transformer的语义增强跨模态检索方法。该方法使用具有较高检索效率的双流Transformer来构建模型,同时提出了多项选择任务和语义增强模块,其中多项选择任务利用自监督学习的方式让模型挖掘图像文本特征之间的语义关联;语义增强模块用来实现多项选择任务,该模块能够在多个级别进行图像和文本的语义对齐,能够让模型在保持检索效率的同时提升模型精度。(3)跨模态检索原型系统。该系统通过构建前后端页面实现了上述两种基于多层级语义对齐的跨模态检索方法,展示了图像检索文本和文本检索图像两个任务的检索过程。综上所述,文本构建了基于反事实推理的跨模态检索方法,为解决跨模态检索模型中缩小语义鸿沟和去除冗余特征问题提供了解决思路;提出基于双流Transformer的语义增强跨模态检索方法,在保持模型检索效率的同时有效提高了模型检索的精度;设计并实现了一个跨模态检索原型系统,在多层级语义对齐的跨模态检索领域进行了有益的探索与尝试。

关键词：跨模态检索对比学习语义对齐反事实推理多模态学习

来源：评论

学校读者我要写书评

暂无评论

融合相关对齐和注意力原型学习的跨模态检索研究

融合相关对齐和注意力原型学习的跨模态检索研究

引用

作者：朱绍铨重庆大学

学位级别：硕士

跨模态检索是信息检索领域重要的基础技术,通过建模不同模态数据间的关联关系,实现从一种模态数据输入查询,输出多模态语义相关检索结果的功能。相比于单一模态检索范式,跨模态检索能够为查询者返回更加多样化的检索结果,丰富用户感知... 详细信息

跨模态检索是信息检索领域重要的基础技术,通过建模不同模态数据间的关联关系,实现从一种模态数据输入查询,输出多模态语义相关检索结果的功能。相比于单一模态检索范式,跨模态检索能够为查询者返回更加多样化的检索结果,丰富用户感知。本文研究连续值跨模态检索方法,针对映射特征的语义判别性、不同模态间数据的语义关联性,以及模型的可扩展性3个关键问题,提出一种融合相关对齐和注意力原型学习的跨模态检索模型(Attention-aware Prototype Learning joint Correlation Alignment for Cross-modal Retrieval,APLCA),用来学习类内紧凑且类间离散的语义一致性特征,提高检索的准确性。本文具体的创新工作和主要内容如下:(1)针对映射特征语义判别性不足的问题,提出基于注意力机制的原型学习方法,用于学习强判别性的语义特征。为了缓解噪声实例的影响,采用实例级的注意力机制来初始化原型表示,并通过原型网络学习到度量空间,以提取类内紧凑且类间离散的特征,增强映射特征向量的语义判别性。(2)为有效建模不同模态间的语义关联性,本文设计了深度语义相关性对齐方法,并无缝嵌入到神经网络全连接层中,通过最小化异构数据特征图间二阶统计量的差异,对齐不同模态数据的特征分布,并减小相同语义不同模态数据间的距离,从而引导网络生成模态不变的语义一致性特征。(3)针对检索模型在实际场景中可扩展性差的问题,本文采用实例级注意力原型学习方法,从少量新类样本中初始化该类别原型表示,以学习新类别数据的语义判别性特征,使得模型不仅在原始数据集上可取得良好的检索性能,在新类别数据上也能较好工作,从而验证了模型良好的可扩展性。(4)APLCA在Wikipedia、Pascal Sentence和NUS-WIDE-10k三个广泛使用的多模态数据集上进行了多角度检索实验,其结果验证了APLCA的有效性和易扩展性。此外,本文还将APLCA与多个优秀的跨模态检索方法进行比较,并在不同检索任务上对模型的性能进行评估,实验结果表明APLCA取得了最优的评价指标得分。

关键词：跨模态检索原型学习注意力机制相关性对齐

来源：评论

学校读者我要写书评

暂无评论

基于特征交互的跨模态检索研究

基于特征交互的跨模态检索研究

引用

作者：雷芳湖南科技大学

学位级别：硕士

随着移动设备和社交媒体的快速发展,不同模态的多媒体数据如文本、图像、音频等呈爆炸式增长。传统的单模态检索已经无法满足用户的检索需求,为此,跨模态检索应运而生。给定一种模态的查询样例,跨模态检索旨在返回与该查询样例语义相关... 详细信息

随着移动设备和社交媒体的快速发展,不同模态的多媒体数据如文本、图像、音频等呈爆炸式增长。传统的单模态检索已经无法满足用户的检索需求,为此,跨模态检索应运而生。给定一种模态的查询样例,跨模态检索旨在返回与该查询样例语义相关的其它模态的样本信息。跨模态检索的实现主要包括两个阶段:特征提取和跨模态对齐。在特征提取阶段,学习不同模态的数据特征。在跨模态对齐阶段,捕获不同模态之间的交互信息,以生成增强的模态表示。目前,跨模态检索研究主要分为两类,一类是基于特征表示的方法,该类方法聚焦于对不同模态的数据特征进行建模,并通过模态对齐的方式实现跨模态检索,但该类方法未能充分挖掘跨模态数据特征,导致最终用来检索的模态特征质量较低。另一类是基于模态交互的方法,该类方法关注不同模态数据之间的交互,通过探索它们之间的语义关系来增强模态特征表示的一致性。然而,现有的多模态交互方法大多采用自下而上的线性方式对不同模态之间的交互进行建模,未考虑由对齐模块生成的增强表示和原始输入特征之间的交互性。基于上述问题,本文在已有工作的基础上,针对跨模态检索过程中的两个关键阶段进行了以下两个方面的研究: 1.本文提出一种基于跨模态注意力特征交互跨模态食谱检索方法。该方法首先基于视觉Transformer模型提取食物图像的初始特征,基于BERT模型提取食谱文本的初始特征;然后,利用成对跨模态注意力网络使来自一个模态的特征反复强化另一个模态的特征,实现食物图像和食谱文本之间的充分交互;接下来再基于自注意力机制对模态的内部特征进行建模,以获得丰富的模态特定语义信息和潜在关联知识,从而增强食物图像和食谱文本的特征表示;此外,为了使跨模态注意力能更容易地学习食物图像和食谱文本之间的交互,将模态对齐嵌入到特征提取过程中;最后,引入三元组损失实现跨模态检索。在大规模基准数据集Recipe 1M的实验结果表明,该方法能有效提高检索性能。 2.本文提出一种基于强化反馈的特征交互跨模态音乐检索方法。该方法首先分别采用VGGish模型和BERT模型对音频和歌词文本的特征进行建模;然后使用循环神经网络,自注意力和跨模态注意力捕获模态内和模态间的特征;再通过强化学习迭代地从这些高级特征中选择重要的模态表示与原始输入特征进行交互,从而将来自音频和歌词文本的有效信息进行集成,以进一步丰富模态嵌入的表达;最后,使用三元组损失实现跨模态检索;此外,还引入了一个包含成对音频和歌词文本的新数据集AL-song。在ALsong数据集和基准数据集Sounddescs上的实验结果表明,该方法能显著提高跨模态检索的精度。

关键词：跨模态检索特征交互跨模态注意力反馈机制强化学习

来源：评论

学校读者我要写书评

暂无评论

基于关系建模的图像文本跨模态检索算法研究

基于关系建模的图像文本跨模态检索算法研究

引用

作者：吴祖成江南大学

学位级别：硕士

随着互联网和大数据的发展,跨模态检索逐渐成为多模态学习领域一个重要的研究方向。多模态学习主要解决不同类型数据间的相互关联问题,数据类别包括图像、文本、视频、音频等。跨模态检索的主要任务就是通过一个模态的数据检索其他模态... 详细信息

随着互联网和大数据的发展,跨模态检索逐渐成为多模态学习领域一个重要的研究方向。多模态学习主要解决不同类型数据间的相互关联问题,数据类别包括图像、文本、视频、音频等。跨模态检索的主要任务就是通过一个模态的数据检索其他模态的相关数据,建立不同类型数据间的关联。由于文本和图像是最为常见且存在巨大差异的两个数据类型,本文着重于跨模态的图像-文本检索这一任务。目前主流的跨模态检索算法主要是基于注意力机制的细粒度跨模态检索模型。这些方法通过跨模态注意力机制在图像候选框和文本中的单词之间建立联系,实现细粒度特征间的相似度计算,从而提高了检索准确度。然而图像模态和文本模态巨大的模态差异使得细粒度的跨模态检索难以匹配到准确的信息。具体来说,细粒度的跨模态检索方法通常采用目标检测算法获取图像候选框,而这难以与文本中的深度语义信息进行关联。此外,目标检测算法通过物体的外观特征对图像中的物体进行分类,这导致外观相似的物体特征间通常具有较高的相似度,而文本中相互关联的物体在外观上通常差异较大。因此基于相似度的模态内特征关联会对两个模态间的关系匹配产生干扰。为了解决上述问题,本文从图像和文本两个角度出发,通过图卷积和信息补充帮助跨模态检索模型获得更好的细粒度特征匹配。本文的主要工作如下所示: (1)提出了一个基于位置信息图推理和文本指导特征选择的图像-文本检索算法。采用目标检测模型作为图像特征提取器的方法倾向于在外观相近的物体间构建关联,而文本中相关的物体通常在外观上存在巨大差异,这导致了跨模态检索模型难以通过物体间关系获得正确的检索结果。为了解决图像中物体关联和文本中物体关联不匹配的问题,本文提出了基于位置信息的图推理模块,通过物体间的位置关系建立物体间关联。同时提出了基于文本指导的特征选择模块,在通过图模型获取物体间关系的同时保留原始图像特征的信息。 (2)提出了一个基于图像信息提取的图像文本检索算法。为了解决采用目标检测算法作为图像特征提取器难以获得深层语义信息的缺点,本文提出了采用预训练的场景图生成模型提取图像中的物体类别和物体属性信息并将其作为图像特征的补充,从而减小图像模态和文本模态间的模态鸿沟。算法通过将物体类别和属性信息与文本进行跨模态的匹配,使模型学习到其与文本中单词的对应关系,再通过注意力机制计算其与原始图像特征的潜在关系以对图像特征进行信息补充,从而获得更为精确的跨模态检索精度。 (3)提出了一个基于模态内细粒度特征关系提取的图像文本检索算法。为了解决获取图像模态和文本模态的模态内物体关系获取的问题,在基于位置信息图推理和文本指导特征选择的图像-文本检索工作的基础上,在图像模态使用物体位置信息和特征相似度相结合的方式获取图像物体间的关联,在文本模态通过单词相似度获取单词间的关联。再通过多个子图对物体间关系进行推理,最后通过跨模态信息指导的特征融合模块对原始特征和经过图卷积的特征间进行自适应的特征融合,在获取物体间关系的同时,减小了图卷积带来节点特征间差异减小的问题。通过采用两个子模型集成的方式使模型获得了更好的跨模态检索准确率。

关键词：跨模态检索图像-文本检索注意力机制位置信息

来源：评论

学校读者我要写书评

暂无评论

基于语义的跨模态检索研究

基于语义的跨模态检索研究

引用

作者：程文龙中国科学院大学

学位级别：硕士

随着信息技术和硬件设备的发展，互联网上涌现出了大量的多媒体数据，如图像、文本、语音以及视频等。如何从大量多媒体数据中快速搜索有效信息成为了一个亟需解决的问题。为了解决该问题，跨模态检索技术应运而生，并引起了研究者们的... 详细信息

随着信息技术和硬件设备的发展，互联网上涌现出了大量的多媒体数据，如图像、文本、语音以及视频等。如何从大量多媒体数据中快速搜索有效信息成为了一个亟需解决的问题。为了解决该问题，跨模态检索技术应运而生，并引起了研究者们的广泛关注。与单模态检索相比，跨模态检索存在模态差异性问题，其主要挑战在于如何度量不同模态数据之间的内容相似性。随着计算机视觉和自然语言处理技术的发展，跨模态检索也取得了很大的研究进展。但仍然存在一些问题。一是跨模态检索技术的迁移与应用问题，即跨模态检索技术能否成功应用到其他相关领域中。二是先前的跨模态研究主要聚焦于图像和文本，很少关注语音，但在某些场景下使用语音比文本更加方便。三是先前的方法不能很好地抑制图像和语音之间的模态差异性问题。本文的研究工作主要聚焦于这些问题，贡献如下:　　1.提出了一种基于检索的方法来处理视觉问答中的指向问题，这是检索模型迁移到视觉问答任务中的一次成功尝试。该方法的原理为在共同特征空间中拉近问句特征与正确答案特征之间的距离，同时推远问句特征与非正确答案特征之间的距离。此外，该方法不仅能解决有候选答案约束的指向问题，也为无候选答案约束的指向问题提供了一种可行的解决思路。该方法在视觉问答的指向任务中获得了较好的性能。　　2.提出了一种基于语义信息和特征重构的检索方法来处理语音-图像检索的问题。首先，使用对应于语音数据的语义信息引入了图像和语音之间的辅助对齐关系，并据此提出了一种三模态排序损失。其次，引入了基于特征重构的循环一致性损失，这可以进一步抑制视觉模态和语音模态之间的模态差异性问题。大量的实验验证了该方法的有效性。该方法在语音-图像检索任务上取得了较好的性能。

关键词：多媒体数据跨模态检索视觉问答语义信息特征重构

来源：评论

学校读者我要写书评

暂无评论

基于典型相关的音乐跨模态检索

基于典型相关的音乐跨模态检索

引用

作者：郁青玲南京邮电大学

学位级别：硕士

互联网和多媒体技术的飞速发展带来了网络音乐数量的爆炸式增长,使得用户有了很大的选择空间,但同时也给音乐检索系统带来了新的挑战。传统的音乐检索系统多使用提交音乐属性相关的文本作为检索词的方式进行检索,这种音乐属性关键字匹... 详细信息

互联网和多媒体技术的飞速发展带来了网络音乐数量的爆炸式增长,使得用户有了很大的选择空间,但同时也给音乐检索系统带来了新的挑战。传统的音乐检索系统多使用提交音乐属性相关的文本作为检索词的方式进行检索,这种音乐属性关键字匹配的音乐检索算法显然已经不能满足人们日益智能化、个性化的检索需求,因此基于内容的音乐检索技术也应运而生。在基于内容的音乐检索技术的研究中,哼唱检索是主流方式,然而这种方式由于过于专业化,很难普及到一般的用户。随着Web2.0技术的发展,研究人员逐步提出了基于语义的音乐检索方式。在诸如***等音乐网站上,用户可以使用标签对其感兴趣的音乐进行标记和描述,通常这些标签有着比较高的语义信息。然而如果完全根据标签检索会忽视多媒体数据在内容层面的相似性关系,因此如何能够考虑多个模态的特性,让各模态之间互相补充信息,来提高检索准确率,这就需要有一种新的检索方式能够处理不同模态的数据,因此本文的目的就是提出一种跨模态检索音乐方式。跨媒体检索技术是在基于内容的检索技术的基础上发展起来的,通过对来自不同模态的信息进行综合分析,弥补了单一模态检索的弊端,提高了信息检索的效率。本文利用能够表征音乐内容的文本信息和音乐本身的内容信息去综合检索音乐,针对文本特征和音乐内容的底层特征之间的异构和不可比拟性使得跨媒体相似性难以计算的现状,提出了一种基于典型相关的跨模态音乐检索方法,分析了文本特征和音乐内容特征潜在的统计关系,通过子空间映射解决了不同模态之间的特征异构问题,再根据欧氏距离的大小衡量两者的相关性,从而实现了音乐跨模态检索。并且引入查询相关的概念通过权重分配优化了检索结果,进一步提高了检索准确率。本文选取了Rock、emotion、jazz、folk、dancing5种音乐风格语义的文本-音频作为实验数据库,结果表明本文提出的跨模态音乐检索方法能取得较好的效果。

关键词：典型相关性跨模态检索异构性子空间映射权重分配

来源：评论

学校读者我要写书评

暂无评论

基于Transformer架构的深度哈希图文跨模态检索研究

基于Transformer架构的深度哈希图文跨模态检索研究

引用

作者：霍亚东曲阜师范大学

学位级别：硕士

近期,随着社交媒体网络和搜索引擎的快速发展,具有多模态性、高维性的多媒体数据呈指数增长,从而亟需设计更加高效的模型来实现精准的跨媒体数据检索。传统检索方案受到存储空间和查询时间的限制,难以实现快速且准确的检索。凭借存储代... 详细信息

近期,随着社交媒体网络和搜索引擎的快速发展,具有多模态性、高维性的多媒体数据呈指数增长,从而亟需设计更加高效的模型来实现精准的跨媒体数据检索。传统检索方案受到存储空间和查询时间的限制,难以实现快速且准确的检索。凭借存储代价低、检索效率高的优势,哈希技术成为解决多媒体数据存储与检索的主流方案。特别是,随着Transformer架构在计算机视觉、自然语言处理等任务中取得突破性进展,基于Transformer架构的深度哈希引起了学术界和工业界的广泛关注。然而,跨模态数据具有底层表征异构、高层语义相关的特点,因此如何生成保持原始语义关系的哈希编码,是一个极具挑战性的任务。本文以图文检索任务出发,研究基于Transformer架构的深度哈希方法,并设计了三种基于深度哈希的图文检索模型。具体研究内容如下: (1)通过计算样本间的相对相似关系,成对损失和三元组损失促进了类间分离,但忽略了类内聚敛,导致产生的哈希编码所包含的语义关系与原始空间的数据分布不一致。为了解决此问题,本文提出基于语义一致代理的深度跨模态哈希方法。具体来说,通过引入可学习的类别代理,设计了语义一致代理损失来学习类内聚敛和类间分离的汉明空间。此外,为了提高哈希编码的质量,提出了均匀分布约束策略来使得哈希编码的分布服从离散均匀分布。通过在三个基准数据集上的实验结果证明,相比于其他先进的跨模态哈希方法,该方法表现出了更好的检索性能。 (2)考虑多标签场景,基于代理学习的跨模态哈希不能有效地表达多标签依赖关系,并且忽略了数据点之间的约束,导致严重的多标签数据间的错误分类冲突。针对该问题,本文提出基于语义感知代理的多标签深度跨模态哈希方法。具体来说,通过联合多模态多标签代理损失和多模态无关损失,设计了语义感知代理损失来捕获多标签相关性,保持样本之间正确的细粒度相似性排序。通过在多标签数据集上的实验结果证明该方法的性能超过了当前主流的深度跨模态哈希模型。 (3)目前的深度跨模态哈希通常利用亲和匹配方案或局部排序方案来捕获简单的局部语义关系,导致了较高的邻居模糊性。同时,上述方法会利用额外的正则化或边际参数来优化参数,导致额外的调整超参数开销。针对该问题,本文提出基于邻居保持的深度跨模态哈希方法。具体来说,通过引入二元互信息,设计了二元球面互信息损失来有效地分离邻居样本和非邻居样本。此外,该模型在参数优化过程中不需要调整任何超参数。为了平稳地优化二元球面互信息损失,提出了平方夹紧方案来提高模型优化的稳定性。在三个数据集上大量的实验结果证明了该算法在不同的评估指标上优于对比方法。

关键词：跨模态检索深度哈希监督学习 Transformer架构语义关系

来源：评论

学校读者我要写书评

暂无评论

基于非对称哈希的跨模态检索方法研究

基于非对称哈希的跨模态检索方法研究

引用

作者：王鑫鑫西安电子科技大学

学位级别：硕士

随着移动互联网、物联网、云计算以及云存储等高新技术的发展,数据的存储量呈现指数形式增长,信息社会步入了大数据时代。这些来源广泛、种类繁多、存储量巨大的多媒体数据蕴含着丰富的经济和社会价值,数据的快速增长为信息社会的高速... 详细信息

随着移动互联网、物联网、云计算以及云存储等高新技术的发展,数据的存储量呈现指数形式增长,信息社会步入了大数据时代。这些来源广泛、种类繁多、存储量巨大的多媒体数据蕴含着丰富的经济和社会价值,数据的快速增长为信息社会的高速发展带来了新的机遇和挑战。如何对多媒体数据进行快速的存储、处理和分析,已成为大数据研究过程中急需解决的问题。基于哈希学习的近似最近邻检索方法是数据检索领域常用的一种方法,由于其检索速度较快、所需存储空间较小,得到了广泛的应用。在实际应用中,如何对样本海量的多媒体数据进行高效的检索,还有待进一步研究。因此,跨模态哈希检索技术具有重要的研究意义。现存的跨模态哈希检索方法主要关注如何保持不同模态数据间的关联性,忽略了哈希检索方法的泛化能力以及多模态数据分布的复杂性。本文在深入学习字典学习、非参数贝叶斯模型以及非对称哈希等相关知识的基础上,针对现有跨模态哈希的不足之处,提出了两种跨模态哈希检索方法,对现有跨模态方法进行检索性能的提升。本文主要的研究工作总结如下:1.针对现有跨模态方法难以求解最大化内积搜索问题,并容易发生过拟合,忽视了方法泛化能力,提出一种非对称跨模态哈希检索方法。利用非对称哈希的思想,对各个不同模态的数据学习两个不同的哈希函数,有效地求解最大化内积搜索问题,并增加跨模态检索方法的泛化能力以防止过拟合现象的发生。同时,利用字典学习方法中成对数据具有相同的表示系数或表示系数之间具有线性映射关系这一假设,将哈希编码与数据的监督信息结合,对不同模态的数据学习统一的哈希码,有效地保持了不同模态数据之间的语义关联性。2.针对现存跨模态检索方法假设数据服从高斯分布,不能有效地描述数据的实际分布这一不足,提出一种基于非参数贝叶斯的监督跨模态哈希检索方法。利用狄利克雷过程作为数据类别均值的先验,对数据分布进行建模。同时,建立概率图模型,描述原始数据、数据监督信息以及哈希码三者之间的关联,获取原始数据和二进制编码之间的后验概率分布,利用概率分布生成哈希函数,学习统一的哈希编码,使编码能更好的近似原始数据。充分的实验结果表明,本文提出的非对称跨模态哈希检索方法显著地增加了跨模态检索的泛化能力和灵活性,基于非参数贝叶斯的监督跨模态哈希检索方法较好地描述了多模态数据的分布,提高了哈希检索的精度,表现出良好的检索性能。

关键词：哈希跨模态检索非对称哈希非参数贝叶斯狄利克雷过程

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的医学图像和文本跨模态检索研究

基于深度学习的医学图像和文本跨模态检索研究

引用

作者：张琦沈阳航空航天大学

学位级别：硕士

随着计算机与大数据技术在医学领域中的迅速发展,多模态医学数据呈爆炸式增长。仅涉及单一模态的计算机辅助诊断系统已不能很好地满足当前的临床需求,因此医学跨模态检索应运而生。医生可以通过跨模态检索系统来检索出语义相似的其他模... 详细信息

随着计算机与大数据技术在医学领域中的迅速发展,多模态医学数据呈爆炸式增长。仅涉及单一模态的计算机辅助诊断系统已不能很好地满足当前的临床需求,因此医学跨模态检索应运而生。医生可以通过跨模态检索系统来检索出语义相似的其他模态相关数据,提高临床决策的正确性及效率。在医学跨模态检索领域中,目前的主流方法均采用基于共享标签或者共享标签个数的简单相似性判别策略,这将导致标签间语义孤立进而出现相似检索结果丢失等问题。医学疾病标签有一个明确的层次关系,较高层次的标签通常代表更广泛的概念,而较低层次的标签则更具体。这种层次关联可用于扩展更高层次语义的查询,以检索更全面的结果。对于一些疑难杂症或临床罕见疾病,通过层级语义扩展返回相似病例,可为医生提供一些建议和诊断思路,而不是无返回结果。针对以上问题,本文提出了基于语义扩展的医学图像和文本跨模态检索。通过挖掘出疾病标签之间的层次关联,将其转化为多级别语义矩阵,根据粒度级别分配不同的权重来指导图像、文本哈希码的学习。这种从更细粒度层面上区分样本间的相似度可以更完整地保持数据间的语义结构,在保证算法检索出相同语义的样本之后同时提供具有相似语义的样本。此外,引入Focal Loss损失函数来缓解医学领域中样本不均衡带来的问题。在MIMIC-CXR数据集上的实验表明,该方法优于其他经典的跨模态检索模型,达到了较好的性能。此外,由于疾病标签通常由人工选择或者贴标机自动提取,代表了样本的局部语义,具有片面性、局限性。较标签而言,文本中包含更丰富的语义内容,比如对病灶的一些具体描述、根据影像所见初步给予的诊断等,标签不能完全代表这些语义。针对这一问题,本文提出一种基于多角度语义监督的医学图像和文本跨模态检索方法。通过挖掘出文本与文本之间的语义关系作为全局语义监督,结合标签语义、层级语义共同作用于哈希码的学习,使其语义内容更准确、丰富。通过在MIMIC-CXR数据集上与其他经典的跨模态检索方法相比,发现该方法在MAP值与准确率-召回率曲线评价指标上均有显著的提升。

关键词：跨模态检索语义扩展深度学习哈希方法

来源：评论

学校读者我要写书评

暂无评论

基于深度哈希学习的图文跨模态检索研究

基于深度哈希学习的图文跨模态检索研究

引用

作者：田薪重庆邮电大学

学位级别：硕士

随着互联网的飞速发展,图像、文本、音频、视频等多模态数据呈爆炸性增长,人们早已不满足于单模态数据之间的检索,例如图像检索图像,文本检索文本。随着多模态数据的日益增长,人们希望能实现多模态之间的互相检索,例如图像检索文本,文... 详细信息

随着互联网的飞速发展,图像、文本、音频、视频等多模态数据呈爆炸性增长,人们早已不满足于单模态数据之间的检索,例如图像检索图像,文本检索文本。随着多模态数据的日益增长,人们希望能实现多模态之间的互相检索,例如图像检索文本,文本检索图像等。因此,近些年来,跨模态检索成为了研究的热点。不同模态的数据拥有不同维度的特征空间,如何衡量它们之间的相似性成为了研究的难点。在现实生活中,无标签数据比有标签数据更容易获得,手动标注这些无标签数据,需要耗费大量的精力,如何在部分有标签数据的基础上,挖掘无标签数据包含的标签信息成为了研究的难点。为了更好地利用这些无标签数据,本文主要研究的是半监督跨模态检索方法。针对以上存在的问题,为了更好地保留多模态数据间的相似性,同时将不相似的数据分离开来,本文提出了基于模态相似性保持的半监督深度哈希模型。在此研究的基础上,为了更好地保留数据的特征信息,同时减少冗余噪声带来的负面干扰,本文提出了基于模态相似性保持的降噪自动编码器半监督深度哈希模型,进一步提高了跨模态检索的准确率。具体研究工作如下:1.针对现有的一些模型存在不能很好地保留多模态数据间的相似性,不能有效地将不相似的数据分离开来的问题,本文提出了基于模态相似性保持的半监督深度哈希模型(SS-LPDP)及学习算法。该模型分为标签预测、哈希码学习和距离保留三部分。首先利用深度神经网络提取图像和文本的特征,学习相应的哈希函数将不同维度的特征投影到一个公共空间中,根据部分有标签数据的特征分布来预测无标签数据的标签信息。然后将标签信息和提取的特征作为输入,进行哈希码学习和距离保留。最后根据每一轮训练中模型参数的变化,动态更新无标签数据的标签信息。实验结果表明SS-LPDP模型相较于最近的一些模型,在检索准确率上取得了一定的提高。2.针对SS-LPDP模型在训练时忽略了冗余噪声带来的负面干扰,在此模型的基础上,结合降噪自动编码器的思想,提出了基于模态相似性保持的降噪自动编码器半监督深度哈希模型(SS-DAE)。首先利用深度神经网络提取图像和文本的特征,将提取的特征输入到一个降噪自动编码器中,降噪自动编码器包含随机加噪部分、编码部分、解码部分三部分。然后根据部分有标签数据的特征分布来预测无标签数据的标签信息,将标签信息和编码部分提取的特征作为输入,进行哈希码学习和距离保留,同时,根据解码部分提取的特征和由深度神经网络提取的特征,定义降噪自动编码器的重构损失函数。最后根据每一轮训练中模型参数的变化,动态更新无标签数据的标签信息。实验结果表明SS-DAE模型相较于最近的一些模型,在检索准确率上取得了一定的提高。

关键词：跨模态检索深度哈希半监督相似性保持降噪自动编码器

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共51页 << < 4 5 6 7 8 9 10 11 12 13 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：