检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

37 篇 学位论文
29 篇 期刊文献

馆藏范围

66 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

63 篇 工学
- 37 篇 机械工程
- 36 篇 计算机科学与技术...
- 31 篇 软件工程
- 15 篇 控制科学与工程
- 3 篇 仪器科学与技术
- 2 篇 信息与通信工程
- 2 篇 交通运输工程
- 2 篇 食品科学与工程（可...
- 1 篇 光学工程
- 1 篇 电子科学与技术（可...
- 1 篇 矿业工程
- 1 篇 航空宇航科学与技...
14 篇 管理学
- 13 篇 管理科学与工程(可...
- 1 篇 工商管理
- 1 篇 公共管理
6 篇 理学
- 5 篇 系统科学
- 1 篇 物理学
2 篇 医学
- 1 篇 基础医学(可授医学...
- 1 篇 临床医学
- 1 篇 公共卫生与预防医...
2 篇 艺术学
- 2 篇 设计学（可授艺术学...
1 篇 农学
- 1 篇 植物保护

主题

66 篇 跨模态融合
17 篇 注意力机制
7 篇 深度学习
5 篇 卷积神经网络
4 篇 transformer
4 篇 显著性目标检测
4 篇 自注意力
3 篇 情感分析
3 篇 目标检测
3 篇 多模态
2 篇 知识图谱
2 篇 孪生网络
2 篇 rgb-d
2 篇 特征提取
2 篇 生成对抗网络
2 篇 视觉对话
2 篇 bert
2 篇 多模态情感分析
2 篇 文本生成图像
2 篇 多模态融合

机构

3 篇 西南交通大学
3 篇 电子科技大学
3 篇 杭州电子科技大学
2 篇 华中科技大学
2 篇 江西师范大学
2 篇 青岛大学
2 篇 河北经贸大学
2 篇 浙江理工大学
2 篇 贵州大学
2 篇 浙江大学
2 篇 南京邮电大学
2 篇 西安理工大学
2 篇 广东工业大学
1 篇 上海工程技术大学
1 篇 中国人民公安大学
1 篇 x射线成像与检测陕...
1 篇 长江职业学院
1 篇 大连理工大学
1 篇 北京交通大学
1 篇 四川省中医药科学...

作者

2 篇 song mengke
2 篇 孙佳锦
2 篇 祁铧颖
2 篇 崔朝阳
2 篇 宋梦柯
2 篇 zheng yuanchao
2 篇 石玉诚
2 篇 郑元超
2 篇 杨宇恒
1 篇 zhang tinghui
1 篇 唐菁
1 篇 吴澳
1 篇 张廷辉
1 篇 程咏梅
1 篇 jiang aiwen
1 篇 li zhenkun
1 篇 方清茂
1 篇 尹明臣
1 篇 王志炳
1 篇 王芸

语言

66 篇 中文

检索条件"主题词=跨模态融合"

共 66 条记录，以下是41-50 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于异构网络的微博新闻事件自动检测与摘要算法研究与实现

基于异构网络的微博新闻事件自动检测与摘要算法研究与实现

引用

作者：张叶西南交通大学

学位级别：硕士

如今,微博平台在实时传播信息方面发挥了重要作用。然而,由于其具有规模大、实时性强和数据非结构化的特点,常见的数据挖掘方法在处理它们时不再适用。为了克服传统微博事件检测与摘要方法忽视微博平台中丰富视觉和社交信息的缺点,帮助... 详细信息

如今,微博平台在实时传播信息方面发挥了重要作用。然而,由于其具有规模大、实时性强和数据非结构化的特点,常见的数据挖掘方法在处理它们时不再适用。为了克服传统微博事件检测与摘要方法忽视微博平台中丰富视觉和社交信息的缺点,帮助人们快速掌握本质意义的大量的微博,本文以著名社交网站Twitter上多个个热点话题约100万数据作为主要研究对象,主要研究了跨模态微博事件检测、摘要。考虑包括文本、视觉、社交、时间等多个特征,提出了基于异构网络的事件检测和摘要框架。首先在数据预处理阶段,定义严格的过滤模式去除无意义的博文和图片;接下来在事件检测阶段,使用异构网络模拟微博数据的异质特性,采用后期多模态融合实体相似性模型来组合Twitter数据的异质特征,并使用近似相似算法生成融合特征后的同构图。下一步在同构相似度图上采用改进DBSCAN的算法,融入概率模型解决子话题分割的问题,然后根据子话题的热度及新颖度对产生的聚类排序。最后,分别为话题生成文本和视觉摘要。本文的贡献如下:1、利用多模态信息构建动态异构信息网络,解决传统方法不能利用微博丰富附加信息的缺点。利用AFF函数融合多模态特征,考虑它们的语义相似性和时空接近性来区分事件。从异构网络转换为同构网络,保留关键信息的同时为之后的检测和摘要简化结构。2、为了提高检测和摘要的多样性,减少话题分割的现象,在聚类阶段,提出HRDBSCAN算法,在原有聚类算法的基础上结合概率统计方法合并相似类簇;在摘要阶段,对子话题摘要结果再聚类,确保每个子话题在摘要只出现一次。3、在包含若干真实事件的Twitter数据集上实验,实验结果证明与现有方法相比本文提出框架的新颖性和优越性。

关键词：异构信息网络跨模态融合事件检测事件总结

来源：评论

学校读者我要写书评

暂无评论

基于信息引导的视频摘要技术研究

基于信息引导的视频摘要技术研究

引用

作者：赵玉晓天津大学

学位级别：硕士

随着在线视频数据量的与日俱增,广大用户检索、浏览、查询以及管理视频数据都变得耗时耗力。视频摘要作为一种浓缩视频内容的关键技术,目的是提升用户浏览、查询、检索等的效率并增强用户体验。本文从信息引导的角度,分别针对单视频摘... 详细信息

随着在线视频数据量的与日俱增,广大用户检索、浏览、查询以及管理视频数据都变得耗时耗力。视频摘要作为一种浓缩视频内容的关键技术,目的是提升用户浏览、查询、检索等的效率并增强用户体验。本文从信息引导的角度,分别针对单视频摘要和多视频摘要两种不同的形式展开研究。首先,针对现有基于序列模型的单视频摘要算法无法充分捕捉序列内部具有判别性的信息,不能在分布一致性上尽可能地贴合用户摘要的需求的不足,提出了一种基于注意力信息引导的分布一致性视频摘要算法。通过采用编码器自注意力和基于注意力机制的解码器,构成深度注意力机制,对序列内和序列间具有帧间视觉判别性的信息进行强化,并引入分布一致性策略设计损失函数,优化了摘要质量。其次,针对现有基于传统机器学习等技术的多视频摘要算法在深入挖掘到多视频数据潜在的多样化信息方面的不足,提出了一种基于跨模态融合信息引导的自编码器多视频摘要算法。针对多视频,构建了视觉文本融合模态信息引导模型,利用融合信息引导视觉特征,同时借助引导后的特征信息作为重要性约束训练稀疏自编码器,提取多视频摘要关键帧。上述所提两种算法分别在单视频数据集Sum Me和TVSum以及多视频数据集MVS1K上作了大量对比实验,并与一些主流算法进行了性能分析和对比,其评价结果验证了本文所提两种摘要算法的可行性和有效性。

关键词：视频摘要注意力机制跨模态融合信息引导

来源：评论

学校读者我要写书评

暂无评论

基于注意力机制的食品图像语义分割

基于注意力机制的食品图像语义分割

引用

作者：董笑笑北京工商大学

学位级别：硕士

传统的食品图像语义分割方法由于只能针对单一食物,或者要求图像背景统一等诸多限制,而且这些分割方法导致食品分割效果差且无法满足当前种类丰富的食品图像,不利于进一步食品营养分析和计算。同时相对于一般目标图像的语义分割,食物图... 详细信息

传统的食品图像语义分割方法由于只能针对单一食物,或者要求图像背景统一等诸多限制,而且这些分割方法导致食品分割效果差且无法满足当前种类丰富的食品图像,不利于进一步食品营养分析和计算。同时相对于一般目标图像的语义分割,食物图像语义分割更具有挑战性,因为食物外观的多样性,而且成分类别分布不均衡。本文旨在利用深度学习等技术,通过数据驱动的方式学习现有数据集中食品图像的纹理细节、语义特征等,从而实现能够准确进行食品图像的语义分割。本文的主要研究内容包括: (1)针对图像中存在不同大小的食物成分,而对于目标食物成分在进行卷积操作的过程中往往会导致语义信息的丢失。因此利用特征金字塔网络实现对不同层次的尺度特征进行特征处理,结合一个参数训练好的transformer模块,学习不同尺度特征的长距离依赖关系,实现对不同尺度特征的加权处理。基于此,利用将多模态预训练食谱学习模型(Recipe Learning Module,Re Le M)迁移到的编码器模块,使得分割模型获得更加丰富的食物先验知识,以此提高了分割模型的分割精度。 (2)目前的图像语义分割方法在食品图像数据集上的表现较差,因为食物成分和日常视觉特点之间的外观和独特条件有很大的差异,即食物图片的空间结构差异性,且不同食物成分的边界信息模糊,而这些方法对食品图像的特征提取能力不足。此外,利用注意力机制来获得上下文细节信息和依赖关系会导致计算复杂度较高。因此,提出了一个交叉空间注意力机制,以较低的时间和空间复杂度从食物图像中提取更丰富的空间特征,从而实现对于食品图像语义分割的精度。 (3)针对食品图像中食物类别多,分布不规律,边界信息模糊问题。同时在第2个研究内容的基础上,对于不同类别食物边界的高频信息在后续的特征处理过程中,往往会出现信息丢失问题。因此,本文设计一种结合基于离散小波注意力的孪生算法,通过添加离散小波变换,将图像特征处理从空间域转换为频域,再结合交叉空间注意力机制,实现对高频特征进行加权强化处理,实现高频特征的转化和强化。针对以上三种食品图像语义分割算法,本文在Food Seg103数据集、UECFood Pix和ADE20K数据上进行了丰富的实验,与现有最优算法进行多角度对比,实验结果验证了本文所提算法的有效性。

关键词：食品图像分割跨模态融合空间注意力通道注意力离散小波变换

来源：评论

学校读者我要写书评

暂无评论

基于图像和点云信息融合的目标检测算法研究

基于图像和点云信息融合的目标检测算法研究

引用

作者：翟永昂西南交通大学

学位级别：硕士

高精度的环境感知是实现智能驾驶的技术基础,解决可靠的环境感知问题是保证智能驾驶中人车安全的重要前提。随着深度学习算法和传感器硬件水平的不断发展,基于跨模态信息融合的环境感知技术表现出广泛的应用前景。图像传感器数据拥有丰... 详细信息

高精度的环境感知是实现智能驾驶的技术基础,解决可靠的环境感知问题是保证智能驾驶中人车安全的重要前提。随着深度学习算法和传感器硬件水平的不断发展,基于跨模态信息融合的环境感知技术表现出广泛的应用前景。图像传感器数据拥有丰富的色彩、纹理信息,而激光雷达可以获得精确的三维环境信息,具备更强的全天候工作能力。本文以图像数据和激光雷达点云为基础,克服单一传感器数据存在的缺陷,融合不同传感器信息,研究实现室外场景下的环境感知技术。主要工作内容如下:首先本文介绍了多传感器数据融合理论基础,研究分析激光雷达和图像传感器各自的成像原理以及多传感器信息融合的数学基础。然后针对资源受限设备,基于轻量化网络Mobile Net V3对YOLOV4目标检测算法进行优化,旨在保证模型精确度不明显下降的情况下,减少模型大小,提高推理速度。主干网络使用Mobile Net V3,使用深度可分离卷积代替传统卷积,实验结果证明改进后的YOLOV4算法模型大小、推理速度、检测精度均达到预期目的。接着融合图像信息改进稀疏点云稠密化算法。激光雷达采集的原始点云数据往往比较稀疏,使得基于点云的特征提取和语义感知比较困难。本文从图像分割任务中得到像素语义和实例信息,并利用点云和图像像素的映射关系完成点云分割,对感兴趣点云进行稠密化。实验证明,本文融合图像信息的点云稠密化算法更完整保留原始点云三维信息,同时点云稠密化算法运行效率也得到明显提升,稠密化后的点云对目标检测任务有明显的促进作用。最后,基于工业相机和激光雷达完成决策级信息融合的目标检测。硬件设备选择使用LIVOX浩界激光雷达和海康工业相机,使用张正友标定算法完成相机内参标定,根据激光雷达数据传输协议,实现激光点云的数据采集和解析。使用标定板完成相机和激光雷达的联合标定,实现多传感器数据融合。在完成图像和点云检测的基础上,对图像和点云检测结果进行决策级融合。通过实验验证了融合图像信息的检测算法相对于单传感器算法具有明显优势,能有效避免目标漏检。

关键词：目标检测轻量化网络点云稠密化跨模态融合决策级融合

来源：评论

学校读者我要写书评

暂无评论

基于机器学习的疾病智能诊断算法研究

基于机器学习的疾病智能诊断算法研究

引用

作者：李舒豪电子科技大学

学位级别：硕士

疾病诊断是医疗领域的基础和前置工作。疾病智能诊断算法利用医疗数据分析,辅助医生做出更精确的诊断,有助于早期发现疾病以及制定个性化治疗方案。因其巨大应用前景,一直是医疗健康领域的研究热点。尽管人工智能在医疗诊断领域取得了... 详细信息

疾病诊断是医疗领域的基础和前置工作。疾病智能诊断算法利用医疗数据分析,辅助医生做出更精确的诊断,有助于早期发现疾病以及制定个性化治疗方案。因其巨大应用前景,一直是医疗健康领域的研究热点。尽管人工智能在医疗诊断领域取得了重要进展,但在实际应用中,诊断的及时性和准确性仍然面临挑战。本文专注于进一步探讨基于机器学习的疾病智能诊断算法研究,提高诊断过程的准确性和效率,促进临床实践中的应用。具体研究内容分为以下四个部分: 1.针对医疗数据常见的不平衡性,以及诊断算法在捕捉类内相似性和类间差异性的不足,本文将度量学习引入疾病诊断算法中,提出一种基于度量学习的单模态疾病智能诊断算法。通过度量学习领域的三元组损失和对比损失学习数据点之间的相似度度量,结合交叉熵损失,提高模型识别类别间差异的能力,进而提高诊断的准确性。此外,提出一种基于批次的平衡采样策略,以促进模型有效学习样本数量较少的类别,缓解类别不平衡问题。 2.针对在诊断算法中使用整张医学图像时模型可能会根据图像中与疾病无关的伪影部分做出决策,或者无法捕捉到对疾病诊断至关重要的细微差异的问题,本文提出一种基于注意力机制的双视图疾病智能诊断算法。其中一个视图通过整张医学图像捕获全局信息,另外一个视图通过局部定位模块Mask R-CNN输出的病灶局部图像提取局部信息。更进一步地,同时采用多任务学习框架,综合全局信息、局部信息以及融合信息,实现端到端的诊断过程。此外,在特征提取网络中添加注意力模块,提升网络对于图像中重要部分的感知能力。在进行诊断时,模型通过采用所设计的决策融合策略,整合三部分预测结果,获得综合的诊断结果。 3.针对仅依赖单模态影像数据进行诊断时可能存在的能力不足问题,本文提出一种跨模态注意力融合的疾病智能诊断算法,旨在通过综合影像数据和临床数据,设计了一个新颖的基于注意力的多模态融合模块,一方面深入挖掘各个模态重要的诊断信息,另一方面探索不同模态之间的相互作用,从而提供更加全面的疾病视图,提高诊断的准确性和全面性。 4.在多个不同数据集的大量实验表明,本文提出的方法在不同的疾病诊断任务中表现出出色性能。综合以上,所设计的多个模型可以为临床医生提供一个强有力的辅助工具,极大地提高它们在疾病诊断以及治疗决策方面的效率和准确性。

关键词：机器学习疾病智能诊断度量学习跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于大模型和多模态Transformer的自然语言事件查询

基于大模型和多模态Transformer的自然语言事件查询

引用

作者：孙运卓湖北师范大学

学位级别：硕士

随着移动互联网和视频创作的迅猛发展,用户每日在You Tube、Instagram等在线视频平台上传的视频数量高达数亿。因此,通过给定的自然语言查询,精确地从大量未剪辑的视频中定位到最相关的时间段,变得越来越重要。这不仅能显著提升用户体验... 详细信息

随着移动互联网和视频创作的迅猛发展,用户每日在You Tube、Instagram等在线视频平台上传的视频数量高达数亿。因此,通过给定的自然语言查询,精确地从大量未剪辑的视频中定位到最相关的时间段,变得越来越重要。这不仅能显著提升用户体验,还能帮助视频创作平台增加视频观看次数并保持日活跃用户的数量。然而,自然语言事件查询具有很高的挑战性,因为它们需要处理大量的上下文信息和跨模态交互。此外,真实值查询往往伴随着人为偏差,例如因单词拼写错误和不准确的描述而引入的误差。为了应对这些挑战,本文提出了一种名为VTG-GPT(Video Temporal Grounding by Generative Pre-trained Transformer)的新颖模型。其核心贡献包括以下五个方面。首先,本文采用了多种特征提取器来获取视觉多模态特征,包括光流特征、深度特征、图像空间特征和时空特征。具体来说,本文首先使用GMFlow提取视频的光流特征,以帮助模型更好地理解视频中的动态行为和物体运动。接着用Zoe Depth提取深度特征,以增强模型对场景几何信息的推理能力。然后将这些特征与CLIP提取的图像空间特征和Slow Fast提取的时空特征融合,得到经过多模态信息增强的视觉多模态特征。其次,为了最大限度地减少人工注释查询产生的偏差,本文采用Baichuan2来重新表述原始查询并获得去偏差查询。同时,考虑到视频本质上比文本包含更多的冗余信息,并受到人类从语言上理解视频的方法的启发,本文应用Mini GPTv2将视觉内容转换为更精确的文本描述。接着,本文对去偏差查询和视频帧的文本描述进行编码,并设计了一个提案生成器,该生成器可以初步确定视频内容中与查询相关的范围,从而提高模型在后续解码层的解码效率。随后,为了实现高效的跨模态特征融合并解耦特征编码、融合和解码过程,本文基于Transformer设计了一个即插即用的跨模态交互模块。这个模块强制融合在编码器和解码器之间的视觉和文本特征,生成时间上对齐的跨模态特征。为了使模型能更好的利用提案生成器输出的相关范围,本文在解码层设计了一个可学习的二维时刻锚点,并在每个解码器层动态更新锚点,从而将查询与视频文本特征更明确地关联起来此外,本文采用简单而高效的Pool Former在单一模态编码器中对上下文进行建模。这种方法适用于视觉和文本特征,能够捕捉全局视野下的上下文信息。最后,为了证明VTG-GPT模型的有效性和可靠性,本文在四个公开数据集(QVHighlights、Charades-STA、Activity-Net和TVSum)上进行了广泛的实验和消融实验,结果表明VTG-GPT的性能优于当前最先进的方法。

关键词：视频理解自然语言处理生成式预训练Transformer 跨模态融合查询去偏

来源：评论

学校读者我要写书评

暂无评论

基于外部知识和语义理解的视觉问答关键算法研究

基于外部知识和语义理解的视觉问答关键算法研究

引用

作者：杨振宇电子科技大学

学位级别：硕士

视觉问答(VQA)是一个多学科的研究课题,它将计算机视觉、知识表示与推理、自然语言处理等AI领域结合,以正确使用关于现实世界中基本事物或物理现象的常识或知识为目标,努力让深度学习算法在与人类交流时的表现与人类内部之间进行相互交... 详细信息

视觉问答(VQA)是一个多学科的研究课题,它将计算机视觉、知识表示与推理、自然语言处理等AI领域结合,以正确使用关于现实世界中基本事物或物理现象的常识或知识为目标,努力让深度学习算法在与人类交流时的表现与人类内部之间进行相互交流时一致。具有外部知识的视觉问答任务需要视觉内容和外部知识相互验证来回答有关图像的问题。目前已有的VQA解决方案所面临的问题是,为了降低VQA算法在进行跨模态推理时存在的噪声及难度,它们要求在任务所提供的照片中、在问题及知识图谱上确定任务的相关信息,并需要将信息恰当地融合嵌入到所识别出的各种模态中。但这种对不同模态间信息的合理融合和共同推理,从而发现有关的证据,由此正确地预测出题目的答案,这一过程还值得深入研究。本文提出了一种结合预训练语言模型和知识图谱的双模态图神经网络算法(BIGNN-LM-KG)。研究人员分别通过图像和问题概念构建概念图。在构建概念图时,文章内使用了预训练的语言模型(LM)和知识图谱(KG),从LM中获取隐式知识,从KG中获取显式知识,并结合LM与KG的组合推理优势来对VQA算法进行改进。具体来说,使用KG来联合推断图像和问题中的实体概念,以构建概念图;使用LM计算概念知识图中节点和路径之间的相关性得分,以筛选概念图的节点和路径。然后,本文以经过筛选的图像实体的视觉和空间特征形成视觉图。本文针对已经构建的视觉图和概念图针对性地改进了图神经网络(GNN)来更好地学习两个图的表示,并通过模态融合GNN融合两个不同模态图中的信息,以预测可能性最高的答案。在VQA任务中以知识图谱为基础构建的公共数据集上,本文研究改进的VQA算法获得了良好的实验结果,并且本文也验证了算法中每个组件的有效性和算法的可解释性。

关键词：视觉问答知识图谱语义理解知识表示和推理图神经网络跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于深度学习图文融合情感分类研究

基于深度学习图文融合情感分类研究

引用

作者：陈爽兰州理工大学

学位级别：硕士

随着信息和通讯技术的飞速发展,社会化媒体已经逐渐渗透到人们的日常生活中。在社会化平台上,人们将自己的意见发表在网上,主观情绪会被不断地扩散、发酵,从而对社会的发展过程产生重要的作用。人们所发表的内容已经不仅仅是一条文字,... 详细信息

随着信息和通讯技术的飞速发展,社会化媒体已经逐渐渗透到人们的日常生活中。在社会化平台上,人们将自己的意见发表在网上,主观情绪会被不断地扩散、发酵,从而对社会的发展过程产生重要的作用。人们所发表的内容已经不仅仅是一条文字,还包含了各种不同的多模态数据,包括文字、图像、视频等。但是,伴随着海量的多模态社会大数据,情感分析已成为跨领域和交叉学科的难题。在对多种数据进行分析时,除了要解决多模态数据的异质性问题外,还要考虑多模态数据中所包含的多种情绪信息的融合与分类问题。文字及图片的内容具有丰富多样、抽象的特点,使得文字与图片的情感分析面临着以下两个挑战: (1)针对文章缺乏文本中情感词的特征提取信息和情感极性确定。本文提出基于注意力机制双通道图文融合情感分析模型。将情感词典扩展到神经网络中,可以更好地挖掘各模态间所特有的信息以及相互作用。在特征融合时,考虑到文字与图像的潜在互补,利用交互注意力机制对图文进行融合。实验结果表明,与传统单一权值算法相比,本文算法具有更高识别精度。 (2)考虑到网络评论中图片与文字之间的差异性,本文提出联合注意力信息融合的图文情感分析模型,该模型将视觉信息作为注意力引入到文本信息中通过添加CBAM组件来放大CNN的表示能力,增强图中有用的信息,抑制无用信息特征,用于增大图像中重要信息的权重值,以视觉注意力为基础,获得图像文件信息使用Bi-LSTM模型对文本进行情感分析,得到基于文本的文档表示。最后,为避免预测错误叠加的情况,将基于视觉注意力的文档表示和基于文本的文档表示输入到自动融合网络中进行动态融合,提高了图文情感分析的准确率。 (3)最后,利用MVSA数据集与Yelp数据集对所见模型进行验证。实验表明,与基线模型相比,该方法性能有显著提高,各模块的情感分析效果都有所提高,实验表明该模型可以很好的实现图文多模态情感分析。

关键词：情感分析情感词卷积神经网络注意力机制跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于面向对象双流网络和异构图推理的视频问答方法研究

基于面向对象双流网络和异构图推理的视频问答方法研究

引用

作者：张欣杭州电子科技大学

学位级别：硕士

视频问答任务旨在给定一段视频和一句自然语言描述的关于视频内容的问题,模型通过对问题和视频内容进行细粒度的理解和推理,自动输出一句遵循自然语言语法和语义规则的答案。目前,视频问答任务的难点主要体现在两个方面:(1)现有的视频... 详细信息

视频问答任务旨在给定一段视频和一句自然语言描述的关于视频内容的问题,模型通过对问题和视频内容进行细粒度的理解和推理,自动输出一句遵循自然语言语法和语义规则的答案。目前,视频问答任务的难点主要体现在两个方面:(1)现有的视频问答方法通常是通过提取视频帧级别的外观和动作特征来进行视频的特征表示,但这种基于视频帧级别的特征表示方法缺乏对视频中对象特征的细粒度表达以及对对象之间时空交互关系的建模。此外,常用的目标检测算法忽略了时间维度的信息,导致提取出的视觉特征缺乏对对象动作的分析。(2)现有的视频问答方法通常是通过在视频和文本模态上使用基于注意力机制的跨模态融合方法来实现问答推理。尽管这些方法利用了不同模态之间的交互关系来增强模型的逻辑推理能力,但却缺乏一个统一的推理模块来同时实现同一模态内和不同模态间交互关系的推理。针对这两方面问题,本文开展了以下两个研究:针对问题1,本文提出了基于面向对象双流注意力网络的视频问答方法。该方法首先提出了一种基于面向对象的带有位置编码和背景感知的双流视频特征表示方法,解决了基于视频帧级别的特征表示方法缺乏对细粒度对象的特征表达和动作分析的问题,其中,双流特征指视频中对象的静态外观流和动态行为流特征;其次,在面向对象双流网络的基础上,该方法进一步提出了问题指导的注意力模块用于挖掘问题文本与外观和动作之间的细粒度关联,同时生成在问题指导下的视频重构特征以便进行更为精确的视觉推理。针对问题2,本文提出了基于协同注意力和异构图推理的视频问答方法,该方法在面向对象双流网络的基础上进一步提出了协同注意力单元和异构图推理单元。协同注意力单元利用注意力机制将外观、动作和文本特征嵌入到一个公共的语义空间中来实现三种模态的跨模态融合;异构图推理单元通过构建异构图结构来建模外观、动作和文本三种模态元素以及它们之间的模态内和模态间交互关系,在统一的图结构中进行多轮渐进的问答推理并给出最终的答案。本文在视频问答数据集TGIF-QA、MSVD-QA和MSRVTT-QA上进行了充分的实验,其中在TGIF-QA数据集重复动作和状态转换类问题上的问答准确率较目前主流方法分别提升了5.6和4个百分点,证明了本文提出方法的有效性。

关键词：深度学习视频问答跨模态融合注意力机制图卷积网络

来源：评论

学校读者我要写书评

暂无评论

基于多模态融合的推荐算法

基于多模态融合的推荐算法

引用

作者：陆杨思旖浙江大学

学位级别：硕士

随着信息的爆炸式增长,推荐算法可以起到缓解信息过载的作用。然而在推荐算法中,虽然用户和物品数量规模很大,但用户与物品的实际交互数据却非常少。为了有效缓解这一关键数据的稀缺问题,现有的推荐算法大多采用了用户或者物品的边信息... 详细信息

随着信息的爆炸式增长,推荐算法可以起到缓解信息过载的作用。然而在推荐算法中,虽然用户和物品数量规模很大,但用户与物品的实际交互数据却非常少。为了有效缓解这一关键数据的稀缺问题,现有的推荐算法大多采用了用户或者物品的边信息来扩大可用信息量。考虑到人们日常生活中获得到的信息都是多种模态的,我们自然可以使用多模态信息作为另一种边信息来改善推荐系统的性能。现有的多模态推荐算法在模态的融合上还是比较简单和直接的,本文围绕融合策略的选取、高阶特征的学习方式开展不同模态的有效融合,并探索知识图谱与多模态推荐算法的结合。首先,自注意力机制可以很好地学习到特征间关系,我们利用这一优势搭建了一个同时利用文本模态和视觉模态进行推荐的算法框架。我们在搭建的过程中发现,现有的多模态推荐算法在选择多模态特征融合阶段时大多采用早期或后期融合策略,但这些策略都不能同时学习并利用融合前的单模态高阶特征信息和融合后的多模态高阶特征信息。针对这个问题,我们提出了一种能同时利用这两种特征信息的中期融合策略,并在搭建的基础算法框架上进行实现。我们的中期策略在经过一次特征学习层后进行特征融合,然后将融合后的特征送入后续的特征学习层。实验结果表明我们所搭建的多模态推荐算法框架确实能够带来更多的信息,并且有着更好的效果表现。其次,不论是针对单模态特征还是多模态特征,现有的多模态推荐算法都使用了相同的特征学习方式,并没有额外地学习这两种模态特征间的关系。针对这个问题,我们尝试在融合两种模态特征前交换它们的特征信息。由于这个交换操作类似于在两种模态间实现一种交叉跨越和互相特征借鉴,我们将该算法称为基于跨模态融合的推荐算法。我们通过对两种模态特征采用内积的方式来计算跨模态权重,以此来挖掘到这两种模态特征间的直接关系并得到包含更多信息的跨模态特征表示。实验表明我们的方法在多个公开数据集上取得了优于现有公开方法的效果。目前有大量的研究关于如何使用知识图谱来传播用户的偏好信息,但只有极少部分关注到了多模态技术在基于知识图谱的推荐算法中的价值。现有的工作大多只关注如何通过引入多模态信息来增强物品的表示,或者只是将多模态特征映射到同一空间然后通过知识图谱传播用户单一的偏好信息,并没有真正地去捕获用户对不同模态特征的细粒度偏好。针对如何利用多模态技术和知识图谱来增强用户表示这一问题,我们提出一种基于知识图谱的多模态推荐算法。我们利用自注意力机制来计算目标物品和用户相关物品间的相似度,并在知识图谱中分别传播两种模态下的用户偏好信息,最后利用相加、拼接和跨模态融合的方式得到增强的用户表示。在公开数据集上的实验结果表明我们算法比现有的算法有着更好的表现。

关键词：推荐算法多模态技术知识图谱注意力机制跨模态融合

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共7页 << < 1 2 3 4 5 6 7 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：