检索结果-内蒙古大学图书馆

电子学报 2023年第11期51卷 3155-3166页

作者：孟令兵袁梦雅时雪涵张乐吴锦华程菲安徽信息工程学院计算机与软件工程学院安徽芜湖241000 安徽信息工程学院电气与电子工程学院安徽芜湖241000 杭州电子科技大学管理学院浙江杭州310000

RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文提出了一种跨模... 详细信息

RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文提出了一种跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测方法.首先,本文以Swin-Transformer为特征提取器,分别对RGB模态与深度图模态进行特征提取,并通过跨模态注意力增强特征模块对两种模态特征进行融合以挖掘显著物的共性与互补特征.接着将提出的相邻多尺度特征增强模块嵌入编码器深层,以获得丰富的全局上下文特征信息,更精准地定位显著物的位置.然后通过构建一个边界特征提取解码器(U-Net架构)生成显著物的边界线索图,并重复采用跨模态融合特征确保生成显著物边界的完整性.最后,本文设计了一个边界可变形卷积引导模块,使用边界线索图与可变形卷积引导跨模态融合特征进行解码以得到更加准确的显著图.通过在6个公开基准数据集上与25种主流方法相比较,本文所提模型在多个指标上均有较明显的提升,从而证明了本文方法的有效性.

关键词：显著性目标检测跨模态融合边界特征可变形卷积显著图

来源：评论

学校读者我要写书评

暂无评论

高级语义修复策略的跨模态融合RGB-D显著性检测

引用

计算机科学与探索 2023年第1期17卷 140-153页

作者：石玉诚吴云龙慧云贵州大学计算机科学与技术学院贵阳550025

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高... 详细信息

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。

关键词： RGB-D 显著性目标检测跨模态融合高级语义修复

来源：评论

学校读者我要写书评

暂无评论

基于跨模态融合的第一视角视频行为识别方法研究

基于跨模态融合的第一视角视频行为识别方法研究

引用

作者：周毓轩电子科技大学

学位级别：硕士

随着互联网和电子设备等相关领域技术的快速发展,智能手机、可穿戴电子设备等智能化移动终端设备逐渐普及,推动着第一视角视频数据规模的不断扩大。第一视角行为识别研究在人机交互、安防预警、健康监测等领域有着广泛而巨大的应用前景... 详细信息

随着互联网和电子设备等相关领域技术的快速发展,智能手机、可穿戴电子设备等智能化移动终端设备逐渐普及,推动着第一视角视频数据规模的不断扩大。第一视角行为识别研究在人机交互、安防预警、健康监测等领域有着广泛而巨大的应用前景,吸引了深度学习领域众多学者的关注。本文主要研究基于跨模态融合的第一视角行为识别方法,利用RGB视频流、惯性传感器的加速度和角速度信息,针对日常生活场景中一系列常见的行为类别,提高第一视角行为识别的性能效果。本文的具体研究内容如下:1、本文基于3D卷积神经网络架构研究了多支路特征提取的行为识别方法,对于视频特征网络Slow Fast模型内部的双分支信息交互,引入了一种自适应的中间特征动态下采样的融合方式,根据惯性运动数据经LSTM提取的运动特征或者视频特征本身来生成视频区间置信度评用于模块构建,本文数据集上进行验证的实验验结果证明了Slow Fast特征动态下采样融合机制的有效性。2、本文研究了一种基于Transformer架构设计了视频和惯性运动两路特征提取网络,针对视频任务下的视觉Transformer计算成本过高问题,通过时空阵列化特征表示和分步解耦时空自注意力运算来有效解决,进一步引入了时域、空域稀疏化自注意力以及空间局部性掩码来效仿卷积网络设计上的优势,最后基于全局平均池化和互相关性融合模块来输出两路特征的跨模态融合结果。最后在本文数据集上进行训练的实验结果表明,本章算法模型有效提升了视频行为识别的效果。3、本文研究了一种由局部到全局时间的Transformer多模态特征提取模型,将视频帧和加速度、角速度数据以一定时间同步关系分割为成对的局部域短时片段输入信息,通过单一模态的局部时间Transformer和跨模态的全局时间Transformer实现细粒度的时序融合建模。为促进多模态下的视频分类学习的效果,进一步提出了一项模态平衡正则化约束任务使各模态充分协同互补。最终的实验结果证明了这种多模态Transformer网络算法在行为识别的准确率上有一定提升。

关键词：第一视角视频行为识别三维卷积网络时空自注意力机制视觉Transformer架构跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于跨模态融合的露天矿无人驾驶行车障碍检测研究

基于跨模态融合的露天矿无人驾驶行车障碍检测研究

引用

作者：李少博西安建筑科技大学

学位级别：硕士

随着国家绿色矿山和矿山智能化建设规范的推行,无人驾驶矿卡技术在露天矿山生产运输中相继落地,而矿区道路环境的实时智能感知作为无人矿卡与外界环境信息交互的枢纽,是实现露天矿运输卡车安全运行的关键之一。环境智能感知作为无人驾... 详细信息

随着国家绿色矿山和矿山智能化建设规范的推行,无人驾驶矿卡技术在露天矿山生产运输中相继落地,而矿区道路环境的实时智能感知作为无人矿卡与外界环境信息交互的枢纽,是实现露天矿运输卡车安全运行的关键之一。环境智能感知作为无人驾驶车辆的“眼睛”,为卡车决策系统提供重要的信息支撑。图像识别与激光雷达融合的感知方法因障碍物识别率高、距离测量精确,逐渐成为障碍检测的热点。本文研究主要基于深度学习的障碍检测和跨模态数据融合方法,对露天矿无人卡车行进障碍检测进行深入研究。本文研究主要内容包括:(1)车辆行进障碍图像预处理及数据集构建研究。通过实地采集和人工标注,增加了碎石、坑洞等露天矿区道路障碍,同时对道路中行驶的车辆型号进行了进一步细分。为了解决训练过程中数据集样本分布不均衡问题,使用了传统数据扩增方法和基于泊松融合的小目标增强算法,进一步增强小目标与多尺度障碍的数据特征。(2)基于机器视觉的矿区道路障碍物检测模型研究。针对露天矿区非结构化道路复杂多变,当前检测方法无法满足障碍物的多尺度及小目标检测能力,在特征提取阶段提出了更适应于目标检测的Rep VGG+骨干网络;在特征融合阶段,提出基于Sim AM空间与通道注意力和跨阶段连接的双向特征融合金字塔模型。通过扩大预测小目标障碍的特征图和特征感受野,提升小目标障碍检测性能,通过双向特征融合机制提升多尺度检测性能。同时对网络分类预测模块和损失函数进一步优化,提升障碍检测性能,降低特征冗余,加快模型推理速度,从而实现了对矿区道路障碍物的实时精确检测。(3)基于跨模态数据融合的无人矿卡车前障碍测定方法研究。通过计算相机的内参,矫正图像畸变并获得像素在图像坐标系的精确位置。并使用特征点匹配法计算图像坐标系与激光雷达之间的外参,得到两个坐标系之间的转换方法,达到图像与点云数据的跨模态融合的目的。同时在障碍物空间位置定位中提出了非中心抑制算法,实现了对露天矿区行车障碍目标距离的精确测量。通过实验结果分析可知,本文提出的露天矿区无人车行进障碍融合检测方法,对露天矿区道路的多尺度小目标障碍物有着良好的检测效果,同时在道路障碍的距离检测方面,相较于机器视觉方法精度更高,可以对无人驾驶行车障碍物完成精准测定。最后将本文方法应用于露天矿无人矿车进行实验测试,结果表明该方法可以满足露天矿区非结构化道路障碍物的精确检测要求。

关键词：露天矿区非结构化道路无人矿卡障碍检测跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于跨模态融合的多模态情感分析研究

基于跨模态融合的多模态情感分析研究

引用

作者：孙佳锦浙江理工大学

学位级别：硕士

近年来,越来越多的用户开始通过图文、短视频等多模态媒介来表达情感。而传统的情感分析模型往往是针对文本、图片等单模态媒介设计的,难以有效利用多模态信息,导致对多模态数据的情感分类准确率不高。多模态情感分析通过输入不同模态... 详细信息

近年来,越来越多的用户开始通过图文、短视频等多模态媒介来表达情感。而传统的情感分析模型往往是针对文本、图片等单模态媒介设计的,难以有效利用多模态信息,导致对多模态数据的情感分类准确率不高。多模态情感分析通过输入不同模态的信息,利用深度学习技术自动挖掘不同模态的情感状态,能有效的将多个模态信息互补结合,提升情感分析能力。本论文基于对模态内情感特征建模与跨模态特征融合的创新,对图文与视频两类多模态情感分析展开研究,主要研究内容如下:(1)针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系,而忽视图像低层特征的问题,提出了一种基于多层注意力交互融合的图文情感分析模型(MAFSA)。该模型首先将VGG网络外接多层卷积,以获取不同层次的图像特征,并使用BERT词嵌入与双向门控循环网络来获取文本情感特征;为了使模型能够关注图文内容相互关联的重要信息,将提取后的多层图像特征与文本情感特征进行注意力融合,得到多组单层图文注意力融合特征,并将其通过软注意力分配权重;最后将得到的多层图文注意力融合特征输入全连接层,得到分类结果。实验结果表明,MAFSA模型在准确率和F1值上较基线模型均有所提升,有效地提高了图文情感分析性能。(2)针对视频情感分析模型在特征提取时单模态特征异质性难以保留,且跨模态融合时特征冗余的问题,提出基于多任务学习和层叠Transformer的视频情感分析模型(MTSA)。MTSA模型使用LSTM与多任务学习框架提取单模态上下文语义信息,通过累加辅助模态任务损失以筛除噪声并保留模态特征异质性。使用多任务门控机制调整跨模态特征融合,通过层叠Transformer结构融合文本、音频、视觉模态特征,提升融合深度,避免融合特征冗余。利用gradnorm与子任务权重衰减来调优多任务损失,平衡多任务训练。实验结果表明,MTSA能够有效提升视频情感分析性能。

关键词：跨模态融合多模态情感分析注意力机制卷积神经网络循环神经网络

来源：评论

学校读者我要写书评

暂无评论

基于跨模态融合的多模态情感分析研究

基于跨模态融合的多模态情感分析研究

引用

作者：白建国山东交通学院

学位级别：硕士

随着互联网和多媒体技术飞速发展,人们倾向于通过视频等多模态媒介表达自己的情感和观点。针对社交媒体上的用户视频,充分利用其蕴含的文本、语音和表情图像等多模态特征,构建高效的深度学习模型,成为情感分析的关键。早期的算法模型在... 详细信息

随着互联网和多媒体技术飞速发展,人们倾向于通过视频等多模态媒介表达自己的情感和观点。针对社交媒体上的用户视频,充分利用其蕴含的文本、语音和表情图像等多模态特征,构建高效的深度学习模型,成为情感分析的关键。早期的算法模型在进行跨模态情感分析时,一方面容易受到单一模态冗余特征和跨模态交互融合产生的冗余特征的影响,无法有效提取关键性特征;另一方面,传统的将特征向量简单融合或者使用多个模型综合预测结果的处理方法,无法有效提取多种模态数据的模态内特性和模态间共性,影响情感分析结果的准确率。针对上述两方面问题,本文以社交媒体上的独白视频为研究对象,从中分离出文本、语音和表情图像三种模态数据,构建深度学习模型进行跨模态情感分析,主要研究内容及创新点如下: (1)针对单一模态存在的冗余特征和跨模态交互融合产生的冗余特征,本文提出了一种基于池化跨模态注意力机制的情感分析模型CMPAT。该模型使用多头注意力机制减少单一模态冗余特征,使用池化跨模态注意力机制减少跨模态交互融合产生的冗余特征,能够有效提取和融合关键特征,从而提升情感分析的准确率。通过对比实验表明,CMPAT模型能够有效减少单一模态的冗余特征和跨模态交互融合产生的冗余特征,在CMU-MOSI数据集上的二分类准确率为82.6%,七分类准确率为43.7%,在CMU-MOSEI数据集上的二分类准确率为84.8%,七分类准确率为53.4%,整体优于其他对比模型。 (2)针对模态内特性和模态间共性无法有效提取的问题,本文提出了一种基于模态表征学习的跨模态情感分析模型CMRL。该模型使用融合模态模块提取模态间共性,使用独立模态模块分别提取文本、语音和表情图像三种模态特征。为了充分提取模态内特性,CMRL模型将融合模态模块与独立模态模块两者的预测值建立皮尔逊相关性系数的约束,同时将独立模态模块提取的特征经过一维卷积降维后拼接,并馈入全连接层提取特征,最终与融合模态模块全连接层提取到的特征建立基于斯皮尔曼相关性系数的约束。通过对比实验表明,CMRL模型能够有效提取模态内特性和模态间共性,在CMU-MOSI数据集上的二分类准确率为84.2%,七分类准确率为44.9%,在CMU-MOSEI数据集上的二分类准确率为85.4%,七分类准确率为53.8%,整体优于其他对比模型。 (3)基于本文提出的基于模态表征学习的跨模态情感分析模型CMRL,设计并开发了一个面向独白视频数据的跨模态情感分析原型系统,该系统可以提取视频中文本、语音和表情图像三种模态数据特征,进行基于跨模态融合的多模态情感分析,并通过可视化界面帮助用户更好地理解情感分析结果。

关键词：跨模态融合情感分析卷积神经网络注意力机制模态表征学习

来源：评论

学校读者我要写书评

暂无评论

基于跨模态预测融合的多模态情感识别方法研究

基于跨模态预测融合的多模态情感识别方法研究

引用

作者：杨宇恒西安理工大学

学位级别：硕士

近年来,情感分析作为一个立足于自然语言处理、机器学习和深度学习交叉学科的研究领域,已逐渐显现出深远的影响和重要性。随着大数据和社交媒体的普遍应用,用户以文本、语音和图片等多模态的形式来表达自己感受和意见,而这些多模态的数... 详细信息

近年来,情感分析作为一个立足于自然语言处理、机器学习和深度学习交叉学科的研究领域,已逐渐显现出深远的影响和重要性。随着大数据和社交媒体的普遍应用,用户以文本、语音和图片等多模态的形式来表达自己感受和意见,而这些多模态的数据中蕴含着大量的情感特征。通过精准的情感分析,我们可以有效截取并理解这些数据,从而得出有价值的信息和见解。目前多模态情感识别中存在着情感特征提取不充分和多模态情感融合方法单一且融合效果不佳的缺点。针对上述问题,本文主要研究内容如下: 1.针对MFCC语音特征抗噪性能差鲁棒性低的问题,本文以MFCC特征提取为基础提出了一种混合特征的语音情感识别方法,首先将语音信号通过预加重,分帧,加窗,快速傅里叶变换,梅尔滤波器组,离散余弦变换得到Mel频谱特征,将抗噪性能较差的MFCC特征与具有强鲁棒性能的GFCC特征进行混合处理,以提高MFCC抗干扰性和鲁棒性。并且融入MFCC特征和GFCC特征的一阶差分信息以补充丢失的语音动态特征信息。考虑到融合的高维度的语音情感特征数据中存在冗余信息,于是对混合后的特征参数进行降维处理。最终将得到的混合特征H-MGFCC送入LSTM网络中进行训练。 2.为了对各个模态间的实例化关系进行分析,本文提出一种基于注意力权重索引的编码器预测模型,将上文从LSTM网络中提取到的语音特征首先在编码器模型中进行编码,将输入的语音特征映射到一个隐藏状态向量,并在编码器和解码器之间加入注意力机制并计算注意力分数,通过对注意力分数设置阈值,将大于阈值的地方设为1,小于阈值的地方设为0,从而生成阈值矩阵。通过阈值矩阵来区分预测的文本特征和图像特征中的特有特征和公有特征。最终通过消融实验证明,该模型可以提高多模态情感识别的识别率。 3.为了解决各模态信息融合时数据的对齐问题以及融合样本信息效果差的问题,本文提出一种CSA-Transformer跨模态注意力机制模型,对Transformer模型中的多头注意力机制进行改进,将三个模态生成的Quary、Key、Value向量,进行交叉遮掩处理后达到跨模态信息融合的效果。并在融合时加入对比学习,引入文本-语音和图像-语音对抗性负样本来构建负样本空间。使得负样本空间中的对抗性负样本可以不断追踪难以区分的样本。有效的增加了模态间的相互作用并对模型效果进行优化。

关键词：多模态情感分析注意力机制特征融合跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于显著性学习的非规则幕墙板材检测方法

引用

重庆邮电大学学报(自然科学版) 2025年第1期37卷 85-93页

作者：李锐程隆奇徐潇宇唐菁吴德成重庆邮电大学自动化学院重庆400065

针对现有幕墙安装机器人缺乏非规则板材检测能力的问题,提出了一种基于显著性学习的板材检测方法,通过分析板材与背景的显著性关系来定位目标,避免板材纹理、形状、大小等因素对检测精度的影响。该方法基于可见光-深度(red-green-blue d... 详细信息

针对现有幕墙安装机器人缺乏非规则板材检测能力的问题,提出了一种基于显著性学习的板材检测方法,通过分析板材与背景的显著性关系来定位目标,避免板材纹理、形状、大小等因素对检测精度的影响。该方法基于可见光-深度(red-green-blue depth,RGB-D)双模态特征信息,使用多尺度残差互补模块来抑制跨模态特征的发散问题,并结合多尺度注意力引导模块和融合感知模块以实现精细的显著推理,同时构建了包含180幅RGB-D图像的幕墙板材数据集(curtain wall panel,CWP)来做模型测试。将提出的方法在4个公开数据集进行训练与测试,结果表明,所提算法性能优于8种显著性检测方法。在自建CWP实验测试中,提出的方法在Sα、Fβ、Eξ、MAE指标分别达到0.843、0.802、0.864、0.053,证明了所提算法针对未知的非规则幕墙板材检测具有很好的鲁棒性。

关键词：显著性学习目标检测幕墙非规则板材跨模态融合

来源：评论

学校读者我要写书评

暂无评论

基于Transformer全局-局部特征融合的RGB-D显著性检测

引用

计算机应用与软件 2025年第3期42卷 176-182页

作者：宋梦柯王芸郑元超青岛大学计算机科学技术学院山东青岛266071

现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融... 详细信息

现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融合后特征送入Transformer编码器通过在所有位置同时整合多尺度和多模态的特征来进行充分的特征融合,获得全局特征依赖关系之后再送入主干网络提取全局—局部融合特征。同时提出双重注意力模块,用来增强两个分支特征的融合效果。在五个公开数据集上进行的实验表明,该网络在三个评价指标上均取得了较好的表现。

关键词： RGB-D显著性检测全局-局部特征跨模态融合多尺度 Transformer

来源：评论

学校读者我要写书评

暂无评论

基于自注意力模态融合网络的跨模态行人再识别方法研究

引用

自动化学报 2022年第6期48卷 1457-1468页

作者：杜鹏宋永红张鑫瑶西安交通大学软件学院西安710049 西安交通大学人工智能学院西安710049

行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相... 详细信息

行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化.针对跨模态行人再识别中存在的模态变化问题,本文提出了一种自注意力模态融合网络.首先是利用CycleGAN生成跨模态图像.在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征,对于原始数据集中的图像利用SoftMax损失进行有监督的训练,对生成的跨模态图像利用LSR (Label smooth regularization)损失进行有监督的训练.之后,使用自注意力模块将原始图像和CycleGAN生成的图像进行区分,自动地对跨模态学习网络的特征在通道层面进行筛选.最后利用模态融合模块将两种筛选后的特征进行融合.通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.

关键词：跨模态行人再识别自注意力跨模态融合 CycleGAN

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：