检索结果-内蒙古大学图书馆

中国图象图形学报 2024年第4期29卷 1070-1084页

作者：周涛叶鑫宇赵雅楠陆惠玲刘凤珍北方民族大学计算机科学与工程学院银川750021 北方民族大学图像图形智能处理国家民委重点实验室银川750021 宁夏医科大学医学信息与工程学院银川1750004

目的肺部肿瘤早期症状不典型易导致错过最佳治疗时间,有效准确的肺部肿瘤检测技术在计算机辅助诊断中变得日益重要,但在肺部肿瘤PET/CT(positron emission computed tomography/computed tomography)多模态影像中,肿瘤与周围组织粘连... 详细信息

目的肺部肿瘤早期症状不典型易导致错过最佳治疗时间,有效准确的肺部肿瘤检测技术在计算机辅助诊断中变得日益重要,但在肺部肿瘤PET/CT(positron emission computed tomography/computed tomography)多模态影像中,肿瘤与周围组织粘连导致边缘模糊和对比度低,且存在病灶区域小、大小分布不均衡等问题。针对上述问题,提出一种跨模态注意力YOLOv5(cross-modal attention you only look once v5, CA-YOLOv5)的肺部肿瘤检测模型。方法首先,在主干网络中设计双分支并行的自学习注意力,利用实例归一化学习比例系数,同时利用特征值与平均值之间差值计算每个特征所包含信息量,增强肿瘤特征和提高对比度;其次,为充分学习多模态影像的多模态优势信息,设计跨模态注意力对多模态特征进行交互式学习,其中Transformer用于建模深浅层特征的远距离相互依赖关系,学习功能和解剖信息以提高肺部肿瘤识别能力;最后,针对病灶区域小、大小分布不均衡的问题,设计动态特征增强模块,利用不同感受野的多分支分组扩张卷积和分组可变形卷积,使网络充分高效挖掘肺部肿瘤特征的多尺度语义信息。结果在肺部肿瘤PET/CT数据集上与其他10种方法进行性能对比,CA-YOLOv5获得了97.37%精度、94.01%召回率、96.36%mAP(mean average precision)和95.67%F1的最佳性能,并且在同设备上训练耗时最短。在LUNA16(lung nodule analysis 16)数据集中本文同样获得了97.52%精度和97.45%mAP的最佳性能。结论本文基于多模态互补特征提出跨模态注意力YOLOv5检测模型,利用注意力机制和多尺度语义信息,实现了肺部肿瘤检测模型在多模态影像上的有效识别,使模型识别更加准确和更具鲁棒性。

关键词： YOLOv5检测自学习注意力跨模态注意力动态特征增强模块 PET/CT肺部肿瘤数据集

来源：评论

学校读者我要写书评

暂无评论

面向压力识别的双向跨模态注意力机制的融合方法研究

面向压力识别的双向跨模态注意力机制的融合方法研究

引用

作者：韦香玉兰州大学

学位级别：硕士

随着社会经济的不断发展,人们的生活节奏也越来越快,几乎每个人的身上都背负了来自各方面的压力。长期背负着巨大的精神压力,会对个体的身体健康和心理健康造成不利影响。准确地识别出压力状态、进行必要的疏解和干预可以防止压力进一... 详细信息

随着社会经济的不断发展,人们的生活节奏也越来越快,几乎每个人的身上都背负了来自各方面的压力。长期背负着巨大的精神压力,会对个体的身体健康和心理健康造成不利影响。准确地识别出压力状态、进行必要的疏解和干预可以防止压力进一步演变成慢性疾病,因而,提高压力识别的准确率具有重要的现实意义。个体在压力状态下,身体会产生多种生理反应,如呼吸加快、血压升高、出汗等,这些生理反应可以由不同的生理信号来观测,皮肤电活动(Electrodermal Activity,EDA)和血容量脉冲(Blood Volume Pulse,BVP)因其无损、便捷、连续的特点而受到了广泛的关注。仅通过一种生理信号难以准确地识别出压力状态,多模态生理信号的融合是一种很有前景的技术,能够提升压力识别的准确率。然而,多种生理反应并不是同时产生的,从不同的角度观测到的生理模式之间存在着异步性。在进行多模态融合时,需要将这个因素考虑在内,否则将会影响多模态融合的质量。此外,生理信号存在个体差异性,影响模型的通用性和泛化性。为了解决以上问题,本文重点探究了皮肤电信号和血容量脉冲信号之间时序上的对齐关系,并结合多项式随机采样过程进行多模态融合,以提高模型的泛化性能。论文的主要研究工作和成果包括:(1)提出一种基于多模态生理信号动态对齐的融合网络模型:首先根据血容量脉冲信号和皮肤电信号的特性构建不同的特征提取器,以完成自动的时域特征提取。其次,利用跨模态注意力来寻求两种模态之间的对齐关系,并充分地融合跨模态信息。模态内注意力用于弱化噪声和冗余信息,突出重要信息,以获得显著的压力表征。最后,利用预测器分别处理这两种模态的压力表征得到两个预测标签,并利用均方误差损失缩小两个模态之间的差距。(2)提出一种基于多项式随机采样的多模态压力识别网络模型:考虑到不同模态的传感器信号对融合特征的贡献可能会不同,本文结合多项式随机采样过程融合血容量脉冲信号和皮肤电信号。在对不同模态的信号各自完成特征提取后,利用模态间-模态内注意力模块寻求两个模态时序上的对齐关系、突出单模态内部重要的信息。然后通过全连接层将两个注意力模块的输出转换为一个可对接的向量,使得两个模态的特征向量具有相同的特征维度。其次,依据采样概率,对两个模态进行随机采样,获得服从于多项式分布的概率向量。最后,将特征向量与相应的概率向量相乘完成特征选择,将两个模态的特征向量相加完成模态融合。(3)本文在两个多模态情感数据集上进行了对比实验,与具有代表性的神经网络模型和基于注意力机制的多模态融合方法相比,本文提出的基于多模态生理信号动态对齐的融合网络模型在压力识别任务中获得了更好的分类结果,分类准确率可以达到81.8%,有力论证了本研究所考察的多模态生理信号时序对齐的有效性。此外,本文对跨模态注意力权重和潜在的压力表征进行了可视化分析,进一步论证了跨模态注意力机制在对齐多模态生理信号上的有效性以及模态内注意力机制在突出重要信息上的作用。在引入多项式随机采样过程进行特征选择后,不仅提高了分类准确率的平均值,还降低了其标准差,表明基于多项式随机采样的多模态融合有助于提高模型的泛化性能。通过调整采样概率,本文进一步探索了不同的传感器信号对于多模态融合表征的贡献。此外,本文对模型产生的潜在融合表征进行了可视化分析,结果表明所提出的模型能够得到更具区分度的压力表征,具有很好的可解释性。综上所述,本文深刻探究了多模态生理信号时序对齐的有效性。通过跨模态注意力机制和模态内注意力机制的融合建模,进行血容量脉冲信号和皮肤电信号的时域对齐,并获得更具区分性和显著性的压力表征,提高压力识别的准确率。在此基础上,通过多项式随机采样进行特征选择和融合,进一步提升分类模型的泛化性能,为基于多模态生理信号的压力识别建模提供了一种新的思路。

关键词：压力识别生理信号多模态融合跨模态注意力模态内注意力

来源：评论

学校读者我要写书评

暂无评论

GAN下基于跨模态注意力和门控机制的文本生成图像方法研究

GAN下基于跨模态注意力和门控机制的文本生成图像方法研究

引用

作者：赖博润华南理工大学

学位级别：硕士

文本生成图像任务是近年来一种重要的信息转换表示技术,它将复杂的文本描述转化成信息量更大但更容易理解的图像。现有的文本生成图像方法以生成对抗网络为主流生成模型,其中文本和图像两种不同模态信息的映射和融合方法,极大地影响生... 详细信息

文本生成图像任务是近年来一种重要的信息转换表示技术,它将复杂的文本描述转化成信息量更大但更容易理解的图像。现有的文本生成图像方法以生成对抗网络为主流生成模型,其中文本和图像两种不同模态信息的映射和融合方法,极大地影响生成图像的视觉质量和与文本语义的一致性。本文着重研究文本生成图像任务中跨模态信息的映射和融合方法,主要工作如下: 1、提出一种门控交叉单词—视觉注意力驱动的文本生成图像方法。首先,提出单词到视觉注意力机制。与常规的视觉到单词注意力机制不同,它通过反向关注与单词相关的图像子区域,为每个单词的重要性衡量提供语义反馈。其次,提出门控细化机制。单词到视觉注意力提供的语义反馈和前一阶段的单词信息作为选择门的双输入,控制重要单词的筛选并对其记忆,以实现图像细化效果的持续改善。实验表明,该方法可以根据生成图像准确选择重要的单词来细化图像,而且生成的图像真实性更高,细节更加丰富。 2、提出一种文本单方面(Aspect)信息的局部感知方法和多方面信息的联合感知方法。首先,提出方面级注意力机制。文本的方面信息指描述某个实体或概念的短语,其语义是文本语义的一部分,且含有比单词级语义更为全面的上下文关系,因此所提出的方面级注意力,一方面聚焦单个方面信息所关联的图像子区域,并在该图像子区域上积聚了方面级文本语义,增强了图像的局部细节。其次,针对多个方面信息独立细化图像容易发生视觉错误传递的问题,提出多个方面信息细化结果的并行门控融合方法。由于不同方面信息细化图像同时出错的概率很低,并行融合方法利用了多个方面信息,容错性能更好,同时门控调整融合比例,图像局部细节的真实性以及与文本语义的一致性得到改善。 3、提出一种基于全局—局部语义感知判别网络的文本生成图像方法。首先,全局语义感知机制以文本和图像的全局特征匹配来实现语义对齐,为图像生成提供更强的文本全局语义约束。其次,局部语义感知机制基于文本和图像的跨模态注意力,寻找与每个单词匹配的图像子区域,并通过利用文本的全局语义,监督图像子区域的细节生成,为图像的生成过程提供准确的图像细粒度信息反馈。

关键词：文本生成图像生成对抗网络跨模态注意力门控机制语义对齐

来源：评论

学校读者我要写书评

暂无评论

结合光流算法与注意力机制的U-Net网络跨模态视听语音分离

引用

电子与信息学报 2023年第10期45卷 3538-3546页

作者：兰朝凤蒋朋威陈欢韩闯郭小霞哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 中国舰船研究设计中心武汉430064

目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠... 详细信息

目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型。该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征。为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试。研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB。由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果。

关键词：视听语音分离视听融合跨模态注意力光流算法

来源：评论

学校读者我要写书评

暂无评论

基于双路径递归网络与Conv-TasNet的多头注意力机制视听语音分离

引用

电子与信息学报 2024年第3期46卷 1005-1012页

作者：兰朝凤蒋朋威陈欢赵世龙郭小霞韩玉兰韩闯哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 哈尔滨工大卫星技术有限公司哈尔滨150023 中国舰船研究设计中心武汉430064

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型... 详细信息

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型(Conv-TasNet)和双路径递归神经网络(DPRNN),提出多头注意力机制时域视听语音分离(MHATD-AVSS)模型。通过音频编码器与视觉编码器获得音频特征与视频的唇部特征,并采用多头注意力机制将音频特征与视觉特征进行跨模态融合,得到融合视听特征,将其经DPRNN分离网络,获得不同说话者的分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及信噪比(SNR)评价指标,在VoxCeleb2数据集进行实验测试。研究表明,当分离两位、3位或4位说话者的混合语音时,该文方法与传统分离网络相比,SDR提高量均在1.87 dB以上,最高可达2.29 dB。由此可见,该文方法能考虑音频信号的相位信息,更好地利用视觉信息与音频信息的相关性,提取更为准确的音视频特性,获得更好的分离效果。

关键词：语音分离视听融合跨模态注意力双路径递归网络 Conv-TasNet

来源：评论

学校读者我要写书评

暂无评论

基于跨模态联合编码的多模态情感分析

引用

计算机工程与应用 2024年第18期60卷 208-216页

作者：孙斌江涛贾莉崔伊明西北民族大学语言与文化计算教育部重点实验室兰州730030 南京信息工程大学计算机学院南京210044

如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题... 详细信息

如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题,进而影响模型的性能。针对上述问题,提出一种基于跨模态联合编码的多模态情感分析模型。在特征提取方面,利用预训练模型BERT和Facet模型分别提取文本和视觉特征,经过一维卷积操作获取相同维度的单模态特征表示。特征融合方面,利用跨模态注意力模块获得两模态的联合特征,使用联合特征分别调整单模态特征的权重,将两者拼接后获得多模态融合特征,最终输入到全连接层中进行情感识别。在公开数据集CMU-MOSI上的广泛实验表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

关键词：多模态情感分析联合编码跨模态注意力多模态融合

来源：评论

学校读者我要写书评

暂无评论

基于自适应图学习权重的多模态情感分析

引用

智能系统学报 2025年第2期20卷 516-528页

作者：曲海成徐波辽宁工程技术大学软件学院辽宁葫芦岛125105

在多模态情感分析任务中,由于不同模态表现方式的不一致性,模态间的情感信息密度具有较大的差异。为了平衡情感信息在不同模态中分布的不均匀性并减少多模态特征表示的冗余性,提出了一种基于自适应图学习权重的多模态情感分析方法。首先... 详细信息

在多模态情感分析任务中,由于不同模态表现方式的不一致性,模态间的情感信息密度具有较大的差异。为了平衡情感信息在不同模态中分布的不均匀性并减少多模态特征表示的冗余性,提出了一种基于自适应图学习权重的多模态情感分析方法。首先,采用不同的特征提取方法捕获单一模态内的特定信息;其次,将不同模态通过公共编码器映射到同一空间中,利用跨模态注意力机制来显式构建模态间的关联;然后,将每种模态对任务分类的预测值以及模态表示嵌入到自适应图中,通过模态标签学习不同模态对最终分类任务的贡献度来动态调整不同模态之间的权重,以适应主导模态的变化;最后,引入信息瓶颈机制进行去噪,旨在学习一种无冗余的多模态特征表示进行情感预测。在公开的多模态情感分析数据集上对所提出的模型进行了评估。实验结果表明,其有效提升了多模态情感分析的准确性。

关键词：多模态情感分析模态差异性信息冗余自适应图学习跨模态注意力相似性约束信息瓶颈

来源：评论

学校读者我要写书评

暂无评论

基于模态对齐与音视频极性向量辅助的多模态情感分析

引用

计算机科学与探索 2025年

作者：李泽龙刘成恺生春雷卢树华中国人民公安大学信息网络安全学院公安部安全防范技术与风险评估重点实验室

针对3种模态特征融合不充分与音视频情感极性表达较弱的问题，提出一种基于模态对齐与音视频极性向量辅助的多模态情感分析方法(Modality Alignment and audio-visual Polarity Vector Auxiliary， MA-PVA)。首先，设计了模态对齐层，... 详细信息

针对3种模态特征融合不充分与音视频情感极性表达较弱的问题，提出一种基于模态对齐与音视频极性向量辅助的多模态情感分析方法(Modality Alignment and audio-visual Polarity Vector Auxiliary， MA-PVA)。首先，设计了模态对齐层，利用跨模态注意力机制，对音视频特征中与文本无关的情感信息进行过滤，减少不同模态间特征表达差异，将筛选结果用于增强文本模态，使文本与音视频模态特征充分融合。然后，设计了音视频极性向量辅助任务，用于增强音视频情感极性。上述结构与预训练语言模型进行交互，能够得到更丰富的文本模态特征，以提升最终情感预测效果。所提方法在公开基准数据集CMU-MOSI与CMU-MOSEI上进行了大量实验，结果显示与最优基线方法相比，在CMU-MOSI数据集上二分类准确率分别为88.1%/89.9%，提升了0.6/0.3个百分点，七分类准确率为52.2%，提升了4.8个百分点；在CMU-MOSEI数据集上，二分类准确率分别为85.9%/87.5%，提升了1.2/0.4个百分点，七分类准确率为54.7%，提升了0.2个百分点；表明所提方法超越当前诸多性能先进的方法，有效地提高了情感分类的准确度。

关键词：多模态情感分析预训练语言模型 Transformer模型跨模态注意力

来源：评论

学校读者我要写书评

暂无评论

联合双粒度图像信息的多模态方面级情感分析

引用

计算机科学与探索 2025年

作者：许威张晓琳张换香张景内蒙古科技大学数智产业学院内蒙古科技大学创新创业教育学院上海大学计算机工程与科学学院内蒙古科技大学理学院

多模态方面级情感分析（Multimodal Aspect-Based Sentiment Analysis，MABSA）作为一种细粒度情感分析技术，旨在通过整合多种模态的特征数据来提高该领域的精度和效果。针对现有的多模态方面级情感分析的研究大多集中在文本和图像模... 详细信息

多模态方面级情感分析（Multimodal Aspect-Based Sentiment Analysis，MABSA）作为一种细粒度情感分析技术，旨在通过整合多种模态的特征数据来提高该领域的精度和效果。针对现有的多模态方面级情感分析的研究大多集中在文本和图像模态间的跨模态对齐上，忽略了图像的粗细粒度特征信息对MABSA子任务的潜在贡献。为此，本文提出一种联合双粒度图像信息的多模态方面级情感分析方法（Combining Two Granularity Image Information for Multi-Modal Aspect-Based Sentiment Analysis，CTGI）。具体地，在多模态方面词提取任务中，为增强图像与文本模态的交互，利用ClipCap获取图像的粗粒度特征描述文本，作为图像提示信息，辅助模型预测文本中的方面词及其属性。在多模态方面词情感分类中，为了捕获丰富的图像细粒度情感特征，通过跨模态注意力机制，将带有原始情感语义的图像底层特征与掩码后的文本经过多层深度交互，强化图像特征到文本特征的融合。通过在两个公共的Twitter数据集和Restaurant+数据集上的实验结果表明，CTGI的表现优于当前的基线模型，验证了图像粗细粒度对MABSA子任务不同贡献度的合理性。

关键词：多模态方面级情感分析双粒度图像信息多模态交互多模态融合跨模态注意力

来源：评论

学校读者我要写书评

暂无评论

结合社交网络图的多模态虚假信息检测模型

引用

计算机应用研究 2024年第7期41卷 1992-1998页

作者：叶舟波罗舜于娟福州大学经济与管理学院福州350108

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信... 详细信息

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。

关键词：网络舆情虚假信息检测多模态融合跨模态注意力社交网络图

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：