检索结果-内蒙古大学图书馆

华东交通大学学报 2025年第1期42卷 52-60页

作者：罗晖韩岳霖马治伟斯成浩华东交通大学信息与软件工程学院江西南昌330013

因长期受反复荷载作用,高速铁路钢轨会产生表面缺陷,为了提升复杂场景下多类多尺度钢轨表面缺陷检测的精度与速度,设计了一种基于双模态融合的钢轨表面缺陷分割网络(DAFNet)。首先构建了一个包含可见光和红外通道的钢轨表面缺陷数据集,... 详细信息

因长期受反复荷载作用,高速铁路钢轨会产生表面缺陷,为了提升复杂场景下多类多尺度钢轨表面缺陷检测的精度与速度,设计了一种基于双模态融合的钢轨表面缺陷分割网络(DAFNet)。首先构建了一个包含可见光和红外通道的钢轨表面缺陷数据集,并采用改进的双分支网络架构,提高了分割速度;同时,设计了双模态自适应融合模块(BAFM),实现了特征的自适应融合,提高了复杂场景下钢轨表面缺陷的分割精度;此外,设计了空间细节提取模块(SDEM)和关键信息增强模块(KIEM),进一步提高了对缺陷边缘的感知度,解决了复杂场景下缺陷与背景对比度不高的问题。实验表明,所设计网络分割的精确度和mIoU分别达到了68.13%, 59.96%,明显优于其他主流网络;且FLOPs、参数量和模型大小分别为17.41 GFLOPs,1.38 M和5.67 MB,优于大多数主流网络。所设计的网络显著提高了钢轨表面缺陷的分割精度,并且具有较高分割速度,对保障高铁的安全运营具有重要意义。

关键词：语义分割钢轨表面缺陷深度学习红外图像可见光图像双模态融合

来源：评论

学校读者我要写书评

暂无评论

三维点云与图像双模态融合的空间目标部件识别方法

引用

宇航学报 2023年第5期44卷 796-804页

作者：袁萌萌张泽旭哈尔滨工业大学航天学院哈尔滨150001

针对二维图像目标识别准确率高但缺乏空间位置信息,三维点云几何信息精确但无语义信息的特点,为结合不同维度数据的优势,提出一种三维点云与二维图像双模态融合的空间目标部件识别方法。首先基于DeepLabv3+网络进行图像目标分割,并对分... 详细信息

针对二维图像目标识别准确率高但缺乏空间位置信息,三维点云几何信息精确但无语义信息的特点,为结合不同维度数据的优势,提出一种三维点云与二维图像双模态融合的空间目标部件识别方法。首先基于DeepLabv3+网络进行图像目标分割,并对分割目标进行语义标记;其次,提出一种最近邻查找方法降低重建位姿误差带来的三维点云与二维目标映射过程中的语义信息缺失,实现三维点云与二维图像目标间的准确语义关联;最后,利用全连接条件随机场对具备语义信息的三维点云识别结果进行优化,得到更加精细的点云语义标签,融合多视角数据得到最终点云部件识别结果。仿真结果表明相较于传统聚类分割方法,本文方法可以有效地识别出空间目标的各部件,总体识别精度优于95%。

关键词：空间目标部件识别双模态融合语义分割位姿重建全连接条件随机场

来源：评论

学校读者我要写书评

暂无评论

基于文本和声学特征的双模态融合抑郁倾向识别算法

引用

计算机工程 2024年第11期50卷 49-58页

作者：赵健崔骞石佳刘岳西北大学信息科学与技术学院陕西西安710127

在抑郁症诊断中,抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频,文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私,并且文本和音频均属于语言模态,相关性较强。针对抑郁倾向识别... 详细信息

在抑郁症诊断中,抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频,文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私,并且文本和音频均属于语言模态,相关性较强。针对抑郁倾向识别中变长文本数据不易被分析以及手动提取音频特征存在局限性的问题,提出一种基于Transformer的融合网络优化方法。对于文本模态,使用卷积神经网络对文本进行特征提取,得到文本在不同尺度下的局部特征,然后引入Transformer模型来处理全局信息和长距离依赖。对于音频模态,为了降低手动提取音频特征对识别结果的影响,通过使用VGGish网络来自动提取音频特征,并将提取好的音频特征送入Transformer中。最后,为进一步增强文本和音频模态融合网络的识别性能,引入SE通道注意力机制,使模型能够自适应地调整各模态之间的权重分配,更有效地聚焦于关键特征。实验结果表明,双模态融合后的网络准确率达到92.7%,相比仅使用文本或音频模态,准确率分别提升2.9和4.9个百分点。

关键词： Transformer模型 VGGish网络双模态融合抑郁倾向识别 SE通道注意力机制深度学习

来源：评论

学校读者我要写书评

暂无评论

双模态融合的脑血肿早期扩增预测技术研究

双模态融合的脑血肿早期扩增预测技术研究

引用

作者：汪晨华中科技大学

学位级别：硕士

脑出血(Intracerebral Hemorrhage,ICH)是一种高死亡率和致残率的全球性疾病。患者在急性期内容易发生再次出血或快速死亡。若能快速识别出患者在24小时后的血肿扩增风险,尽早对患者进行临床干预,可以有效改善患者的预后,降低病死率。目... 详细信息

脑出血(Intracerebral Hemorrhage,ICH)是一种高死亡率和致残率的全球性疾病。患者在急性期内容易发生再次出血或快速死亡。若能快速识别出患者在24小时后的血肿扩增风险,尽早对患者进行临床干预,可以有效改善患者的预后,降低病死率。目前,计算机断层扫描(Computed Tomography,CT)被广泛用于脑出血的早期检测,具有耗时短、成本低等优点。但是单次CT检查提供的信息有限,仅基于CT图像诊断容易出现漏诊的情况。在临床上,医生常结合影像特征和血肿体积两项来预测患者是否会发生血肿扩增。此外,血肿扩增还与患者的血压等临床指标紧密相关,但是如何结合信息量迥异的影像和临床数据从而提高预测准确性是研究的难点。因此,本文设计了一种双模态高维融合的早期血肿扩增预测模型,使预测更为准确、高效。目前血肿扩增的预测方法主要有两种:基于CT征象的传统方法和基于机器学习(Machine Learning,ML)的半自动方法。前者通过回顾性分析找出能够独立预测的特殊CT征象,依靠专业医师对CT图像进行识别。后者则是使用支持向量机从CT征象和临床信息等数据中抽取出若干特征进行分类,虽然结合临床信息后提高了准确性,但是仍然存在征象识别困难以及血肿体积测量繁琐等问题。本文利用深度学习(Deep Learning,DL)的方法对图像和非图像数据进行分析,提出双模态融合的全自动血肿扩增预测模型。首先,本文改进了传统的卷积神经网络(Convolutional Neural Network,CNN),以实现对不同维度的双模态数据均衡融合。具体而言:在视觉特征提取子网络中引入轻量化的注意力机制,深度挖掘高维视觉特征。结合临床信息与血肿扩增间的相关性,构建低维临床信息的高维拟合子网络。并设计了权重均衡的双模态融合模块,整合两个子网络输出的高维特征,从多数据角度分析病情,实现了基于单次CT检查的准确预测。实验表明,视觉特征与临床信息的高维融合模型能够显著降低血肿扩增的漏诊率。而后,本文依据贝叶斯深度学习的理论,引入了基于蒙特卡洛(Monte Carlo,MC)采样的不确定性估计,以此作为对点预测的补充解释,从而提高决策的可靠性。由于预测过程中存在不可避免的图像噪声和模型参数偶然性等影响,模型对于模糊的脑出血样本往往预测过高的错误概率值,通过量化不确定性可以筛选出错误样本。实验结果验证了不确定性与分类准确性间的相关性,且模型的准确率从79.4%提升到了83.9%。综上所述,本文在单次CT检查的基础上,高效地整合了患者的临床特征,构建了基于双模态融合的血肿扩增预测模型,模型主要包括视觉高维特征提取模块、临床信息上采样模块和预测结果筛选模块。模型实现了血肿扩增的全自动快速预测,减轻了医生的负担,提供了诊断结果的可靠性,提高了预测的准确度和敏感度。对脑出血患者的早期治疗以及预后诊断都具有重大的意义。

关键词：深度学习血肿扩增双模态融合贝叶斯理论预测

来源：评论

学校读者我要写书评

暂无评论

电阻及电阻/超声双模态融合层析成像深度学习重建方法研究

电阻及电阻/超声双模态融合层析成像深度学习重建方法研究

引用

作者：李峰天津大学

学位级别：博士

层析成像作为一种快速响应的物场分布可视化过程检测技术在具有多种介质分布特点的多相流过程中有很大的应用潜力。现有的层析成像图像重建方法主要是基于近似的线性模型,对介质分布与边界测量数据间的非线性关系不能准确描述,很难从本... 详细信息

层析成像作为一种快速响应的物场分布可视化过程检测技术在具有多种介质分布特点的多相流过程中有很大的应用潜力。现有的层析成像图像重建方法主要是基于近似的线性模型,对介质分布与边界测量数据间的非线性关系不能准确描述,很难从本质上改善重建图像的质量。近年来受到广泛关注的深度学习方法,具有对数据分层表征、不同变量间非线性建模、自动挖掘与提取特征等特点,为解决工业水平气水两相流层析成像图像重建中介质分布与边界测量数据间的非线性关系提供了新的思路。课题研究从数据驱动非线性建模与模型驱动特征学习的角度出发,通过解决电阻层析成像图像重建中边界测量与介质分布之间的非线性映射关系、迭代图像重建方法中超参数与先验信息的选择及电阻/超声融合重建方法中不同模态信息的有效利用等问题,提高图像重建的质量。主要研究工作包括: （1）在介绍了层析成像技术研究背景及意义、电学与双模态层析成像图像重建方法研究现状、深度学习在图像重建中的应用特点及存在问题等基础上,分析了深度学习在学习边界测量与介质分布之间的非线性关系、深度学习和现有图像重建方法融合的可行性,总结了双模态融合深度学习图像重建的研究思路,并创建用于深度学习图像重建方法训练与测试的数据库。（2）针对电阻层析成像图像重建中边界测量电压与介质分布之间的非线性映射关系,从数据驱动非线性建模的角度,提出V-Net图像重建方法。在初始成像过程,采用5层全连接将测量信息转换为图像空间的像素信息;在特征提取过程,采用自学习挖掘有效的特征信息,并增加特征维度改善图像重建的不适定性;在V-Net网络训练过程中,采用由网络输出的交叉熵、初始成像模块输出的交叉熵与L2正则化项构成的损失函数,约束与监督重建网络的学习。仿真与实验结果验证了该方法用于图像重建的可行性。（3）针对V-Net网络中稀疏的信息流与梯度流影响重建图像质量的问题,提出密集连接的VD-Net图像重建方法。采用4个密集模块,通过增加图像重建网络中的信息流与梯度流,促进重建网络优化,使图像重建模型能更好的适应边界测量与介质分布之间的非线性映射关系。离散介质分布的重建实验结果表明VD-Net网络重建质量比V-Net网络有明显的提升,且空间分辨率优于现有图像重建算法。水平气水分层分布的动态重建实验证明了VD-Net图像重建方法的实用性。（4）针对迭代重建方法中超参数和图像先验信息选择的问题,以Landweber迭代重建方法为基础,从模型驱动的特征学习角度,实现Landweber迭代重建网络。采用全连接子网络学习数据保真项中的松弛因子,解决了超参数的选择问题;卷积子网络学习图像的先验信息,解决了先验信息的提取问题;网络训练过程中实现超参数与先验信息的联合学习。离散介质分布的重建实验表明Landweber迭代重建网络较现有图像重建方法具有更高的图像重建精度;与VD-Net重建网络相比,提升了噪声条件下,复杂分布样本的重建质量。流动气水分层分布重建结果证明了该方法的实用性。（5）为解决电阻/超声双模态重建中不同敏感原理获得的测量信息的有效融合问题,从数据驱动融合建模的角度,提出双分支注意力图像重建方法。采用2个全连接模块将不同敏感原理的测量空间信息转化为相同维度的图像空间信息,解决了不同模态信息的异质性问题;特征提取过程中,通过增加特征维度,改善图像重建的不适定性;采用空间金字塔池化模块获取多尺度的特征信息,为图像重建提供更多有效的特征;注意力机制根据不同模态特征信息间的相关性,判断不同模态特征对重建目标的重要性,赋予不同模态局部特征不同注意力权重,促进双模态信息的有效融合与协同成像。实验结果表明,双分支注意力图像重建网络与双模态融合的双分支拼接重建方法及单模态重建方法相比,提升了重建精度与抗噪性能。

关键词：层析成像图像重建深度学习 V-Net网络 VD-Net网络 Landweber迭代重建网络双模态融合双分支注意力重建网络

来源：评论

学校读者我要写书评

暂无评论

基于双模态融合的线缆图像语义分割方法研究

引用

电子测量技术 2023年第10期46卷 184-188页

作者：曹国群刘桂雄华南理工大学机械与汽车工程学院广州510640

线缆敷设时需要严格控制最小弯曲半径,线缆敷设图像准确分割是控制弯曲半径的基础,传统视觉方法、经典语义分割方法对复杂环境下线缆细长特征目标分割效果不佳。本文提出一种基于改进双模态融合语义分割网络ESANet的线缆语义分割方法,... 详细信息

线缆敷设时需要严格控制最小弯曲半径,线缆敷设图像准确分割是控制弯曲半径的基础,传统视觉方法、经典语义分割方法对复杂环境下线缆细长特征目标分割效果不佳。本文提出一种基于改进双模态融合语义分割网络ESANet的线缆语义分割方法,使用高效的SAGate代替ESANet中RGB-D Fusion模块完成双模态特征校正与融合任务,融合特征分别同时参与后续两种模态的特征提取,实现细长特征线缆掩膜的准确分割。通过采集不同姿态的线缆RGB及对应深度图像进行实验,结果表明本文改进的ESANet网络对线缆等细长特征目标有较好好分割效果,较ESANet模型分割精度(mIoU)提升了3.99%,较RGB单模态语义分割网络SwiftNet精度提升7.68%,该方法可以推广到其它具有细长特征的目标分割任务中。

关键词：语义分割双模态融合深度学习线缆

来源：评论

学校读者我要写书评

暂无评论

基于WinMI软件的采集模块优化与双模态融合实现

基于WinMI软件的采集模块优化与双模态融合实现

引用

作者：冉超西安电子科技大学

学位级别：硕士

光学分子成像技术在分子影像技术中扮演了非常重要的角色，它具有灵敏度高、价格低等优点，已经成为一种快速发展的生物医学影像技术。其中，生物自发光与激发荧光成像以其简便和直观性、无创性成为研究小动物在体成像的理想方法。利用... 详细信息

光学分子成像技术在分子影像技术中扮演了非常重要的角色，它具有灵敏度高、价格低等优点，已经成为一种快速发展的生物医学影像技术。其中，生物自发光与激发荧光成像以其简便和直观性、无创性成为研究小动物在体成像的理想方法。利用这种技术，我们可以实时地观察标记基因及细胞在活体动物中的活动与分布情况，为研究疾病的发展过程与药物筛选提供很好的方法与手段。而小动物在体光学分子成像系统，对在体光学分子成像的研究与发展具有十分重要的意义。小动物在体光学分子成像系统可以实现生物自发光成像和激发荧光成像两种成像模态的图像采集及图像处理功能。WinMI软件主要负责系统控制、数据采集以及图像的后处理分析，是整个系统的中心。本文围绕WinMI软件的图像采集模块优化与双模态融合的实现为中心，首先介绍了光学分子影像的研究、发展现状以及研究意义；然后，介绍了光学分子成像原理与软件平台搭建的开发工具；接着，对WinMI软件的图像序列采集模块的功能优化进行了说明，实现了序列采集设计与多线程采集优化；在多种数据格式处理中，针对不同的数据格式实现了格式的归一化处理以及选项设置管理操作；最后介绍了Micro-CT成像系统和与光学系统共同组成的双模态系统，成功实现了双模态融合的配准和二维数据能量映射；在荧光图像处理优化模块，介绍了图像数据的处理流程，对图像的分割算法进行了改进和优化，并达到了理想的效果。同时，WinMI软件对ROI的数据分析进行了优化处理，使软件的界面操作舒适性得到加强。

关键词：光学分子成像 WinMI 序列采集双模态融合

来源：评论

学校读者我要写书评

暂无评论

基于双模态融合的睡眠纺锤波识别迁移学习方法研究

基于双模态融合的睡眠纺锤波识别迁移学习方法研究

引用

作者：刘凤月天津理工大学

学位级别：硕士

睡眠对人们日常的生产生活有着重要的影响,而当今社会不少人因为自身工作和生活压力大等众多因素影响,导致精神长期精神处于紧张状态,深受睡眠疾病的困扰,但目前诊疗睡眠疾病的主要方式方法还是依靠睡眠量表的评估以及医生根据睡眠脑电... 详细信息

睡眠对人们日常的生产生活有着重要的影响,而当今社会不少人因为自身工作和生活压力大等众多因素影响,导致精神长期精神处于紧张状态,深受睡眠疾病的困扰,但目前诊疗睡眠疾病的主要方式方法还是依靠睡眠量表的评估以及医生根据睡眠脑电图做出判断,这是非常耗时耗力且工程量非常大,并且会影响睡眠疾病的诊疗速度,很难够使病人准确且快速的得到治疗。纺锤波是人类睡眠质量的一个重要标志,通过纺锤波的算法自动识别来代替医生的判断,将提高医生的诊疗速度。本文针对以上目的提出了基于迁移学习的睡眠纺锤波检测研究,通过睡眠纺锤波自动检测方法,一方面是提高医生诊断睡眠疾病的诊疗速度,另一方面与可以分析比较出失眠患者与正常人之间的睡眠纺锤波的差异。本文使用来自首都医科大学宣武医院的真实并且经过技师进行标注的睡眠纺锤波数据构成的数据集进行实验,既保证了实验的真实性,同时也对实验数据进行了t检验,以防止由于个体差异对实验数据造成的影响从而对实验结果产生不必要的误差。实验首先对获取的数据滤波、降采样等预处理,为后续实验进行先前的准备工作。本文所采用的数据首先根据构建的一维和二维卷积神经网络进行实验,但经过程序和各方面的微调,所得结果虽然稳定,但仅能够达到之前研究者所研究的睡眠脑电纺锤波检测的水平,并没有明显的提高,针对这一不足,本文提出了一种双模态融合的卷积神经网络,将一维和二维卷积神经网络模型学习到的特征等进行融合,汇总之后再输出最终的结果,经过多方面的调试和调整,最终使双模态的融合结果相对之前提出的自动检验的研究方法的结果有了进一步的提升。且本文首次提出在卷积神经网络基础上的迁移学习,使得在正常睡眠被测者数据上学到的特征迁移到失眠被测患者的数据上,实现一个纺锤波的特征的迁移学习,从而高效的检测出正常睡眠被测者和失眠被测患者之间通过纺锤波表现出来的差距,从而进一步确定失眠患者的病情,并进行下一步的治疗。正常睡眠被测者的数据输出结果达到94.5%以上,相比之前的研究提升了2%,迁移到失眠被测患者数据的输出结果为85%左右。因为失眠被测患者作为存在睡眠疾病的数据,在此数据上根据正常睡眠纺锤波的特征所检测到的睡眠脑电纺锤波的特征存在差距,由此表明,失眠被测患者的睡眠脑电纺锤波相比较正常睡眠被测者存在一定的不足,从而判断出是否存在睡眠疾病。本文实验结果表明,卷积双模态融合网络相比较单独的一维和二维卷积神经网络的睡眠纺锤波自动检测结果有明显提升,从正常睡眠被测者数据模型上学习到的睡眠纺锤波的特征也能有效的迁移到失眠被测患者的睡眠数据中,并且达到了理想的效果。

关键词：睡眠脑电睡眠脑电纺锤波融合卷积神经网络双模态融合迁移学习

来源：评论

学校读者我要写书评

暂无评论

基于双模态融合的核燃料芯块表面缺陷检测算法研究

基于双模态融合的核燃料芯块表面缺陷检测算法研究

引用

作者：吴戈郑州大学

学位级别：硕士

核能是一种高效、低碳的清洁能源,合理利用核能能够有效地缓解全球能源短缺和气候变化的问题。核电是核能的主要利用方式之一。当前,核电发展处于重要机遇期,但也面临着诸多挑战,其中的安全问题是最受关注的焦点之一。核燃料芯块是核反... 详细信息

核能是一种高效、低碳的清洁能源,合理利用核能能够有效地缓解全球能源短缺和气候变化的问题。核电是核能的主要利用方式之一。当前,核电发展处于重要机遇期,但也面临着诸多挑战,其中的安全问题是最受关注的焦点之一。核燃料芯块是核反应堆的核心组件,也是确保核反应堆安全运行的重要屏障。严格控制核燃料芯块表面质量,及时剔除不合格芯块,是最小化核事故发生,实现核能安全利用的重要保障。当前工业上普遍采用基于2D灰度图像或者3D点云数据的单模态信息进行工业产品表面缺陷检测。然而,由于单一模态无法全面地描述物体特征,检测结果容易产生漏检和误检的情况。为了提高缺陷检测的可靠性,同时满足在线检测的速度需求,本课题将点云数据的距离值经坐标转换成图像的灰度值,映射成2D深度图像,减少数据量,并利用轻量级深度学习网络架构,融合燃料芯块空间深度和表面灰度两种互补的模态信息,实现对燃料芯块表面三种典型缺陷高精度、智能化的实时在线检测。所提出的方法也可以推广应用到其它工业产品的表面质量检测中。课题的主要研究内容如下:(1)建立双模态缺陷数据集。利用3D传感器获取芯块表面缺陷的伪彩色图像,从中分离出代表空间位置的深度图像(红色通道)和反映表面亮度的灰度图像(绿色通道)作为原始模态数据。使用Semantic Segmentation Editor标注工具结合两种模态信息对缺陷区域进行标注,建立芯块表面的双模态缺陷数据集,为后续算法研究提供数据基础。(2)验证双模态融合的表面缺陷检测算法检测芯块表面缺陷数据集的可行性。以单模态分割网络Seg Net为研究基础,针对芯块表面图像特征相对一致,网络容易过拟合的问题,进行模型精简,获得适用于工业双模态图像的分支网络结构,并构建双模态融合的表面缺陷检测网络SFuse Net。实验证明,使用双模态融合网络提升分割精度的方法适用于小型工业数据集。但是融合模型更加庞大,网络需要消耗更多的存储资源和计算资源。(3)设计轻量级双模态融合的表面缺陷检测网络。网络模型轻量化能够提高网络的灵活性和效率。课题以轻量级单模态分割网络ENet为分支结构,构建轻量级双模态融合表面缺陷检测网络HAEFuse Net。在网络中使用混合空洞卷积结构替换原始ENet网络上采样的残差瓶颈结构,提高网络特征恢复能力。同时,提出一种基于空间注意力机制的双特征融合方法,融合深度分支和灰度分支的特征以及网络的浅层特征和深层特征,提升小目标和目标边缘的分割效果。实验表明,课题提出的轻量级双模态融合缺陷检测网络HAEFuse Net分割精度的平均交并比是80.53%,优于SFuse Net网络,而网络的参数量比SFuse Net网络减少了7倍,且分割速度快了0.4倍,达到0.053 s/次。(4)搭建缺陷检测系统,将预先训练的HAEFuse Net检测模型部署到实验台中,开发可视化界面,模拟芯块表面缺陷在线检测实验。课题以工程项目为背景,设置缺陷区域占待检区域比例的判废上限值为10%,对芯块进行分类,测试系统性能。实验表明,检测系统的分类准确率达到99.49%,在配置中、高端显卡设备的检测速度均不超过0.3 s/次,能够满足核燃料芯块表面实时在线检测的准确率和效率需求。

关键词：核燃料芯块表面缺陷双模态融合语义分割

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的双模态融合情感分析

基于深度学习的双模态融合情感分析

引用

作者：辛苗苗河北地质大学

学位级别：硕士

近年来,随着通信技术的进步和社交平台的发展,越来越多的人喜欢通过文字、语音、视频、图片等多种方式在社交网络平台上表达自己的观点和看法,因此每天会产生大量带有丰富情感信息的多模式数据。情感分析被定义为从人类中提取一组情感状... 详细信息

近年来,随着通信技术的进步和社交平台的发展,越来越多的人喜欢通过文字、语音、视频、图片等多种方式在社交网络平台上表达自己的观点和看法,因此每天会产生大量带有丰富情感信息的多模式数据。情感分析被定义为从人类中提取一组情感状态,是人机交互中自动检测人类意义的必要手段。随着深度学习和人工智能的发展,情感分析作为人机交互的一个关键方面受到了研究者的广泛关注。在某些情况下,仅基于文本信息很难评估情感类别。在日常交流中,说话表达的情感通常伴随着音频的特征信息,音频通道中包含的情感信息特征是语音特征的变化,例如音调、音量、发声力度和其他与频率相关的指标。文本和语音通道的交互结合可以提供更全面的信息,并捕捉更广泛的情感特征。因此,考虑到文本和语音信息之间的相关性和互补性,本文深入研究基于深度神经网络模型上来探究对文本和语音两种模态特征的有效提取,并着重于融合文本和语音两种模态特征信息进行情感分析研究。主要的研究内容如下:1.研究提取文本和语音特征信息的方法以及双模态情感特征融合模型。对于提取文本模态特征信息,采用双向长短期记忆网络(Bidirectional Long-Short-Term Memory Network,Bi LSTM)和最大池化相结合的方式,以提取文本上下文前向和后向的语义时序信息;为了提取语音模态的特征信息,通过结合多层一维的卷积神经网络(Convolutional Neural Network,CNN)和Bi LSTM的方式充分学习语音的局部和全局情感特征;对于文本和语音的特征融合,引入一种直接级联的特征融合方式对提取得到的文本和语音特征信息进行有效融合,在两种公开英文数据集进行了相关实验,验证双模态融合模型的情感分类效果优于单模态情感分类模型。2.研究一种结合注意力机制和跨模态交互文本和语音双模态信息的方法。考虑到采用直接级联的方式融合双模态情感信息存在的不足,通过跨模态交互文本和语音情感信息,充分学习句子中每个单词和相对应的语音帧之间的相互关系,获取丰富的情感信息,从而更准确的表示多通道特征。引入注意力机制将提取的文本特征信息和语音特征信息进行融合,使模型更加关注与情感相关的语音帧和文本特征向量,这使得融合后的特征更加有效。

关键词：双模态融合深度学习情感分析注意力机制特征提取

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：