针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentime...
详细信息
针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentiment analysis based on semantic sense consistency,SA-SSC)方法。首先,使用RoBERTa和双向门控循环单元(bidirectional gated recurrent unit,BiGRU)提取文本语义特征,使用ResNet101获取图像视觉特征;然后,采用指导注意力(guided attention,GA)从图像区域情感和文本内容找到表达用户情感的显著性区域,得到新的图像视觉特征;最后,利用协同注意力将2种模态的特征进行融合,进而完成情感分类。在本文构建的MMSD-CN中文社交媒体图文情感数据集和CCIR-YQ数据集上进行了实验验证,结果表明,SA-SSC方法可以有效减弱图文语感不一致对社交媒体图文情感分析造成的影响,在各项评价指标上均取得了较高的提升。
针对传统视网膜血管分割算法存在血管分割精度低和病灶区域误分割等缺点,提出一种基于U-Net的多尺度特征增强视网膜血管分割算法(MFEU-Net)。首先,为解决梯度消失问题,设计一种改进的特征信息增强残差模块(FIE-RM)替代U-Net的卷积块;其次,为扩大感受野并提高对血管信息特征的抽取能力,在U-Net的底部引入多尺度密集空洞卷积模块;最后,为减少编解码过程中的信息损失,在U-Net的跳跃连接处构建多尺度通道增强模块。在DRIVE(Digital Retinal Images for Vessel Extraction)和CHASE_DB1数据集上的实验结果表明,与在视网膜血管分割方面表现次优的算法CS-Net(Channel and Spatial attention Network)相比,MFEU-Net的F1分数分别提高了0.35和1.55个百分点,曲线下面积(AUC)分别提高了0.34和1.50个百分点,这验证了MFEU-Net可以有效提高对视网膜血管分割的准确性和鲁棒性。
多模态对话情感分析的目标是识别对话中每个句子的情感。现有方法的模态融合方式较简单，无法充分捕捉和利用不同模态的特性和信息。此外，这些方法更侧重于局部上下文的捕捉，特别是在处理较长对话时，往往忽略了发言者之间远距离情感信息的整合。为了解决这些问题，提出了一种基于多模态双向融合的图神经网络（Graph Neural Network Based on Multimodal Bidirectional Fusion,GMBF），该网络由多模态融合模块和远距离情感融合模块组成。多模态融合模块由三个双向融合模块组成，双向融合模块从正向和逆向两个方向融合多模态信息，通过逐步融合模态信息以确保信息的充分融合；远距离情感融合模块首先构建对话的句子信息，然后捕捉远距离发言者信息，并将其融入句子信息中，从而使模型能够更好地理解全局情感背景。实验结果表明，所提出的方法在多模态对话情感分析任务中表现优异，展现了其在多模态信息融合和全局信息提取方面的优势。
暂无评论