针对现有情感分类模型在深层情感理解上的局限性、传统注意力机制的单向性束缚及自然语言处理中的类别不平衡等问题,提出一种融合多尺度BERT(Bidirectional Encoder Representation from Transformers)特征和双向交叉注意力机制的情感...
详细信息
针对现有情感分类模型在深层情感理解上的局限性、传统注意力机制的单向性束缚及自然语言处理中的类别不平衡等问题,提出一种融合多尺度BERT(Bidirectional Encoder Representation from Transformers)特征和双向交叉注意力机制的情感分类模型(Multi-scale BERT features with Bidirectional Cross Attention, M-BCA)。该模型首先从BERT的低层、中层、高层分别提取多尺度特征,以捕捉句子文本的表面信息、语法信息和深层语义信息。接着,利用三通道GRU进一步提取深层语义特征,以增强对文本的理解能力。为促进不同尺度特征之间的交互与学习,该模型引入了双向交叉注意力机制,增强了多尺度特征之间的相互作用。此外,针对不平衡数据问题,M-BCA模型还设计了数据增强策略,并采用混合损失函数来优化模型对少数类别样本的学习。在细粒度情感分类任务中,M-BCA模型表现优异。特别是在NLPCC 2014数据集上,与T-E-GRU模型相比,M-BCA模型的精确率提升了1.02%,Macro-Recall提升了11.8%,Macro-F1提升了6.91%。此外,M-BCA模型在少数类别样本的分类任务中表现突出,尤其是在NLPCC2014与Online_Shopping_10_Cats数据集上,少数类别的Macro-Recall均领先于其他模型。实验结果表明,该模型在细粒度情感分类任务中取得了显著的性能提升,并适用于处理不平衡数据集。
暂无评论