电子设备及基于多通路融合的多模态情感分类方法

专利申请号：CN202211634753.9

公 开 号：CN116089853A

发 明 人：许畅 廖嘉璇 

代 理 人：北京弘权知识产权代理有限公司逯长明;占园

代理机构：北京弘权知识产权代理有限公司

专利类型：发明专利

申 请 日：20230509

公 开 日：20221219

专利主分类号：G06F18/24

关 键 词：情感特征 情感分类 融合 电子设备 分类数据 分类信号 情感识别 图像 情感分类模型 准确度 情感数据 特征融合 图像数据 图像信号 文本情感 文本数据 文本信号 用户体验 语音数据 语音信号 多模态 多通路 预测 模态 维度 申请 文本 指令 响应 转化 

摘      要：本申请提供一种电子设备及基于多通路融合的多模态情感分类方法，所述电子设备通过响应用户输入的情感识别指令，获取待分类信号。并将分类信号中的语音信号、图像信号以及文本信号转化为分类数据。分别提取分类数据中语音数据、图像数据以及文本数据的情感特征，以得到音频情感特征、图像情感特征以及文本情感特征，并将上述情感特征进行特征融合，最后通过情感分类模型对情感融合特征进行情感预测，得到情感分类结果。本申请通过将音频、图像和文本三种模态的情感特征进行融合，并情感融合特征进行情感预测，能够从多个情感维度对情感数据进行识别，提高情感识别的准确度，加快情感分类效率，提高用户体验感。