基于知识蒸馏的跨模态语音情感分类

作     者：尤佩雯 王晶晶 高晓雅 李寿山 YOU Peiwen;WANG Jingjing;GAO Xiaoya;LI Shoushan

作者机构：苏州大学自然语言处理实验室计算机科学与技术学院江苏苏州215006 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2024年第38卷第4期

页      面：134-142页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62006166,62076175,62076176) 中国博士后科学基金(2019M661930) 江苏高校优势学科建设工程资助项目 

主　　题：跨模态 知识蒸馏 情感分类 

摘      要：针对语音情感分类任务面临的语音数据标注困难的挑战,该文提出了一种新的跨模态语音情感分类任务,其可以使用文本模态数据(源端)帮助语音模态数据(目标端)进行情感分类。在此基础上,提出了一种基于知识蒸馏的跨模态情感分类模型,旨在通过知识蒸馏方法将文本情感分类模型(教师模型)学习到的预训练先验知识蒸馏到语音情感分类模型(学生模型)中。该模型的特色在于无须在测试端依赖昂贵的语音识别技术,可对原始语音数据直接进行情感分类,有利于该模型在实际语音情感分类应用场景中大规模落地。实验结果表明,该文所提出的方法可以有效利用文本模态分类的经验来提升语音模态的分类效果。