检索结果-内蒙古大学图书馆

作者：连海伦安徽大学

学位级别：硕士

耳语是指无声带振动的低能量发音。它是人与人之间一种特殊且必不可少的交流方式。例如,在像图书馆和会议室之类禁止大声讲话的场所,人们通常使用耳语进行人与人之间的交流或者人机交互;并且近年来,与表面肌电图接口和磁共振成像接口相... 详细信息

耳语是指无声带振动的低能量发音。它是人与人之间一种特殊且必不可少的交流方式。例如,在像图书馆和会议室之类禁止大声讲话的场所,人们通常使用耳语进行人与人之间的交流或者人机交互;并且近年来,与表面肌电图接口和磁共振成像接口相比,耳语已成为人机交互领域中最便捷的静音接口之一。由此可以看出耳语具有较广阔的应用前景,因此近年来,耳语转换为正常语音(通常使用耳语转换表示)的研究备受研究者的关注。本文主要研究基于卷积神经网络的耳语转换技术,研究的具体内容分为以下两部分:首先,经过调研发现目前已有的耳语转换方法无法充分利用语音的时域和频域相关性进行建模。当相邻连续的语音帧频谱拼接成矩阵时,其在时域和频域两个维度上的局部相关性与图像中相邻像素之间的相关性非常类似。而卷积神经网络(Convolutional Neural Network,CNN)中的卷积层内的神经元是由前一层中位置相邻区域的多个神经元经过卷积计算得到的,同时由于前一层某一区域内的点包含了输入语音频谱的时域和频域的信息,故卷积层能够提取语音频谱特征中隐含的时域和频域相关性信息。为了充分利用语音的时域和频域相关性进行建模,本文提出了使用深度卷积神经网络模型(Deep Convolutional Neural Network,DCNN)实现耳语转换。实验结果表明使用DCNN模型相比DNN模型得到的转换语音更加接近正常语音。其次,虽然DCNN模型能够充分利用语音的时域和频域相关性进行耳语转换建模,但DCNN是使用全连接层来拟合卷积层提取的特征与正常语音特征之间的映射关系。由于全连接层将输入的每帧语音特征都视为独立的,因此DCNN无法对卷积层提取的特征进一步利用时序相关性进行建模。而BLSTM(Bidirectional Long Short-Term Memory)能够很好的利用时序相关性,因此为了充分利用CNN和BLSTM的优点本文提出使用深度卷积循环神经网络模型(Deep Convolutional Recurrent Neural Network,DCRNN)进行耳语转换。此方法在真实的耳语数据库上进行了验证,实验结果证明了该方法的转换效果相比DCNN模型得到了进一步提高。

关键词：耳语转换时域和频域相关性 DCNN DCRNN

来源：评论

学校读者我要写书评

暂无评论

利用深度卷积神经网络将耳语转换为正常语音

引用

声学学报 2020年第1期45卷 137-144页

作者：连海伦周健胡雨婷郑文明安徽大学计算智能与信号处理教育部重点实验室合肥230601 东南大学儿童发展与学习科学教育部重点实验室南京210096

耳语是一种特殊发音方式,将耳语转换为正常语音是提升耳语质量和可懂度的关键方法。为了充分利用语音的频域和时域相关性实现耳语转换,提出了使用深度卷积神经网络(Deep Convolutional Neural Networks,DCNN)将耳语转换为正常语音。它... 详细信息

耳语是一种特殊发音方式,将耳语转换为正常语音是提升耳语质量和可懂度的关键方法。为了充分利用语音的频域和时域相关性实现耳语转换,提出了使用深度卷积神经网络(Deep Convolutional Neural Networks,DCNN)将耳语转换为正常语音。它的卷积层用来提取连续帧语音谱包络之间的频域与时域的相关特征,而全连接层用来拟合耳语在卷积层提取的特征和对应正常语音之间的映射关系。实验结果表明与深度神经网络(Deep Neural Networks,DNN)模型相比,DCNN模型获得的转换后语音的梅尔倒谱失真度(Cepstral Distance,CD)降低了4.64%,而语音质量感知评价(Perceptual Evaluation of Speech Quality,PESQ)、短时客观可懂度(Short-Time Objective Intelligibility,STOI)与平均主观意见分(Mean Opinion Score,MOS)分别提高了5.41%,5.77%,9.68%。

关键词：时域相关性 DNN 基频曲线深度卷积神经网络卷积层卷积核

来源：评论

学校读者我要写书评

暂无评论

一种基于特征融合的耳语音向正常音的转换方法

引用

南京航空航天大学学报 2020年第5期52卷 777-782页

作者：庞聪连海伦周健王华彬陶亮安徽大学计算智能与信号处理教育部重点实验室合肥230039

使用耳语音的频谱包络来预估正常音的基频特征,这类算法在对正常音基频预测的准确性上存在一定不足,在合成语音自然度方面存在着明显欠缺,有时会出现音调失常等问题。本文提出一种声学特征融合的方法,通过双向长短期记忆(Bi‑long short‑... 详细信息

使用耳语音的频谱包络来预估正常音的基频特征,这类算法在对正常音基频预测的准确性上存在一定不足,在合成语音自然度方面存在着明显欠缺,有时会出现音调失常等问题。本文提出一种声学特征融合的方法,通过双向长短期记忆(Bi‑long short‑term memory,BLSTM)深度网络来逐帧预测正常音基频。首先,使用STRAIGHT模型和相关代码,分别对耳语音和正常音语料进行预处理,提取耳语音的梅尔倒谱系数(Mel‑scale frequency cepstral coefficient,MFCC)、韵律及谱包络特征,正常音的基频与谱包络特征。然后使用BLSTM深度网络,分别建立耳语音和正常音谱包络特征之间映射关系,以及耳语音MFCC、韵律及谱包络特征对正常音基频F0的映射关系。最后根据耳语音的MFCC、韵律及谱包络特征获得对应的正常音基频和谱包络,使用STRAIGHT模型合成正常音。实验结果表明,相较于仅使用谱包络估计基频,采用此种方法引入语音韵律和MFCC的融合特征是对基频特征的良好补充,解决了音调失常的现象,转换后的语音在韵律上更加接近正常发音。

关键词：语音转换特征融合韵律模型 STRAIGHT模型双向长短期记忆

来源：评论

学校读者我要写书评

暂无评论

Multi-head attention-based long short-term memory model for speech emotion recognition

引用

Journal of Southeast University(English Edition) 2022年第2期38卷 103-109页

作者： Zhao Yan Zhao Li Lu Cheng Li Sunan Tang Chuangao Lian Hailun School of Information Science and Engineering Southeast University Nanjing 210096 China School of Biological Science and Medical Engineering Southeast University Nanjing 210096 China

To fully make use of information from different representation subspaces,a multi-head attention-based long short-term memory(LSTM)model is proposed in this study for speech emotion recognition(SER).The proposed model uses frame-level features and takes the temporal information of emotion speech as the input of the LSTM ***,a multi-head time-dimension attention(MHTA)layer was employed to linearly project the output of the LSTM layer into different subspaces for the reduced-dimension context *** provide relative vital information from other dimensions,the output of MHTA,the output of feature-dimension attention,and the last time-step output of LSTM were utilized to form multiple context vectors as the input of the fully connected *** improve the performance of multiple vectors,feature-dimension attention was employed for the all-time output of the first LSTM *** proposed model was evaluated on the eNTERFACE and GEMEP corpora,*** results indicate that the proposed model outperforms LSTM by 14.6%and 10.5%for eNTERFACE and GEMEP,respectively,proving the effectiveness of the proposed model in SER tasks.

关键词： speech emotion recognition long short-term memory(LSTM) multi-head attention mechanism frame-level features self-attention

来源：评论

学校读者我要写书评

暂无评论

基于深度直推式迁移网络的跨库语音情感识别方法及装置

基于深度直推式迁移网络的跨库语音情感识别方法及装置

引用

作者：郑文明赵焱宗源赵力路成连海伦 211102 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于深度直推式迁移网络的跨库语音情感识别方法及装置，方法包括：(1)获取源语音情感数据库和目标语音情感数据库(2)将源数据库和目标数据库的情感音频处理成语谱图(3)建立深度回归神经网络(4)将源数据库和目标数据库... 详细信息

标准号: CN114898777A

本发明公开了一种基于深度直推式迁移网络的跨库语音情感识别方法及装置，方法包括：(1)获取源语音情感数据库和目标语音情感数据库(2)将源数据库和目标数据库的情感音频处理成语谱图(3)建立深度回归神经网络(4)将源数据库和目标数据库的语谱图输入深度回归神经网络进行训练，将从网络得到的特征来计算源数据和目标数据的、不同尺度的最大均值差异，对神经网络进行微调(5)将待识别语音作为目标数据库中的语音数据，输入训练好的深度卷积神经网络，得到语音情感类型。本发明识别准确率更高。

关键词：目标数据库语音情感回归神经网络源数据库卷积神经网络情感数据库均值差异目标数据目标语音神经网络音频处理语音数据获取源计算源直推式准确率微调成语数据库网络尺度迁移语音

来源：评论

学校读者我要写书评

暂无评论

一种基于时序情感信息建模的语音情感识别方法及系统

一种基于时序情感信息建模的语音情感识别方法及系统

引用

作者：路成王拥郑文明宗源连海伦赵焱 211189 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于时序情感信息建模的语音情感识别方法及系统，首先通过特征提取模块获取语音信号的对数短时离散傅里叶变换谱特征，鲁棒性更好，然后通过卷积模块进行时序编码并特征降维，循环神经网络模块进行长程依赖关系建模，T... 详细信息

标准号: CN117275523A

本发明公开了一种基于时序情感信息建模的语音情感识别方法及系统，首先通过特征提取模块获取语音信号的对数短时离散傅里叶变换谱特征，鲁棒性更好，然后通过卷积模块进行时序编码并特征降维，循环神经网络模块进行长程依赖关系建模，Transformer编码器模块进行注意力增强，获取与异常噪声(如背景噪声、说话人身份、语种等)无关但与情感有关的泛化性的特征，最后利用情感分类器模块判别出语音样本的情绪类别，本发明泛化性好、识别率更高。

关键词：泛化性建模离散傅里叶变换特征提取模块循环神经网络编码器模块注意力增强时序背景噪声情感分类情感信息时序编码特征降维依赖关系异常噪声语音情感语音信号语音样本鲁棒性识别率长程卷积语种情绪身份

来源：评论

学校读者我要写书评

暂无评论

一种基于时频Transformer的语音情感识别方法及系统

一种基于时频Transformer的语音情感识别方法及系统

引用

作者：路成王拥郑文明宗源连海伦赵焱 211189 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于时频Transformer的语音情感识别方法及系统，通过特征提取模块得到的语音对数梅尔频谱特征时频情感信息丰富，然后通过编码器与相应的Transformer模块得到与情感高度相关又与噪声等干扰无关的高泛化性的特征，最后... 详细信息

标准号: CN117275524A

本发明公开了一种基于时频Transformer的语音情感识别方法及系统，通过特征提取模块得到的语音对数梅尔频谱特征时频情感信息丰富，然后通过编码器与相应的Transformer模块得到与情感高度相关又与噪声等干扰无关的高泛化性的特征，最后利用分类器模块判别样本的情绪类别，本发明识别率更高、泛化性更好。

关键词：泛化性时频特征提取模块分类器模块梅尔频谱情感信息语音情感编码器识别率噪声样本语音情绪

来源：评论

学校读者我要写书评

暂无评论

基于置信度显著分析的多尺度目标检测方法及装置

基于置信度显著分析的多尺度目标检测方法及装置

引用

作者：郑文明李溯南宗源赵焱路成连海伦 211102 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于置信度显著分析的多尺度目标检测方法及装置，方法包括：(1)获取基于航拍的遥感图像目标检测数据库；(2)将数据库中的遥感图像进行预处理；(3)建立深度卷积神经网络；(4)将预处理的图像及其对应标签作为样本输入卷... 详细信息

标准号: CN115019213A

本发明公开了一种基于置信度显著分析的多尺度目标检测方法及装置，方法包括：(1)获取基于航拍的遥感图像目标检测数据库；(2)将数据库中的遥感图像进行预处理；(3)建立深度卷积神经网络；(4)将预处理的图像及其对应标签作为样本输入卷积神经网络，进行训练，训练时采用的损失函数为位置回归损失、置信度交叉熵损失、分类交叉熵损失以及利用置信度计算的显著性损失之和；(5)将待识别的遥感图像预处理后，作为样本输入训练好的深度卷积神经网络，并进行非极大抑制，得到最终的目标检测结果。本发明准确率更高。

关键词：预处理卷积神经网络目标检测遥感图像置信度样本输入交叉熵数据库损失函数多尺度显著性准确率航拍标签图像分类回归分析

来源：评论

学校读者我要写书评

暂无评论

基于多层级韵律特征的情感语音生成方法及装置

基于多层级韵律特征的情感语音生成方法及装置

引用

作者：郑文明齐天铧宗源路成连海伦赵焱李溯南 211102 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于多层级韵律特征的情感语音生成方法及装置，方法包括：将文本数据转换为拼音序列，将所述音频数据转换为线性声谱图；根据所述拼音序列预测具有情感类别标签对应情感的语言学韵律变量；根据所述线性声谱图提取具有... 详细信息

标准号: CN118098195A

本发明公开了一种基于多层级韵律特征的情感语音生成方法及装置，方法包括：将文本数据转换为拼音序列，将所述音频数据转换为线性声谱图；根据所述拼音序列预测具有情感类别标签对应情感的语言学韵律变量；根据所述线性声谱图提取具有情感类别标签对应情感的声学韵律变量，将所述语言学韵律变量和声学韵律变量进行匹配，合成潜在韵律变量；根据潜在韵律变量生成情感音频数据，以及情感音频数据的音频质量和自然度。本发明效果更精准、生成情感语音的自然度更高。

关键词：韵律拼音序列情感类别情感语音音频数据声谱图自然度标签音频数据转换变量生成文本数据韵律特征多层级和声学声学匹配合成转换预测

来源：评论

学校读者我要写书评

暂无评论

基于TSTRN的跨库语音情感识别方法及装置

基于TSTRN的跨库语音情感识别方法及装置

引用

作者：郑文明王金岑宗源赵焱路成连海伦李溯南 211102 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于TSTRN(双阶段迁移回归神经网络)的跨库语音情感识别方法及装置，包括：(1)选择两个不同的语音情感数据库作为源数据库和目标数据库；(2)对于源数据库和目标数据库的各语音样本进行预处理，提取语谱图特征；(3)建立T... 详细信息

标准号: CN117219126A

本发明公开了一种基于TSTRN(双阶段迁移回归神经网络)的跨库语音情感识别方法及装置，包括：(1)选择两个不同的语音情感数据库作为源数据库和目标数据库；(2)对于源数据库和目标数据库的各语音样本进行预处理，提取语谱图特征；(3)建立TSTRN；(4)对TSTRN进行双阶段训练，其中第一阶段将源数据库和目标数据库的语谱图特征同时输入，基于领域对齐任务，减少训练数据和测试数据的特征分布差异，第二阶段对于第一阶段训练的TSTRN基于语音情感识别任务进行微调，使得具有情感区分性；(5)对于待识别的语音样本，提取语谱图特征后输入到经过训练的TSTRN，得到情感分类结果。本发明效果更好。

关键词：目标数据库语音情感源数据库阶段训练语音样本预处理回归神经网络测试数据情感分类特征分布训练数据对齐区分性微调数据库迁移

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：