检索结果-内蒙古大学图书馆

作者：陈香重庆大学

学位级别：硕士

语音合成作为人机交互中重要的一环,引起了大家的广泛关注与研究。尽管现在的神经语音合成技术已经达到了接近人声的标准,但是丰富的应用场景也对语音合成技术提出了新的挑战。比如除了声音的清晰度与自然度,语音合成模型是否能够合成... 详细信息

语音合成作为人机交互中重要的一环,引起了大家的广泛关注与研究。尽管现在的神经语音合成技术已经达到了接近人声的标准,但是丰富的应用场景也对语音合成技术提出了新的挑战。比如除了声音的清晰度与自然度,语音合成模型是否能够合成丰富多样、可定制风格、自适应的语音,是否能减少预处理过程和训练数据。针对以上存在的问题,本文开展相关研究,所做的主要工作如下:(1)为了提高语音合成的可定制性和自适应性,本文提出了基于自适应实例归一化的可定制语音合成模型Ada Style Speech。该模型使用一个梅尔频谱编码提取参考梅尔频谱的风格特征向量,并采用自适应实例归一化的方式与音素嵌入序列编码后向量进行融合,经解码后就能合成与参考梅尔频谱风格特征相似的语音。该模型不仅能够完成文本和语音特征的解耦和自适应,即文本和参考语音可以是任意的而不需要保证文本和参考语音的内容一致,而且该模型的训练阶段相较于其它语音合成模型需要更少的标记数据因而简化了数据预处理流程。(2)为了增加语音合成模型生成语音的丰富性和多样性,本文提出了基于风格互信息和生成对抗网络的多风格语音合成模型Ada Gan Speech。该模型使用一个非线性变换模块将输入的高斯噪声映射到语音特征空间中,并使用自适应实例归一化方法将特征空间的隐向量与音素嵌入序列编码后的向量进行融合,经解码后根据不同的高斯噪声就能生成不同风格的语音。在训练过程中,本文通过引入无监督训练模块MINE和GAN来提高生成语音的质量和多样性。由于该模型的输入不需要参考梅尔频谱,因此在无参考语音的情况下也能够通过不同的高斯噪声合成丰富多样的语音。本文通过在公开数据集AISHELL3上进行模型训练与评估。Ada Style Speech的实验结果表明只需要几秒钟的参考语音数据,就可以完成十分逼真的定制化语音合成,而且在合成语音的质量和速度上也可以媲美当前最先进的模型。Ada Gan Speech的实验结果表明该模型在无参考语音的情况下也能够合成丰富多样的语音,且在合成速度也优于其他基线模型。

关键词：风格化语音合成自适应实例归一化无监督学习

来源：评论

学校读者我要写书评

暂无评论

基于CLIP和双空间自适应归一化的图像翻译

引用

计算机工程 2024年第5期50卷 229-240页

作者：李田芳普园媛赵征鹏徐丹钱文华云南大学信息学院云南昆明650504 云南省高校物联网技术及应用重点实验室云南昆明650500

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习... 详细信息

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×102,实现了较好的图像翻译性能。

关键词：图像翻译生成对抗网络对比学习语言-图像预训练模型自适应实例归一化对比学习

来源：评论

学校读者我要写书评

暂无评论

基于参考图语义匹配的花卉线稿工笔效果上色算法

引用

计算机研究与发展 2022年第6期59卷 1271-1285页

作者：李媛陈昭炯叶东毅福州大学计算机与大数据学院福州350108

研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;此外通常还要求参考图像与线稿图具有相似的几何布局结构,这也限制了算法的适用性,故而直接采用... 详细信息

研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;此外通常还要求参考图像与线稿图具有相似的几何布局结构,这也限制了算法的适用性,故而直接采用现有算法难以实现线稿图的工笔效果上色.基于条件生成对抗网(conditional generative adversarial network,CGAN)框架,提出了一种将参考图像与线稿图进行语义匹配的花卉线稿图工笔效果上色算法RBSM-CGAN.该算法在网络结构设计方面,以U型网络(简称U-Net)为生成器基础,设计了2个附加子模块:1)语义定位子模块.该模块预训练了一个语义分割网络,以生成花卉线稿图的语义标签图,该标签图编码后作为自适应实例归一化的仿射参数引入到上色模型中,提升对不同语义区域的识别能力,进而提高颜色定位的准确性.2)颜色编码子模块.该模块提取参考图像的颜色特征,而后将该特征拼接到生成网络解码层的前3层,利用这种方式将颜色信息注入上色模型,与语义定位模块相配合加强算法对渐变色的学习和模拟.另外,算法在网络训练方面改变传统的“工笔花卉原作-花卉线稿图”数据对的训练方式,通过打乱原作的几何结构等摄动操作生成原作摄动图,采用“原作摄动图-花卉线稿图”数据对进行网络训练,降低了模型对原作空间几何结构的依赖性,提升了算法的适用性.实验结果表明:该算法对用户选择的参考图像的颜色语义具有正确的响应,所引入的“语义定位+颜色编码”的结构设计提升了对渐变色的模拟效果,实现了在不同参考图像指导下的花卉线稿图的工笔效果上色,可快速生成多样化的上色结果.

关键词：工笔花卉上色语义匹配条件生成对抗网络语义分割网络自适应实例归一化

来源：评论

学校读者我要写书评

暂无评论

采用表示分离自编码器的任意说话人语音转换

引用

通信学报 2024年第2期45卷 162-172页

作者：简志华章子旭杭州电子科技大学通信工程学院浙江杭州310018

针对非平行语料库下任意说话人之间的语音转换存在语言内容信息和说话人个性特征难以分离,从而导致语音转换的性能不佳的问题,提出了一种采用表示分离自编码器的语音转换方法RSAE-VC。该方法将语音信号的说话人个性特征视为时不变,而将... 详细信息

针对非平行语料库下任意说话人之间的语音转换存在语言内容信息和说话人个性特征难以分离,从而导致语音转换的性能不佳的问题,提出了一种采用表示分离自编码器的语音转换方法RSAE-VC。该方法将语音信号的说话人个性特征视为时不变,而将内容信息视为时变,利用编码器中的实例归一化和激活引导层将两者进行分离,再由解码器将源语音的内容信息与目标语音的个性特征进行合成,从而生成转换后的语音。实验结果表明,RSAE-VC在梅尔倒谱距离上比现有的AGAIN-VC转换方法平均降低了3.11%,在基音频率均方根误差上降低了2.41%,MOS分和ABX值分别提升了5.22%和8.45%。RSAE-VC方法通过自内容损失进行约束使语音更好地保留内容信息,通过自说话人损失将说话人个性特征更好地从语音中分离,可以确保说话人个性特征尽少地遗留在内容信息中,从而提高语音转换性能。

关键词：语音转换表示分离自适应实例归一化自内容损失自说话人损失

来源：评论

学校读者我要写书评

暂无评论

基于字形约束和注意力的艺术字体风格迁移

引用

计算机工程 2024年第12期50卷 306-317页

作者：吕文锐普园媛赵征鹏张衡阳秋霞云南大学信息学院云南昆明650504 云南省高校物联网技术及应用重点实验室云南昆明650504

艺术字体的风格迁移是一项非常有趣但又十分具有挑战性的任务,具体来说就是将目标字体的艺术风格通过某种映射方式迁移到源字体上。现有方法在字形风格迁移方面存在鲁棒性有限的不足,且当2种不同风格的字形相差较大时不能很好地将风格... 详细信息

艺术字体的风格迁移是一项非常有趣但又十分具有挑战性的任务,具体来说就是将目标字体的艺术风格通过某种映射方式迁移到源字体上。现有方法在字形风格迁移方面存在鲁棒性有限的不足,且当2种不同风格的字形相差较大时不能很好地将风格内容迁移到目标字体上。针对以上问题,提出一种端到端的通用网络框架模型,并在模型中引入自注意力机制和自适应实例归一化,用于实现在给定的多个文本效果域之间进行任意字体的艺术风格迁移。该模型主要包括1个生成器和2个鉴别器,还有1个额外的风格编码器。为了更好地做到字形约束以及提升网络的性能,设计几种损失函数来优化生成对抗网络(GAN)的训练。为了验证该模型的有效性,采用了FET-GAN任务中公开的艺术字体数据集。实验对比了6种先进的方法,并从定量和定性2个方面进行了比较。实验结果表明,所提模型能够实现带有字体变换的字形图像风格迁移,迁移结果能够保持很好的字形结构,并且FID值为72.355,低于对比实验中最好的结果91.435。

关键词：字体风格迁移自注意力自适应实例归一化生成对抗网络字形约束

来源：评论

学校读者我要写书评

暂无评论

选择性传输与铰链对抗的多图像域人脸属性迁移

引用

计算机工程 2022年第4期48卷 179-190页

作者：林泓陈壮源任硕李琳李玉强武汉理工大学计算机科学与技术武汉430063

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控... 详细信息

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。

关键词：生成对抗网络多图像域属性迁移自适应实例归一化选择性传输单元相对属性标签域控制器双尺度判别

来源：评论

学校读者我要写书评

暂无评论

基于字形感知和注意力归一化的字体迁移

引用

计算机科学 2023年第S01期50卷 398-403页

作者：吕文锐普园媛赵征鹏徐丹钱文华云南大学信息学院昆明650504 云南省高校物联网技术及应用重点实验昆明650504

字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。... 详细信息

字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。

关键词：字体迁移自适应实例归一化注意力归一化上下文损失感知损失

来源：评论

学校读者我要写书评

暂无评论

基于积极概率分布引导的水下图像增强网络

引用

现代电子技术 2024年第23期47卷 15-21页

作者：朱立忠王雅鑫郭宝仁沈阳理工大学自动化与电气工程学院辽宁沈阳110159 华电电力科学研究院有限公司东北分公司辽宁沈阳110167

针对水下环境复杂多变,导致现存算法难以稳定恢复水下退化图像的问题,文中提出一种基于积极概率分布引导的水下图像增强网络,该网络通过构建积极样本概率引导框架,从混合样本中估计其特征概率分布来引导网络恢复退化图像。首先,提出多... 详细信息

针对水下环境复杂多变,导致现存算法难以稳定恢复水下退化图像的问题,文中提出一种基于积极概率分布引导的水下图像增强网络,该网络通过构建积极样本概率引导框架,从混合样本中估计其特征概率分布来引导网络恢复退化图像。首先,提出多分支信息提取架构获取输入特征的多空间特征,并分别在空间、像素、通道等方面增强图像特征分布;其次,结合条件变分自动编码器与自适应实例归一化获取特征分布,并改进现有风格迁移算法增强图像颜色与对比度;最后,结合多项损失函数进一步增强网络的鲁棒性,提高图像质量。实验结果表明,所提方法输出图像色泽清晰、颜色均衡,在多个数据集上的定性定量指标均优于对比的经典和新颖算法,对真实海洋工作具有重要意义。

关键词：水下图像增强概率分布条件变分自动编码器自适应实例归一化注意力机制色偏校正

来源：评论

学校读者我要写书评

暂无评论

基于Adaptive Trans-StarGAN的非平行多对多语音转换方法

基于Adaptive Trans-StarGAN的非平行多对多语音转换方法

引用

作者：何铮韬南京邮电大学

学位级别：硕士

语音转换是语音合成的一个重要发展分支,其目的是对源说话人的语音进行转换,使转换后的语音像是目标说话人说出来的,也就是保留原始语音的语义信息的同时又具有目标说话人的个性特征。从训练语料的类别来讲,语音转换方法可以分为平行的... 详细信息

语音转换是语音合成的一个重要发展分支,其目的是对源说话人的语音进行转换,使转换后的语音像是目标说话人说出来的,也就是保留原始语音的语义信息的同时又具有目标说话人的个性特征。从训练语料的类别来讲,语音转换方法可以分为平行的语音转换方法和非平行的语音转换方法,两者的区别在于非平行的语音转换方法不需要源说话人和目标说话人的说话内容保持一致,因此非平行的语音转换方法在实际生活中更有应用价值。近年来,随着深度学习的火热发展,各种各样的神经网络模型在语音转换领域进行了成功的实践,而星型生成对抗网络——StarGAN则是热门模型之一。评价语音转换方法性能的两个重要指标是自然度和说话人相似度,本文从改善这两个指标出发,对StarGAN模型进行分析和改进工作。为了解决StarGAN模型的多层卷积神经网络提取的语义表征不充分的问题,本文提出了基于Transitive StarGAN模型的语音转换方法。改进方案使用捷径连接的思想,在生成器的编解码网络之间建立联系,这种做法充分利用多层卷积网络中的多级特征,有助于加强生成器网络的语义学习能力,使生成的频谱具有更完整更真实的基频信息和谐波信息。实验结果证明,与基准方法相比,改进方案的转换语音的语谱图保留了更多的结构信息,更加自然清晰,生成器的损失曲线具有更快的收敛速度和更低的损失值,MOS得分提升了21.62%,ABX结果提升了3.90%,证明了该方案的模型具有良好的生成质量。StarGAN模型将说话人转换的任务看作域转换的任务,而在学习多对多说话人语音转换的映射关系时,对说话人个性特征的学习还不够充分。为了解决这个问题,本文在Transitive StarGAN模型的基础上进一步改进,提出了基于Adaptive Trans-StarGAN模型的语音转换方法。改进的方案使用说话人风格网络对目标说话人的语音提取说话人嵌入,并将该嵌入作为自适应实例归一化的风格特征,对编码网络的多层特征进行风格转换,从而提高生成器对说话人个性特征的学习能力。实验结果表明,改进方案的语谱图在纹理细节上更接近目标说话人,新模型的生成器仍具有较低的损失值,并且几乎没有增加计算负担,MOS得分提升了24.66%,ABX结果提升了6.65%,证明了该方案的模型不仅提升了语音质量,还能够有效地学习说话人个性特征。

关键词：语音转换星型生成对抗网络捷径连接说话人嵌入自适应实例归一化

来源：评论

学校读者我要写书评

暂无评论

基于动态卷积的StyleGAN非平行多对多语音转换研究

基于动态卷积的StyleGAN非平行多对多语音转换研究

引用

作者：张成飞南京邮电大学

学位级别：硕士

语音转换是一种旨在将源说话人个性信息转换为目标说话人个性信息,同时保持源说话人语义内容不变的智能语音技术。随着深度学习与人工智能的发展,语音转换技术先后在非平行和多对多转换问题上取得了突破,如何在非平行多对多语音转换情... 详细信息

语音转换是一种旨在将源说话人个性信息转换为目标说话人个性信息,同时保持源说话人语义内容不变的智能语音技术。随着深度学习与人工智能的发展,语音转换技术先后在非平行和多对多转换问题上取得了突破,如何在非平行多对多语音转换情形下进一步提高转换语音的质量和个性相似度成为该技术从实验室走向工业界的关键。鉴于此,本文以Star GAN-VC模型作为基准,针对转换语音的个性相似度和质量问题展开相关研究与改进。首先,在提高转换语音个性相似度方面,本文提出基于Style GAN-VC模型的语音转换方法。设计多层感知器和风格编码器与Star GAN-VC模型进行联合优化训练,提取说话人风格特征,弥补基准Star GAN-VC模型中说话人身份标签one-hot向量无法提供丰富的说话人个性信息的缺点。同时,采用自适应实例归一化方式将说话人风格特征与语义特征进行融合,使得生成器能够充分地学习到目标说话人个性信息,实现说话人风格转换,进而提高转换语音的个性相似度。经主客观评价分析表明,本文提出的Style GAN-VC模型较基准Star GAN-VC模型,MCD值平均降低了5.03%,MOS值平均提升了31.70%,ABX值平均提升了11.08%,验证了本文提出的Style GAN-VC模型不仅能提升转换语音的个性相似度,且对转换语音的质量也有明显的改善。进一步的,在上述模型改进的基础上,本文从提高转换语音的质量角度出发,提出基于动态卷积的Style GAN-VC模型语音转换方法。利用动态卷积机制提升生成器的生成和表达能力,而非增加网络的深度或者宽度等常规策略。动态卷积网络不同于传统的卷积网络,其具有极强的数据依赖性,可根据输入数据特征的不同,动态地调整每个卷积核的参数,并利用注意力机制赋予每个卷积核不同的权重,而后将多个不同权重的卷积核进行加权组合以获得一个动态的卷积核,再进行相应的卷积操作。因此,具有极强数据依赖性的动态卷积能够显著地提高生成器的生成和表达能力,改善转换语音的质量。经主客观评价分析表明,本文提出的基于动态卷积的Style GAN-VC模型较基准Star GAN-VC模型,MCD值平均降低了8.44%,MOS值平均提升了38.11%,ABX值平均提升了13.78%,验证了本文提出的基于动态卷积的Style GAN-VC模型不仅能显著提升转换语音的质量,且对转换语音的个性相似度也有相应的改善。

关键词：语音转换非平行多对多星型生成对抗网络说话人风格特征自适应实例归一化动态卷积

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：