检索结果-内蒙古大学图书馆

北京航空航天大学学报 2024年

作者：纪宗杏贝佳刘润泽任桐炜南京大学计算机软件新技术国家重点实验室

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图... 详细信息

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图像局部特征而忽视了全局上下文信息的重要性。为此，提出了一种新型的基于双路视觉Transformer的图像风格迁移方法Bi-Trans，对内容图像域和风格图像域进行独立编码，提取风格参数向量以离散化表征图像风格，通过交叉注意力机制与条件实例归一化将内容图像标定至目标域风格，从而生成风格化图像。实验结果表明，本文方法无论是内容保留度还是风格还原度均优于现有方法。

关键词：图像风格迁移视觉Transformer 任意风格化条件实例归一化注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于多领域条件生成的语音情感转换

引用

郑州大学学报（理学版） 2023年第5期55卷 67-72页

作者：姚文翰柯登峰黄良杰胡睿欣项敏特张劲松北京语言大学信息科学学院北京100089

语音情感转换是在不改变话者声纹、语义的情况下,将一种情感语音转换成另一种情感语音的技术,本质是实现语音的风格迁移。主流的风格迁移技术有对抗生成技术(如CycleGAN,StarGAN)和实例规一化技术(如IN,CIN)。CIN相对于IN添加了均值方... 详细信息

语音情感转换是在不改变话者声纹、语义的情况下,将一种情感语音转换成另一种情感语音的技术,本质是实现语音的风格迁移。主流的风格迁移技术有对抗生成技术(如CycleGAN,StarGAN)和实例规一化技术(如IN,CIN)。CIN相对于IN添加了均值方差选择性模块,具有更强的风格迁移能力。提出了将StarGAN和CIN结合的语音情感转换模型CIN-StarGAN,将CIN模块嵌入到StarGAN生成器。在ESD数据集上的实验结果表明,CINStarGAN比基于CycleGAN的情感转换模型收敛速度快28%,具有较好的风格转换能力。在多领域情感转换方法上具有潜在研究价值。

关键词：语音情感转换域转换条件实例归一化生成对抗网络

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的多角度文本到图像生成算法研究

基于生成对抗网络的多角度文本到图像生成算法研究

引用

作者：汪志伟华东师范大学

学位级别：硕士

跨模态任务的提出意在赋予计算机更多感知世界的能力,从而增加计算机对真实世界的理解与认识。本论文的研究内容——文本到图像生成,属于自然语言到视觉的跨模态任务。文本到图像生成赋予了机器根据文字描述来生成相应图片的能力。过去... 详细信息

跨模态任务的提出意在赋予计算机更多感知世界的能力,从而增加计算机对真实世界的理解与认识。本论文的研究内容——文本到图像生成,属于自然语言到视觉的跨模态任务。文本到图像生成赋予了机器根据文字描述来生成相应图片的能力。过去的方法尽管取得了不错的成绩,但是由于生成模型的不稳定性和文本描述信息的复杂性,使得该任务仍然面临诸多挑战,主要包括以下三点:（1）目标对象骨架在训练过程中容易偏离或崩溃,使后续的精化过程无法进行。（2）图像的非目标区域受到文本影响。（3）生成图的背景通常会比较单一模糊,缺乏多样性和真实性。本文基于以上问题开展研究,主要工作包括:针对目标对象整体骨架在生成过程中容易坍塌偏离的问题,本文提出类别感知骨架一致性的图像质量增强方法（Class-Aware skeleton Consistency Generative Ad-versarial Network,CAC-GAN）。借助图像分类方法和度量学习方法,CAC-GAN首先从先验知识库中获取类别感知特征,以此作为额外的监督信息来维持图像在生成过程中的稳定性。为了评价生成图像的完整性,本文提出了一个新的评价指标CACloss。该指标通过计算生成样本分布和真实样本分布的类别感知特征距离来度量模型生成结果的完整性。CAC-GAN在CUB和Oxford-102两个数据集上获得了不错的效果,验证了本文提出的方法可以提升图像完整性。但在COCO数据集上效果不佳,我们也探究了本文提出方法的局限性。针对生成图像中非目标物体受到文本影响的问题,本文提出多级别图文一致性的图文对齐方法（Multilevel-Aware Consistency Generative Adversarial Network,MAC-GAN）。在实体级别,我们通过构建一个“文本到图像再到标签”的结构来增强文本与图像的对齐。在特征级别,我们利用Contrastive Language-Image Pre-training（CLIP）模型对“文本-图像”对的特征进行对齐。为了更好地评估图文一致性,本文利用图像多标签分类方法中的F1-score作为一个更具可解释性的图文一致性评判指标。在CUB、Oxford-102和COCO三个数据集上的实验结果表明,本文提出的方法能提高文本与图像的对应性,减少文本对非目标区域的影响。目前部分生成模型生成的图像中存在背景不够真实或者过于单调模糊的问题。传统Batch Normalization（BN）在批样本层级进行归一化,然后不同样本之间的背景可能差异很大,批样本层级的归一化会造成背景的平均化和模糊化。为了缓解这一问题,本文提出双条件实例归一化的背景多样性方法（Dual Conditional Instance Normalization Generative Adversarial Network,DCIN-GAN）。本文将文本的句子级别表示和短语级别表示作为图像生成的两个条件,并基于条件实例归一化方法来设计深度融合卷积模块,从而构建单一阶段生成的生成对抗网络。在CUB和Oxford-102两个数据集上的综合实验表明,DCIN-GAN能提高图像背景质量,增加生成图像背景的多样性。

关键词：跨模态文本到图像生成度量学习图文一致性条件实例归一化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：