检索结果-内蒙古大学图书馆

中国图象图形学报 2024年第4期29卷 875-889页

作者：毕修平陈实张乐飞武汉大学计算机学院国家多媒体软件工程技术研究中心武汉430072 湖北珞珈实验室武汉430079

目的图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,... 详细信息

目的图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,设计了一种轻量级图像超分辨率重建网络。方法提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer网络(blueprint separable convolution Transformer network,BSTN)。基于蓝图可分离卷积(blueprint separable convolution,BSConv)设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块(shift channel attention block,SCAB)对通道重点信息进行加强,包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块(blueprint multi-head self-attention block,BMSAB),通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上,本文方法在不同数据集上取得了不同程度的领先,并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时,在Set5数据集上相比SOTA(state-of-theart)方法,峰值信噪比(peak signal to noise ratio,PSNR)分别提升了0.11 dB、0.16 dB和0.17 dB。主观上,本文方法重建图像清晰,模糊区域小,具有丰富的细节。结论本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。

关键词：图像超分辨率轻量级模型 Transformer 深度学习注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于时空层级查询的指代视频目标分割

引用

中国科学（信息科学） 2024年第3期54卷 674-691页

作者：兰猛张乐飞杜博张良培武汉大学计算机学院国家多媒体软件工程技术研究中心人工智能研究院多媒体网络通信工程湖北省重点实验室武汉 430072 武汉大学测绘遥感信息工程国家重点实验室武汉 430072

本文针对当前指代视频目标分割方法缺乏目标时空一致性建模和目标时空表征学习不足等问题,进行了深入的研究,提出了基于时空层级查询的指代视频目标分割方法(STHQ).本文将指代视频目标分割看作基于查询的序列预测问题,并提出两级查询机... 详细信息

本文针对当前指代视频目标分割方法缺乏目标时空一致性建模和目标时空表征学习不足等问题,进行了深入的研究,提出了基于时空层级查询的指代视频目标分割方法(STHQ).本文将指代视频目标分割看作基于查询的序列预测问题,并提出两级查询机制进行目标的时空一致性建模和时空特征学习.在第1阶段,本文提出了帧级空间信息提取模块,该模块使用语言特征作为查询独立地和视频序列中的每一帧在空间维度进行信息交互,生成包含目标空间信息的实例嵌入;在第2阶段,本文提出时空信息聚合模块,该模块使用视频级的可学习查询嵌入和第1阶段生成的实例嵌入在时空维度进行信息交互,生成具有时空表征信息的视频级实例嵌入;最后,视频级实例嵌入线性变换为条件卷积参数,并和视频序列中的每一帧进行卷积操作,生成目标的掩码预测序列.在该领域的3个基准数据集上的实验结果表明,本文提出的STHQ方法超越了现有的方法,实现了最佳的性能.

关键词：指代视频目标分割时空一致性建模时空特征学习跨模态特征交互 Transformer

来源：评论

学校读者我要写书评

暂无评论

面向卫星在轨实时处理的遥感视频动目标提取算法

引用

计算机应用与软件 2022年第1期39卷 135-142,150页

作者：张钰慧胡瑞敏肖晶武汉大学计算机学院国家多媒体软件工程技术研究中心湖北武汉430072

针对现有动目标检测算法应用于卫星视频存在较多伪运动误检且难以在轨实时运行,同时短程跟踪算法难以寻回丢失目标的问题,提出一种卫星在轨实时提取运动目标算法。面向运动区域设计图像分类算法以优化运动检测结果,准确筛选动目标;用短... 详细信息

针对现有动目标检测算法应用于卫星视频存在较多伪运动误检且难以在轨实时运行,同时短程跟踪算法难以寻回丢失目标的问题,提出一种卫星在轨实时提取运动目标算法。面向运动区域设计图像分类算法以优化运动检测结果,准确筛选动目标;用短程跟踪代替逐帧检测,以降低整体算法复杂度,并设计多特征融合与时空约束的重识别机制关联短程轨迹,应对跟踪丢失;设计在轨智能实时处理系统。使用真实卫星视频数据在嵌入式仿真平台上实验,结果表明,该算法的准确性和实时性相比现有方法有明显提升。

关键词：卫星视频动目标检测图像分类目标跟踪在轨智能实时

来源：评论

学校读者我要写书评

暂无评论

面向视觉数据处理与分析的解耦表示学习综述

引用

中国图象图形学报 2023年第4期28卷 903-934页

作者：李雅婷肖晶廖良王正陈文益王密武汉大学计算机学院国家多媒体软件工程技术研究中心武汉430072 日本国立信息学研究所数字内容和媒体科学研究部东京101-8430日本武汉大学测绘遥感信息工程国家重点实验室武汉430079

表示学习是机器学习研究的核心问题之一。机器学习算法的输入表征从过去主流的手工特征过渡到现在面向多媒体数据的潜在表示,使算法性能获得了巨大提升。然而,视觉数据的表示通常是高度耦合的,即输入数据的所有信息成分被编码进同一个... 详细信息

表示学习是机器学习研究的核心问题之一。机器学习算法的输入表征从过去主流的手工特征过渡到现在面向多媒体数据的潜在表示,使算法性能获得了巨大提升。然而,视觉数据的表示通常是高度耦合的,即输入数据的所有信息成分被编码进同一个特征空间,从而互相影响且难以区分,使得表示的可解释性不高。解耦表示学习旨在学习一种低维的可解释性抽象表示,可以识别并分离出隐藏在高维观测数据中的不同潜在变化因素。通过解耦表示学习,可以捕获到单个变化因素信息并通过相对应的潜在子空间进行控制,因此解耦表示更具有可解释性。解耦表征可用于提高样本效率和对无关干扰因素的容忍度,为数据中的复杂变化提供一种鲁棒性表示,提取的语义信息对识别分类、域适应等人工智能下游任务具有重要意义。本文首先介绍并分析解耦表示的研究现状及其因果机制,总结解耦表示的3个重要性质。然后,将解耦表示学习算法分为4类,并从数学描述、类型特点及适用范围3个方面进行归纳及对比。随后,分类总结了现有解耦表示工作中常用的损失函数、数据集及客观评估指标。最后,总结了解耦表示学习在实际问题中的各类应用,并对其未来发展进行了探讨。

关键词：解耦表示学习视觉数据潜在表征变化因素潜空间

来源：评论

学校读者我要写书评

暂无评论

基于声场重建的三维音频技术

引用

数据采集与处理 2021年第5期36卷 872-883页

作者：胡瑞敏张灵鲲王晓晨柯善发胡晨昊李登实武汉大学计算机学院国家多媒体软件工程技术研究中心武汉430072

近年来,随着人们对视听体验的要求不断提高,三维(空间)音频技术被广泛应用于娱乐影音等各领域,并取得显著进展。如何便捷地创造一个具有沉浸式空间听觉体验的环境是一直以来的研究热点。因此综述了主流三维声场重建的相关技术,并分析了... 详细信息

近年来,随着人们对视听体验的要求不断提高,三维(空间)音频技术被广泛应用于娱乐影音等各领域,并取得显著进展。如何便捷地创造一个具有沉浸式空间听觉体验的环境是一直以来的研究热点。因此综述了主流三维声场重建的相关技术,并分析了其优缺点,主要讨论了三维声场的表达与维度、不同扬声器下的三维声场重建以及相应的混响均衡技术。最后,归纳了三维声场重建技术目前存在的问题,并展望未来发展的新方向。

关键词：三维音频声场重建扬声器阵列球谐函数混响均衡

来源：评论

学校读者我要写书评

暂无评论

基于时频域生成对抗网络的语音增强算法

引用

计算机科学 2022年第6期49卷 187-192页

作者：尹文兵高戈曾邦王霄陈怡武汉大学国家多媒体软件工程技术研究中心武汉430072 华中师范大学计算机学院武汉430077

传统基于生成对抗网络的语音增强算法(Speech Enhancement Algorithm Based on Generative Adversarial Networks,SEGAN)在时域上对语音进行增强处理,完全忽略了语音样本在频域上的分布情况。在低信噪比条件下,语音信号会淹没在噪声中,... 详细信息

传统基于生成对抗网络的语音增强算法(Speech Enhancement Algorithm Based on Generative Adversarial Networks,SEGAN)在时域上对语音进行增强处理,完全忽略了语音样本在频域上的分布情况。在低信噪比条件下,语音信号会淹没在噪声中,带噪语音的时域分布信息很难捕获,因此,SEGAN的增强性能会急剧下降,其增强语音的语音质量和语音可懂度很低。针对该问题,提出了基于时频域生成对抗网络的语音增强算法(Time-Frequency Domain SEGAN,TFSEGAN)。TFSEGAN采用了时频域双判别器的模型结构和时频域L1损失函数,时域判别器的输入为语音样本的时域特征,频域判别器的输入为语音样本的频域特征。在训练过程中,时域判别器将语音样本的时域分布信息作为判别标准,而频域判别器将语音样本的频域分布信息作为判别标准。在两个判别器的作用下,TFSEGAN的生成器能够同时学习语音样本在时域和频域中的分布规律和信息。实验证明,在低信噪比条件下,与SEGAN相比,TFSEGAN的语音质量与可懂度分别提升了约17.45%和11.75%。

关键词：语音增强生成对抗网络时频域低信噪比语音质量语音可懂度

来源：评论

学校读者我要写书评

暂无评论

基于声纹嵌入的语音增强算法

引用

计算机应用研究 2022年第3期39卷 688-692页

作者：高戈曾邦王霄尹文兵陈怡武汉大学国家多媒体软件工程技术研究中心武汉430072 华中师范大学计算机学院武汉430077

频域语音增强算法在高信噪比的条件下有明显的降噪效果,而在低信噪比条件下频域语音增强算法的性能会大幅下降。针对这个问题,将基于声纹的掩码应用到频域语音增强网络,利用声纹的先验信息,提升网络对说话人和噪声的区分度。另外,为了... 详细信息

频域语音增强算法在高信噪比的条件下有明显的降噪效果,而在低信噪比条件下频域语音增强算法的性能会大幅下降。针对这个问题,将基于声纹的掩码应用到频域语音增强网络,利用声纹的先验信息,提升网络对说话人和噪声的区分度。另外,为了进一步改善频域语音算法在低信噪比条件下的性能,提出基于映射的声纹嵌入语音增强算法,避免了可能因采用掩模方案造成的语音失真问题。实验结果表明,在引入相同声纹信息时,基于映射的声纹嵌入语音增强网络在低信噪比条件下的增强性能表现更好,特别是在改善语音失真方面优势明显。相较于基于掩模的声纹掩码网络,基于映射的声纹嵌入网络在PESQ、STOI和SSNR这三项指标上分别实现了6.40%、1.46%和24.84%的相对提升。

关键词：语音增强低信噪比声纹嵌入掩码映射

来源：评论

学校读者我要写书评

暂无评论

基于时频联合损失函数的语音增强算法

引用

计算机应用 2022年第S01期42卷 316-320页

作者：高戈王霄曾邦尹文兵陈怡国家多媒体软件工程技术研究中心(武汉大学) 武汉430072 华中师范大学计算机学院武汉430079

在频域语音增强算法中,由于估计幅度谱与带噪相位谱的不匹配,其性能难以突破固有上限。在时域语音增强框架中,模型将时域波形作为输入,由网络直接学习时域波形之间的映射关系,有效地避免了无效短时傅里叶变换(STFT)问题。然而,常见的采... 详细信息

在频域语音增强算法中,由于估计幅度谱与带噪相位谱的不匹配,其性能难以突破固有上限。在时域语音增强框架中,模型将时域波形作为输入,由网络直接学习时域波形之间的映射关系,有效地避免了无效短时傅里叶变换(STFT)问题。然而,常见的采用波形最小均方误差的时域语音增强算法对语音频域特征的建模并未达到最优。针对这个问题,提出一种基于时频联合损失函数的语音增强算法。首先将时频联合损失函数应用到Wave-U-Net时域语音增强网络,同时设计并分析了一阶范数形式和二阶范数形式的时频联合损失函数对增强网络的影响,最后得到了面向语音通信任务和语音识别任务的相对最佳损失函数选择方案。实验结果表明,相较于采用时域损失的增强网络,采用面向语音通信时最佳联合损失函数的增强网络在语音质量的感知评估(PESQ)和短时目标清晰度(STOI)分别实现了3.6%和2.30%的相对提升,采用面向语音识别时最佳联合损失函数的增强网络在字符错误率(CER)上实现了1.82%的相对降低。相较于Wave-U-Net时域语音增强网络,该算法有更好的噪声抑制效果,在后端语音识别任务中表现更为优秀。

关键词：时域语音增强联合损失函数语音通信语音识别深度学习

来源：评论

学校读者我要写书评

暂无评论

NB-IoT环境下基于混合分辨率人脸监控视频压缩方法

引用

计算机应用与软件 2022年第2期39卷 150-156页

作者：肖尚武胡瑞敏肖晶武汉大学计算机学院国家多媒体软件工程技术研究中心湖北武汉430072 武汉大学苏州研究院江苏苏州215123

在面向社区楼道或门栋监控中,人脸信息尤为重要。通过NB-IoT(窄带物联网)接入,可以满足低成本、广覆盖和多接入的需求,但是常规编码方法在窄带低码率下无法保障人脸质量。针对该问题,提出一种面向人脸业务的混合分辨率监控视频压缩方法... 详细信息

在面向社区楼道或门栋监控中,人脸信息尤为重要。通过NB-IoT(窄带物联网)接入,可以满足低成本、广覆盖和多接入的需求,但是常规编码方法在窄带低码率下无法保障人脸质量。针对该问题,提出一种面向人脸业务的混合分辨率监控视频压缩方法。利用监控视频统计特性优化人脸检测速度,采用不同分辨率区别编码人脸和非人脸区域,在高倍率压缩下提高了人脸的可辨识性。实验表明,该方法相较于主流感兴趣区域编码,人脸区域PSNR提高了5.57 dB,编码速度提高了5.12倍,具备NB-IoT环境下的实用性。

关键词： NB-IoT 人脸监控低码率混合分辨率视频编码

来源：评论

学校读者我要写书评

暂无评论

多阶段生成器与时频鉴别器的GAN语音增强算法

引用

计算机系统应用 2022年第7期31卷 179-185页

作者：陈宇尹文兵高戈王霄曾邦陈怡公安部第一研究所北京100048 武汉大学国家多媒体软件工程技术研究中心武汉430072 华中师范大学计算机学院武汉430077

传统生成对抗网络的语音增强算法(SEGAN)将时域语音波形作为映射目标,在低信噪比条件下,语音时域波形会淹没在噪声中,导致SEGAN的增强性能会急剧下降,语音失真现象较为严重.针对该问题,提出了一种多阶段的时频域生成对抗网络的语音增强... 详细信息

传统生成对抗网络的语音增强算法(SEGAN)将时域语音波形作为映射目标,在低信噪比条件下,语音时域波形会淹没在噪声中,导致SEGAN的增强性能会急剧下降,语音失真现象较为严重.针对该问题,提出了一种多阶段的时频域生成对抗网络的语音增强算法(multi-stage-time-frequency SEGAN,MS-TFSEGAN).MS-TFSEGAN采用了多阶段生成器与时频域双鉴别器的模型结构,不断对映射结果进行完善,同时捕获时域与频域信息.另外,为了进一步提升模型对频域细节信息的学习能力,MS-TFSEGAN在生成器损失函数中引入了频域L1损失.实验证明,在低信噪比条件下,MS-TFSEGAN的语音质量和可懂度与SEGAN相比分别提升了约13.32%和8.97%,作为语音识别前端时在CER上实现了7.3%的相对提升.

关键词：语音增强生成对抗网络低信噪比语音质量语音可懂度语音识别多阶段模型深度学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：