检索结果-内蒙古大学图书馆

Cross-CNN:基于CNN和Transformer混合模型的动画跨帧线稿着色算法

电子学报 2024年第7期52卷 2491-2502页

作者：余毅丰钱江波严迪群王翀董理宁波大学信息科学与工程学院浙江宁波315000 浙江省移动网应用技术重点实验室浙江宁波315000

对长序列的动画线稿帧进行着色是计算机视觉中一项具有挑战性的任务.一方面,线稿中包含的信息较为稀疏,需要着色算法对缺失的信息进行推断;另一方面,连续帧之间的色彩需要保持一致,以确保整个视频的视觉质量.现有的着色算法多数只针对... 详细信息

对长序列的动画线稿帧进行着色是计算机视觉中一项具有挑战性的任务.一方面,线稿中包含的信息较为稀疏,需要着色算法对缺失的信息进行推断;另一方面,连续帧之间的色彩需要保持一致,以确保整个视频的视觉质量.现有的着色算法多数只针对单张图片进行着色,这类算法只给出一个开放性的符合合理范围的色彩结果,无法适用于帧序列着色.另一些基于参考帧的着色算法,并没有将2帧之间的关系有机地联系起来,导致着色效果不够出色.在同一镜头序列中,同一对象的特征往往不会发生太大变化,因此,可以设计一个根据给定参考帧,即可给线稿自动着色的模型.为此,本文提出了基于CNN(Convolutional Neural Networks)和Transformer相结合的模型Cross-CNN,该模型能够从参考帧中寻找并匹配颜色,从而保证时间维度上的特征一致性.Cross-CNN模型参考帧和线稿帧在通道维度叠加,输入预训练的Resnet50网络提取局部融合特征,将融合特征图传给Transformer结构进行编码以提取全局特征.在Transformer结构中设计了交叉注意力机制更好地匹配远距离特征.最后使用带有跳层连接的卷积解码器完成着色图片输出.本文在数据集方面从8部电影中截取画面并经过严格筛选,最终制作了一个包含20000对二元组的数据集用于实验研究.Cross-CNN的SSIM(Structural SIMilarity)达到了0.932,高于SOTA算法0.014.本文算法代码链接:https://***/silenye/Cross-CNN.

关键词：线稿着色卷积神经网络 Transformer 颜色匹配动画制作

来源：评论

学校读者我要写书评

暂无评论

一种基于自监督学习的矢量球面卷积网络

引用

自动化学报 2023年第6期49卷 1354-1368页

作者：陈康鑫赵杰煜陈豪宁波大学信息科学与工程学院宁波315211 浙江省移动网应用技术重点实验室宁波315211

在三维视觉任务中,三维目标的未知旋转会给任务带来挑战,现有的部分神经网络框架对经过未知旋转后的三维目标进行识别或分割较为困难.针对上述问题,提出一种基于自监督学习方式的矢量型球面卷积网络,用于学习三维目标的旋转信息,以此来... 详细信息

在三维视觉任务中,三维目标的未知旋转会给任务带来挑战,现有的部分神经网络框架对经过未知旋转后的三维目标进行识别或分割较为困难.针对上述问题,提出一种基于自监督学习方式的矢量型球面卷积网络,用于学习三维目标的旋转信息,以此来提升分类和分割任务的表现.首先,对三维点云信号进行球面采样,映射到单位球上;然后,使用矢量球面卷积网络提取旋转特征,同时将随机旋转后的三维点云信号输入相同结构的矢量球面卷积网络提取旋转特征,利用自监督网络训练学习旋转信息;最后,对随机旋转的三维目标进行目标分类实验和部分分割实验.实验表明,所设计的网络在测试数据随机旋转的情况下,在ModelNet40数据集上分类准确率提升75.75%,在ShapeNet数据集上分割效果显著,交并比(Intersection over union,IoU)提升51.48%.

关键词：矢量球面卷积网络自监督学习三维目标分类三维目标部分分割

来源：评论

学校读者我要写书评

暂无评论

基于云边协同和缓存辅助的USV路径规划系统

引用

电子学报 2024年

作者：严林杰陈海明屠友鹏周歆妍宁波大学信息科学与工程学院浙江省移动网应用技术重点实验室

水面无人艇（Unmanned Surface Vehicle,USV）作为物联网系统中一个重要终端设备，在多种领域得到广泛应用.路径规划是USV应用的关键技术之一.目前多数路径规划系统都部署于云端，易产生较高的传输延迟，且云服务器在处理多个USV的路径... 详细信息

水面无人艇（Unmanned Surface Vehicle,USV）作为物联网系统中一个重要终端设备，在多种领域得到广泛应用.路径规划是USV应用的关键技术之一.目前多数路径规划系统都部署于云端，易产生较高的传输延迟，且云服务器在处理多个USV的路径规划请求时，也会产生较大的计算延迟和等待时延.此外，在大规模路径规划中，计算耗时随着源节点和目标节点距离呈指数增长.针对上述两个问题，本文提出了云边协同的路径规划系统及一种基于网格化缓存的路径规划算法（Path Planning by Grid Caching,PPGC）.它只需在离终端用户更近的边缘服务器上处理当前边缘区域内的路径请求，降低了传输延迟，减轻了云服务器计算压力.同时，采用路径共享的缓存优化和网格化的路径匹配算法，进一步降低了路径规划处理时间，提高了响应实时性.实验结果表明，相较于基于云计算的路径规划系统，PPGC能降低73.27%的平均响应延迟.

关键词：水面无人艇路径规划云边协同网格化缓存辅助

来源：评论

学校读者我要写书评

暂无评论

基于图神经网络的小样本学习方法研究进展

引用

计算机研究与发展 2024年第4期61卷 856-876页

作者：杨洁祎董一鸿钱江波宁波大学信息科学与工程学院浙江宁波315211 浙江省移动网络应用技术重点实验室(宁波大学) 浙江宁波315211

小样本学习(few-shot learning,FSL)旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题.图神经网络(graph neural network,GNN)由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用... 详细信息

小样本学习(few-shot learning,FSL)旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题.图神经网络(graph neural network,GNN)由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用图神经网络进行小样本学习,基于图神经网络的方法在小样本领域取得了卓越的成绩.目前与基于图神经网络的小样本学习方法相关的综述性研究较少,缺乏该类方法的划分体系与介绍性工作,因此系统地梳理了当前基于图神经网络的小样本学习的相关工作:概括了小样本学习的图神经网络方法的概念,根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法,介绍了这4类方法的研究进展;总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果,归纳各类方法主要的研究内容和优劣势;最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战,并展望其未发展方向.

关键词：小样本学习图神经网络元学习度量学习迁移学习

来源：评论

学校读者我要写书评

暂无评论

面向识别未知旋转的3维网格模型的矢量型球面卷积网络

引用

中国图象图形学报 2023年第4期28卷 1091-1103页

作者：张强赵杰煜陈豪宁波大学信息科学与工程学院宁波315211 浙江省移动网应用技术重点实验室宁波315211

目的3维目标分类是视觉领域的一个基本问题,3维目标的旋转变化给分类带来极大挑战。同时不规则3维网格模型难以运用传统2维卷积网络提取特征。针对这两个问题,提出一种基于矢量型球面卷积网络的分类方法,用于识别未知旋转的3维网格模型... 详细信息

目的3维目标分类是视觉领域的一个基本问题,3维目标的旋转变化给分类带来极大挑战。同时不规则3维网格模型难以运用传统2维卷积网络提取特征。针对这两个问题,提出一种基于矢量型球面卷积网络的分类方法,用于识别未知旋转的3维网格模型。方法使用矢量型神经元作为网络的基础神经元,并提出一种新型矢量层间的卷积方式。首先,将3维模型规范化并映射到单位球上,获取球面的信号表示;然后,使用矢量型分类网络和重建网络学习等变的3维模型特征;最后,使用分类网络完成3维模型分类。结果经过消融实验对比,使用本文提出的球面卷积模块和矢量卷积层,并在训练时加入重建模块。对原本未旋转(no rotation,NR)数据集进行任意旋转(arbitrary rotation,AR),并设定NR/AR,AR/AR,NR/NR共3种训练/测试策略的分类任务,其中NR/AR任务衡量模型识别未知旋转的能力。在刚性数据集ModelNet40上,相比基于球面卷积网络(spherical convolutional neural network,SCNN)的分类方法,在3种任务上分别提高了7.7%,1.8%,3.1%。为验证本文方法在识别非刚性3维网格目标的优越性,在非刚性数据集SHREC15(shape retrieval contest 2015)上,相比SCNN,本文方法在3种任务上分别提高了8.8%,4.5%,5.0%。结论本文提出一种将矢量型网络运用在3维目标分类的思路,使用光线投射法获得分布在球面空间的特征,便于使用统一的球面卷积算子进行处理;设计一种球面残差模块避免梯度消失;使用矢量型神经元并设计矢量层之间的卷积方式以保证网络的等变性,使得识别任意旋转的3维模型时更加准确。

关键词： 3维目标分类矢量型网络胶囊网络球面卷积网络(SCNN) 旋转等变网络

来源：评论

学校读者我要写书评

暂无评论

医学影像多血管和气道分割方法综述

引用

中国图象图形学报 2024年第9期29卷 2692-2715页

作者：楼陆飞应俊杰蔡凯俊辛宇宁波大学信息科学与工程学院宁波315211 浙江省移动网应用技术重点实验室宁波315211

医学影像分析中,血管和气道分割是备受关注的研究。通过对血管和气道异常的评估,例如动脉壁增厚和硬化、脑血管破裂导致的出血以及肺部或气道内的肿瘤等,可以实现此类疾病的早期诊断和临床治疗指导。随着医学成像技术的发展,影像分割技... 详细信息

医学影像分析中,血管和气道分割是备受关注的研究。通过对血管和气道异常的评估,例如动脉壁增厚和硬化、脑血管破裂导致的出血以及肺部或气道内的肿瘤等,可以实现此类疾病的早期诊断和临床治疗指导。随着医学成像技术的发展,影像分割技术在评估和诊断这些结构异常方面变得越来越重要。然而,由于其复杂的结构和病理变化,血管和气道的准确分割仍然是一项具有挑战性的任务。许多研究都集中在特定类型的血管或气道分割上,对多种类型的血管和气道分割方法的综合回顾相对缺乏。对各类血管和气道的综合回顾可以为医学专家和研究人员提供更全面的临床参考价值。此外,不同类型的血管和气道具有形态上的相似性,一些算法和技术可以同时应用于它们的分割中,综合回顾也增强了讨论的广泛性。因此,本文对近20年来具有代表性的视网膜血管分割、脑血管分割、冠状动脉分割和气道分割4类研究工作进行了归纳,分别从传统方法、机器学习方法和深度学习方法3个方面对每类研究进行综述,同时总结了各种方法的优缺点,为后续研究提供了理论参考。此外,本文还介绍了适用于医学影像血管和气道分割的损失函数、评价指标,并收集了目前公开的各类血管和气道分割数据集。最后,本文讨论了目前医学影像血管和气道分割方法的局限性以及未来研究的方向。

关键词：深度学习医学影像分割视网膜血管分割脑血管分割冠状动脉分割气道分割图像处理

来源：评论

学校读者我要写书评

暂无评论

面向三维目标的矢量型卷积网络

引用

模式识别与人工智能 2022年第3期35卷 271-282页

作者：邱起璐赵杰煜陈瑜宁波大学信息科学与工程学院宁波315211 浙江省移动网应用技术重点实验室宁波315211

目前,三维目标识别方法大多基于卷积神经网络,在特征聚合过程中过多使用池化层,导致三维目标的空间信息丢失.针对上述问题,文中提出面向三维目标的矢量型卷积网络,用于完成三维目标的识别.首先,使用曲面多项式拟合网格目标的局部区域.然... 详细信息

目前,三维目标识别方法大多基于卷积神经网络,在特征聚合过程中过多使用池化层,导致三维目标的空间信息丢失.针对上述问题,文中提出面向三维目标的矢量型卷积网络,用于完成三维目标的识别.首先,使用曲面多项式拟合网格目标的局部区域.然后,使用聚类算法得出曲面形状卷积核,通过卷积核和目标表面的相似度度量生成结构感知的特征向量,再利用多头自注意力机制模块实现局部区域到更大范围的特征聚集,得到部件层次特征向量.最后,使用三维矢量型网络实现目标分类.文中网络在SHREC10、SHREC11、SHREC15数据集上均取得较高的分类精度.此外,多分辨率目标对比实验和多采样点对比实验验证文中网络具有较强的泛化性和鲁棒性.

关键词：三维形状识别矢量型卷积网络结构感知三维矢量网络

来源：评论

学校读者我要写书评

暂无评论

基于结构约束生成对抗网络的书法汉字生成

引用

模式识别与人工智能 2021年第3期34卷 275-285页

作者：俞书世赵杰煜叶绪伦唐晨郑阳宁波大学信息科学与工程学院宁波315211 浙江省移动网应用技术重点实验室宁波315211

目前书法汉字的生成研究在汉字生成过程中需要大量先验汉字组成信息,不仅对前期数据收集工作的要求较高,而且影响研究成果的扩展性.针对此问题,文中提出基于结构约束的条件堆叠生成对抗网络的书法汉字生成方法.将源汉字图像直接提取的... 详细信息

目前书法汉字的生成研究在汉字生成过程中需要大量先验汉字组成信息,不仅对前期数据收集工作的要求较高,而且影响研究成果的扩展性.针对此问题,文中提出基于结构约束的条件堆叠生成对抗网络的书法汉字生成方法.将源汉字图像直接提取的汉字笔迹作为结构约束条件,通过条件堆叠生成对抗网络模型生成高质量的书法汉字.同时提出通过伪目标样本的半监督学习方法,用于解决书法汉字数据集较少的问题,也可生成训练不可见的书法汉字.实验表明,在使用少样本的特定风格的书法汉字数据集的前提下,文中方法可生成更高质量的书法汉字.

关键词：书法汉字生成生成对抗网络结构约束半监督学习伪目标样本

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的无监督领域自适应语义分割算法综述

引用

电子技术应用 2024年第1期50卷 1-9页

作者：应俊杰楼陆飞辛宇宁波大学信息科学与工程学院浙江宁波315211 浙江省移动网应用技术重点实验室浙江宁波315211

随着现代生活逐步智能化,越来越多的应用需要从图像中推断相应的语义信息再进行后续的处理,如虚拟现实、自动驾驶和视频监控等应用。目前的语义分割模型利用大量标注数据进行有监督训练能达到理想的性能,但模型对与训练数据不同分布的... 详细信息

随着现代生活逐步智能化,越来越多的应用需要从图像中推断相应的语义信息再进行后续的处理,如虚拟现实、自动驾驶和视频监控等应用。目前的语义分割模型利用大量标注数据进行有监督训练能达到理想的性能,但模型对与训练数据不同分布的数据进行推理时,其性能严重下降。这意味着一旦应用场景发生变化,就需对新场景的数据进行标注。模型重新利用新数据进行训练,才能达到正常的性能。这无疑是耗时的、代价昂贵的。为此,领域自适应语义分割算法提供了解决模型在分布不一致数据上语义分割性能下降问题的思路。总结了领域自适应语义分割算法的前沿进展,并对未来研究方向进行展望。

关键词：领域自适应语义分割深度学习

来源：评论

学校读者我要写书评

暂无评论

基于数字孪生技术的编程语言实践教学过程的智能监控及优化

引用

计算机教育 2023年第5期 86-90页

作者：钮俊陈叶芳严迪群金炜宁波大学信息科学与工程学院浙江宁波315010 浙江省移动网应用技术重点实验室浙江宁波315010

为了对实践教学过程进行全息监控及智能优化,提出将数字孪生技术引入程序设计课程的编程实践教学环节,基于数字孪生概念构建学生编码过程的数字孪生过程,并给出基于机器学习的编程行为模式挖掘、编码过程实时干预反馈等实施方案。

关键词：程序设计实践教学数字孪生机器学习 Eclipse插件

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：