检索结果-内蒙古大学图书馆

小型微型计算机系统 2024年第1期45卷 168-176页

作者：吉晨钟次旺晋美张伟陈云芳南京邮电大学计算机学院南京210023

基于深度学习的视频动作识别方法处理时间信息的方式主要有两种,一是利用光流表示相邻帧之间的运动信息,但其无法有效建模长程时间特征,二是利用3D卷积对时空信号进行混合建模,但其引入了大量的参数,导致内存消耗和计算量剧增.针对上述... 详细信息

基于深度学习的视频动作识别方法处理时间信息的方式主要有两种,一是利用光流表示相邻帧之间的运动信息,但其无法有效建模长程时间特征,二是利用3D卷积对时空信号进行混合建模,但其引入了大量的参数,导致内存消耗和计算量剧增.针对上述问题,本文提出了一种改进2D CNN时空特征提取的动作识别方法,在2D CNN中嵌入时空门控和动作注意力聚合(Spatial-temporal Gate and Motion Attention-aggregation,SGMA)模块增强其时空特征提取能力.SGMA包含时空动态门控和动作注意力聚合两个子模块,时空动态门控能够可视化各通道特征的运动比例因子并依此逐通道分离运动强相关特征和运动弱相关特征,动作注意力聚合利用运动强相关特征构建金字塔结构来提取不同时间跨度的运动特征,并使用注意力机制自适应聚合各时间跨度特征实现长程时间建模,运动弱相关特征经过2D卷积提取空间特征后融合动作注意力聚合模块的输出最终获得强有力的时空特征表达.在相同帧采样策略下,本文方法在Something-SomethingV1&V2验证集上的Top1准确度比基准TSM分别提高了4.4%和6.2%.

关键词：视频动作识别时空特征提取注意力机制长程时间建模

来源：评论

学校读者我要写书评

暂无评论

面向小样本的视频动作识别技术研究

面向小样本的视频动作识别技术研究

引用

作者：吉晨钟南京邮电大学

学位级别：硕士

随着云计算和边缘计算的快速发展,人们已经习惯于生活在摄像机下和参与视频共享社交服务。大量的视频信息吸引了越来越多的研究者进入视频理解领域,动作识别是视频理解中的一个基本问题,在监控系统、人机交互和视频检索等领域拥有广泛... 详细信息

随着云计算和边缘计算的快速发展,人们已经习惯于生活在摄像机下和参与视频共享社交服务。大量的视频信息吸引了越来越多的研究者进入视频理解领域,动作识别是视频理解中的一个基本问题,在监控系统、人机交互和视频检索等领域拥有广泛的应用。由于深度学习技术和大规模标记数据集的发展,近年来监督动作识别的研究进展迅速。然而,由于隐私伦理、收集成本和标签成本等因素,部分动作类别难以获得充足的样本数据,导致传统的方法面临着可拓展性问题,因此小样本动作识别研究具有较大的现实意义。目前该任务仍处于研究的初期阶段,具有巨大发展潜力,同样也面临重大的挑战。为此,本文提出了一种高效视频时空特征提取方法,并分别在原型网络和数据增强两种小样本学习方法上设计了动作识别模型,主要研究内容如下:(1)高效地理解视频的细粒度时空信息对小样本动作识别具有举足轻重的作用,本文提出基于时空分离和长程时间建模的高效时空特征提取单元,它通过嵌入残差分支中增强2D Res Net的运动特征建模能力。首先,时空动态门控模块利用相邻帧的特征差异量近似衡量运动的显著性,并以该差异量作为门控向量将特征分离为运动强相关特征和运动弱相关特征,分别用于时间和空间建模。然后,时间注意力聚合模块对运动强相关特征进行通道分组,构建时间金字塔结构捕获不同跨度的时间特征,并利用注意力机制聚合各组特征实现长程时间建模。实验表明本文方法能有效提高视频时空建模能力,提升动作识别准确率。(2)针对原型网络中采用元任务学习形式存在的任务不相关问题,以及支持集中类内离群样本和类间分布重叠问题,本文提出基于任务相关和分布修正的小样本动作识别方法。首先,任务感知学习模块捕获任务学习中样本特征间的内部关系,并依赖该关系学习每个样本关注特定任务的特征表示。然后,类别感知修正模块聚焦度量空间中类内样本特征的位置分布,重新计算原型表示,减轻类内离群样本的影响,并优化所有类别之间的距离,提高类间分离度,缓解类间重叠问题。在相关数据集上的实验结果表明,本文方法优于其他新近提出的方法,可以显著提高小样本动作识别的准确率。(3)针对数据增强方法中使用GAN无法合成具有辨别力的视觉特征问题,以及基类和新类之间的信息无法有效过渡问题,本文提出基于数据合成和知识驱动的小样本动作识别方法。首先,跨模态视觉特征生成器利用标签语义信息作为条件元素进行判别信息挖掘,合成具有辨别力的新类视觉特征,补充新类样本数量。然后,知识驱动动作分类器利用外部知识构建表示动作类之间关系的知识关系图,并使用图卷积神经网络优化知识关系图中的节点关系,形成动作节点分类器。通过与其他数据增强方法的比较和分析,结果得出本文方法在标准小样本学习和广义小样本学习上均有更好的表现。

关键词：小样本动作识别长程时间建模原型网络数据合成图卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：