检索结果-内蒙古大学图书馆

计算机辅助设计与图形学学报 2021年第12期33卷 1899-1907页

作者：王卓程张景峤上海大学计算机工程与科学学院上海200444

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列... 详细信息

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.

关键词：手语识别骨架数据残差网络注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于语义关联和骨架数据的零样本人体行为识别的研究与实现

基于语义关联和骨架数据的零样本人体行为识别的研究与实现

引用

作者：朱良伟南京邮电大学

学位级别：硕士

在视频监控以及人机交互等计算机视觉领域,行为识别技术都有巨大的研究以及应用价值。随着人体姿态估计技术的成熟和图卷积技术的引入,基于骨架数据的行为识别方法因其对人的外观变化具有较高的鲁棒性的特点,而成为新的研究热点之一。... 详细信息

在视频监控以及人机交互等计算机视觉领域,行为识别技术都有巨大的研究以及应用价值。随着人体姿态估计技术的成熟和图卷积技术的引入,基于骨架数据的行为识别方法因其对人的外观变化具有较高的鲁棒性的特点,而成为新的研究热点之一。但是有监督方法训练得到模型泛化能力有限,只能工作在训练所使用的数据类别上。而人体行为的复杂性和多样性给收集新的行为数据并进行标记整理的工作带来了巨大的挑战。这些无不阻碍了行为识别技术向实际应用的落地推广。基于骨架数据的零样本行为识别工作利用类别标签作为辅助信息,将在已知类中学习到的知识迁移到未知类别中以最终实现对未知类别的分类。在基于投影方法的工作中,常常需要为了克服迁移学习过程中的各类问题而设计复杂的投影网络模型。对此,本文通过设计端到端的网络结构以实现对各个网络模块的简化;在基于生成方法的工作中,利用类别标签生成视觉特征是常见的处理方式。但是行为的类别标签形式多样,既有单个单词,也有短语。并且根据英语的语法规则,具有相似结构的类别标签常常代表不同甚至相反的含义。对此,本文重点研究如何更有效的利用行为数据的类别标签。通过提取类别标签中蕴含的语义关联信息来辅助构建更具泛化能力的特征生成模型。本文的主要工作内容如下:(1)介绍了零样本行为识别问题的领域背景,分析了其在各个场景下的重要作用,以及其面临的各种挑战。随后根据大量文献,调研并分析了基于骨架数据的人体行为识别任务的研究现状,以及零样本行为识别任务的研究现状。(2)根据所掌握的知识,对研究骨架数据时常用的图卷积方法进行了介绍。介绍并分析了基于骨架数据的行为识别方法中常用的网络模型。详细介绍了零样本学习的相关概念以及常见处理流程,并分析了相关的零样本行为识别方法。(3)从基于投影的角度出发,本文提出了基于骨架数据的端到端的零样本行为识别方法。该方法将特征提取和特征投影网络融合进行联合训练以实现端到端的训练效果。同时利用两个网络的互补优势,在降低模型复杂度的同时,保证最终对不可见类的识别准确率。(4)从基于生成的角度出发,本文提出了基于语义关联和骨架数据的零样本行为识别方法。在该方法中通过引入自注意力机制,对传统的由全连接层构成的特征生成网络进行扩展加入了语义关联提取模块。并通过添加特征同化损失函数以增强生成模型的生成效果。(5)本文对提出的方法在骨架数据集NTU RGB+D上进行了充分的实验。实验结果表明,与当下最先进的方法相比,本文提出的方法能够取得更好的效果。并且证明了本文中对数据集进行最远距离划分在分隔相近语义的实验设置上的有效性。

关键词：零样本行为识别语义关联骨架数据特征生成网络

来源：评论

学校读者我要写书评

暂无评论

基于图神经网络和骨架数据的人体行为识别研究

基于图神经网络和骨架数据的人体行为识别研究

引用

作者：耿佩山东师范大学

学位级别：硕士

人体行为识别是计算机视觉领域的一个重要分支，广泛应用于智能监控、视频检索、虚拟现实、人机交互等领域。同时，随着实时人体姿态估计算法的问世和深度传感器技术的进步，获取骨架数据变得更加轻松和精准。相比于RGB视频数据，人体... 详细信息

人体行为识别是计算机视觉领域的一个重要分支，广泛应用于智能监控、视频检索、虚拟现实、人机交互等领域。同时，随着实时人体姿态估计算法的问世和深度传感器技术的进步，获取骨架数据变得更加轻松和精准。相比于RGB视频数据，人体骨架数据提供了更高级的结构信息，且对环境噪声具有更强的抗干扰能力，可以大大提高计算效率。因此，基于骨架数据的人体行为识别任务受到了研究人员的广泛关注。　　随着深度学习的快速发展，衍生出各种用于骨架行为识别的卷积网络模型。尤其，图卷积网络（GraphConvolutionalNetworks,GCN）可以有效的将卷积扩展到非欧空间的不规则图数据中，且人体骨架是一种天然的图结构。因此，许多基于GCN的方法将骨架数据建模为时空图，并通过关节之间的依赖关系捕获不同动作的运动模式。然而，大多数已有的方法专注于设计不同的卷积操作来实现骨架数据在时空维度上的集成，忽略了骨架信息中关节、骨骼、角度等信息的融合。因此，如何高效的利用不同的骨架信息来提行为识别任务的性能是一个关键问题。此外，大多数方法只关注粗粒度动作的识别，对一些细粒度动作的识别准确率不高。因此，如何通过融合不同的骨架信息来有效提高细粒度动作的识别精度是一个亟需攻克的问题。　　针对上述问题，本文进行了深入研究，主要研究内容及创新点如下：　　（1）提出了一种自适应的多级图卷积网络模型，旨在克服骨架图拓扑的共享性和静态性的限制。该模型包括动态拓扑空间图卷积模块和自适应空间图卷积模块。动态拓扑空间图卷积模块通过融合关节之间的上下文特征来学习关节对之间的相关性，并在训练过程中不断更新。自适应空间图卷积模块通过自适应的图结构提取不同网络层的特征，从而增强了模型的灵活性。为最大化这两个模块之间的互信息并增强特征表示，引入了对比学习策略。最后，使用多尺度时间卷积模块来挖掘更多的时域信息。在四个公开可用数据集上的大量实验证明，该模型是有效的，且明显优于当前最先进的方法。　　（2）提出了一种自注意力增强的图神经网络模型，旨在通过融合关节、骨骼和角度信息来提升细粒度动作的识别精度。模型包括核统一图卷积模块和注意力增强图卷积模块。核统一图卷积模块通过堆叠统一大小内核的图卷积和时间建模操作来提取骨架信息中丰富的特征表示。注意力增强图卷积模块旨在学习特征中的高级语义信息，由多尺度增强图卷积块和多头自注意力块组成。其中多尺度增强图卷积块充分学习关节和骨骼的潜在语义信息，而多头自注意力块对长时间序列的角度特征进行建模，增强不同的身体部位在时间维度上的相关性。为最大化关节-骨骼特征和角度特征之间的互信息，模型在多尺度增强图卷积块和多头自注意力块之间引入对比学习策略，从而增强特征表示。在四个公开可用数据集上的实验表明，该方法可以有效提高细粒度动作的识别准确率，且优于当前最先进的方法。　　（3）提出了一种分层聚合图神经网络，对不同的骨架信息具有更强的特征编码能力。在空间层面，设计了分层图卷积模块和金字塔注意力融合机制。前者通过堆叠图卷积以分层的方式挖掘关节、骨骼和角度特征，并探索三类特征之间的内在依赖关系。后者使用注意力机制来学习和聚合关节、骨骼、角度特征。在时间层面，使用多尺度时间卷积模块来对空间特征进行建模。此外，为了使模型能够探索新的运动模式，设计了一个多任务学习框架，该框架使用可学习的数据增强策略来获取不同动作表示，并采用简单的对比学习作为辅助任务来增强特征。在四个公开数据集上的实验证明，本文提出的方法优于当前最先进的方法，可以有效编码不同的骨架信息，来提升细粒度动作的识别准确率。

关键词：骨架数据图神经网络行为识别注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于骨架数据的列车司机异常行为检测

引用

计算机科学与应用 2024年第7期14卷 42-50页

作者：朱高伟兰州交通大学电子与信息工程学院甘肃兰州

针对列车司机异常行为检测时存在准确率以及效率低的问题,在时空图卷积网络(Spatial Temporal Graph Convolutional Network, ST-GCN)行为检测模型的基础上,提出一种基于骨架数据的列车司机异常行为检测(Spatiotemporal Graph Attention... 详细信息

针对列车司机异常行为检测时存在准确率以及效率低的问题,在时空图卷积网络(Spatial Temporal Graph Convolutional Network, ST-GCN)行为检测模型的基础上,提出一种基于骨架数据的列车司机异常行为检测(Spatiotemporal Graph Attention and Multi-Time Scale Temporal Convolutional Network, ST-GAT)模型。通过利用骨架数据进行建模,并引入图注意力网络(Graph Attention Network, GAT)模块,利用动态关注机制以提升ST-GCN模型对空间特征的提取能力。通过提出的多时间尺度时域卷积网络(Multi-Scale Temporal Convolutional Network,MS-TCN)模块进行不同时间尺度下的时序提取特征,扩大时域卷积网络(Temporal Convolutional Network, TCN)模块感受野范围,克服原始TCN模块不灵活、无法检测不同时间尺度的问题,提高了模型的准确率,同时使用交叉熵损失函数克服了模型训练过程收敛速度慢的问题。实验结果表明,本文方法在测试集上比ST-GCN模型准确率提高8.8%,FLOPS提高2%。因此,所提出的方法在提高列车司机异常行为检测的准确率和效率方面表现出较好的性能。

关键词：骨架数据列车司机异常行为检测图注意力网络多尺度时域卷积网络

来源：评论

学校读者我要写书评

暂无评论

基于图卷积的3D骨架数据的双人交互行为识别

引用

辽宁石油化工大学学报 2023年第3期43卷 86-90页

作者：张静亭曹江涛姬晓飞辽宁石油化工大学信息与控制工程学院辽宁抚顺113001 沈阳航空航天大学自动化学院辽宁沈阳110136

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架... 详细信息

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。

关键词：时空图卷积骨架数据双人交互行为识别

来源：评论

学校读者我要写书评

暂无评论

骨架数据的行为训练方法、装置、存储介质和电子设备

骨架数据的行为训练方法、装置、存储介质和电子设备

引用

作者：孙哲南刘宏达王云龙 100190 北京市海淀区中关村东路95号

本发明涉及一种骨架数据的行为训练方法、装置、存储介质和电子设备，包括：基于不同采样率进行骨架样本数据序列采集；标记骨架样本分片数据序列所属的人体行为类别序列，基于骨架样本混合比率及标签混合比率，对骨架样本分片数据序列... 详细信息

标准号: CN117576782A

本发明涉及一种骨架数据的行为训练方法、装置、存储介质和电子设备，包括：基于不同采样率进行骨架样本数据序列采集；标记骨架样本分片数据序列所属的人体行为类别序列，基于骨架样本混合比率及标签混合比率，对骨架样本分片数据序列及对应的人体行为类别序列分别进行混合；拼接骨架样本数据序列、骨架样本分片数据序列、骨架样本混合分片数据序列，得到骨架数据，将骨架数据输入深度神经网络模型，得到行为类别预测序列；基于各行为类别的样本数量及Softmax损失函数，构建动作感知损失函数；基于行为类别预测序列及对应的行为类别序列，利用动作感知损失函数约束深度神经网络模型，直至深度神经网络模型收敛。可以提升行为类别的识别率。

关键词：分片数据神经网络模型样本骨架数据类别序列损失函数动作感知人体行为样本混合样本数据标签混合存储介质电子设备行为训练序列采集采样率识别率预测构建拼接收敛

来源：评论

学校读者我要写书评

暂无评论

一种基于骨架数据的跌倒伤害程度预测方法、系统及终端

一种基于骨架数据的跌倒伤害程度预测方法、系统及终端

引用

作者：刘晞 611731 四川省成都市高新区(西区)西源大道2006号

本申请公开了一种基于骨架数据的跌倒伤害程度预测方法、系统及终端，对跌到过程中的骨架数据进行采集，对身体骨骼的各个部位进行向量表示；建立跌到伤害评估模型，第一ST‑LSTM网络用于对跌倒时受伤部位进行检测，第二ST‑LSTM网络用于... 详细信息

标准号: CN112998697A

本申请公开了一种基于骨架数据的跌倒伤害程度预测方法、系统及终端，对跌到过程中的骨架数据进行采集，对身体骨骼的各个部位进行向量表示；建立跌到伤害评估模型，第一ST‑LSTM网络用于对跌倒时受伤部位进行检测，第二ST‑LSTM网络用于对伤害程度进行评估；将处理后的数据输入所述跌倒伤害评估模型，获取伤害关键部位及其伤害程度评估结果。伤害评估模型有效提取关节和身体部位的时空特征，并通过各层实施注意力机制，更好地区分不同跌倒方式对身体伤害部位的影响，以及不同部位对跌倒伤害程度的影响，有效提高跌倒伤害程度评估精度。可适用于跌倒时身体各高危部位的伤害程度评估，使得同时评估多个部位伤害程度成为可能。

关键词：伤害跌倒程度评估评估模型骨架数据注意力机制程度预测关键部位身体部位身体骨骼身体伤害时空特征受伤部位向量表示评估关节网络终端采集检测申请

来源：评论

学校读者我要写书评

暂无评论

基于人体骨架数据和语义关联的零样本行为识别方法

基于人体骨架数据和语义关联的零样本行为识别方法

引用

作者：孙宁朱良伟李响 210003 江苏省南京市鼓楼区新模范马路66号

本发明是一种基于人体骨架数据和语义关联的零样本行为识别方法，包括：步骤1：使用训练好的骨架特征提取网络从骨架数据中提取视觉特征；步骤2：构建对抗生成网络模型和分类器网络；步骤3：训练对抗生成网络模型进行训练，特征生成网... 详细信息

标准号: CN116071573A

本发明是一种基于人体骨架数据和语义关联的零样本行为识别方法，包括：步骤1：使用训练好的骨架特征提取网络从骨架数据中提取视觉特征；步骤2：构建对抗生成网络模型和分类器网络；步骤3：训练对抗生成网络模型进行训练，特征生成网络生成可见类标签对应的视觉特征样本；步骤4：将不可见类数据的语义特征输入到特征生成网络不可见类标签对应的视觉特征样本，训练分类器网络；步骤5：识别未见类的行为样本时，先使用骨架特征提取网络从中提取视觉特征，然后输入到分类器网络中得到分类结果。本发明有效利用了短语在表征语义时各单词之间的语义关联，改善零样本行为识别中生成器的泛化能力较低的问题，提升分类器训练后对未见类的识别率。

关键词：视觉特征样本网络骨架特征特征生成网络模型行为识别语义关联不可见分类器标签提升分类器训练分类器短语语义分类结果骨架数据人体骨架网络生成行为样本语义特征对抗生成器识别率构建单词

来源：评论

学校读者我要写书评

暂无评论

一种基于骨架数据的跌倒伤害程度预测方法、系统及终端

一种基于骨架数据的跌倒伤害程度预测方法、系统及终端

引用

作者：刘晞 611731 四川省成都市高新区(西区)西源大道2006号

标准号: CN112998697B

来源：评论

学校读者我要写书评

暂无评论

基于骨架数据时空特征差异性和相关性的行为识别方法

基于骨架数据时空特征差异性和相关性的行为识别方法

引用

作者：蒋敏卿入心孔军 214100 江苏省无锡市梁溪区通沙路898号南楼七层

本申请公开了一种基于骨架数据时空特征差异性和相关性的行为识别方法，涉及计算机视觉领域，该方法搭建的行为识别模块中包含空间图卷积模块和时间图卷积模块，空间图卷积模块包括时间特征学习单元、通道特征学习单元和时间通道上下文... 详细信息

标准号: CN116434339B

本申请公开了一种基于骨架数据时空特征差异性和相关性的行为识别方法，涉及计算机视觉领域，该方法搭建的行为识别模块中包含空间图卷积模块和时间图卷积模块，空间图卷积模块包括时间特征学习单元、通道特征学习单元和时间通道上下文拓扑单元，时间特征学习单元和通道特征学习单元用于分别独立地学习时间帧维度和通道维度中关节之间的特征差异性和特征相关性，学习协同完成动作的关节之间特征的相关性，也学习因为运动发生而发生变化部分关节的特征差异性，时间通道上下文拓扑单元学习所有关节的全局上下文特征信息，获取更多具有判别性的特征，融合后可以更有效地人体行为识别。

关键词：学习单元关节时间特征时间通道特征差异通道特征拓扑单元行为识别维度学习计算机视觉领域人体行为识别全局上下文骨架数据时空特征特征信息差异性时间帧有效地中关节协同融合申请

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：