检索结果-内蒙古大学图书馆

应用科技 2025年第1期52卷 181-188页

作者：李彪陈春雨哈尔滨工程大学信息与通信工程学院黑龙江哈尔滨150001

Transformer目标检测模型在小目标检测性能和训练收敛速度方面存在不足。为了解决这些问题,本文设计了一种多尺度窗口注意力机制,将其应用于检测变换器(detection Transformer,DETR)的Transformer中。这种机制为注意力计算引入了局部信... 详细信息

Transformer目标检测模型在小目标检测性能和训练收敛速度方面存在不足。为了解决这些问题,本文设计了一种多尺度窗口注意力机制,将其应用于检测变换器(detection Transformer,DETR)的Transformer中。这种机制为注意力计算引入了局部信息,有助于提取局部小目标的信息,并且降低了计算复杂度,使得DETR能够处理更高分辨率的特征图。本文提出的Windows DETR在COCO 2017数据集上取得了比DETR更优的性能,特别是在小目标检测方面,平均精度(average precision,AP)提升了3.2;同时,Windows DETR还加快了模型的训练收敛速度。

关键词：深度学习目标检测检测变换器 Transformer 窗口注意力机制多尺度小目标 COCO2017数据集

来源：评论

学校读者我要写书评

暂无评论

基于Detection Transformer的人-物交互关系检测方法研究

基于Detection Transformer的人-物交互关系检测方法研究

引用

作者：马茜元西安电子科技大学

学位级别：硕士

随着深度学习技术的飞速发展,一些单个实例上的视觉任务,如目标检测、实例分割等取得了出类拔萃的成绩。在静态图像场景中对各种元素的认知和关系的推理也已经成为当前计算机视觉中的一个重要研究领域,如人-物交互关系检测(HumanObject ... 详细信息

随着深度学习技术的飞速发展,一些单个实例上的视觉任务,如目标检测、实例分割等取得了出类拔萃的成绩。在静态图像场景中对各种元素的认知和关系的推理也已经成为当前计算机视觉中的一个重要研究领域,如人-物交互关系检测(HumanObject Interaction,HOI)任务。它作为静态场景理解的第一步,将人类的行为活动解释为HOI三元组,即<人、物体、交互关系>,旨在定位人-物对并推理它们之间的视觉关系。目前基于检测变换器(Detection Transformer,DETR)的HOI检测算法以多任务的方式同时进行实例(人、物体)检测和交互关系分类,但单个模型难以同时关注多个任务的共享特征表示。并且,HOI检测算法高度依赖于Transformer的表征能力,导致HOI模型检测效率低、训练收敛速度慢。为解决上述问题,本论文致力于研究基于Detection Transformer的人-物交互关系检测方法。首先,本论文提出一种基于条件解码器的单阶段双分支人-物交互关系检测算法CD-HOI(Conditional Decoder for Human-Object Interaction Detection)。该算法基于Transformer的单阶段双分支架构,使用一个共享的标准Transformer编码器建模图像中的全局关系、两个并行的分支来分别进行实例检测和交互关系分类;同时提出条件解码器模块,以增强Transformer结构中解码器的特征细化能力。实验结果表明,本论文提出的CD-HOI算法在HICO-DET数据集上达到了30.78%的检测精度并缩短了近三分之一的训练时间,相比于现有的主流HOI检测方法提升了0.88%～5.68%。另外,CD-HOI算法在V-COCO数据集上达到了58.01%的检测精度,相比于现有的主流HOI检测方法提升了1.01%～1.81%。其次,为了加深HOI检测模型对交互关系语义的理解、提高模型在稀有HOI类别上的检测性能,本论文提出一种基于交互语义增强的人-物交互关系检测算法EISHOI(Enhance Interaction for Semantic Human Object Interaction Detection),从公开预训练好的图像-文本对比预训练模型(Contrastive Language-Image Pre-Training,CLIP)中迁移知识。该算法根据“预训练-提示-微调”的范式将HOI检测中的交互关系分类任务转换为多模态框架下的图像文本匹配问题,使得HOI检测模型在交互语义先验知识的指导下完成交互关系分类。实验结果表明,本论文提出的EIS-HOI算法在HICODET数据集上达到了32.96%的检测精度,相比于最近的主流HOI检测方法提升了0.74%～7.86%;在稀有HOI类别上的检测精度达到了28.93%,相比于最近的主流HOI检测提升了0.78%～11.59%。另外,EIS-HOI算法在V-COCO数据集上达到了60.26%的检测精度,相比于主流的HOI检测方法提升了3.26%～3.96%。本论文研究并实现的基于条件解码器的单阶段双分支人-物交互关系检测算法CD-HOI和基于交互语义增强人-物交互关系检测算法EIS-HOI,能够广泛应用于视频监控、自动驾驶车辆、协作式机器人等各种实际任务场景。

关键词：深度学习人-物交互关系检测检测变换器条件解码器交互语义增强

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：