针对雨雾等复杂天气下无人机图像质量下降导致目标检测效果不佳的问题,提出基于上下文引导和提示学习的目标检测算法CGP-YOLO(context-guided and prompt-based YOLOv8)。构建一个多任务联合学习的检测网络,通过双分支结构达到平衡图像...
详细信息
针对雨雾等复杂天气下无人机图像质量下降导致目标检测效果不佳的问题,提出基于上下文引导和提示学习的目标检测算法CGP-YOLO(context-guided and prompt-based YOLOv8)。构建一个多任务联合学习的检测网络,通过双分支结构达到平衡图像检测和恢复的任务。提出基于提示学习的跨层注意力加权图像去噪分支,指导网络利用退化提示重构清晰的图像;模型主干设计基于上下文的残差采样模块,集成卷积注意力机制,综合目标的局部和全局信息;采用可分离大核多尺度特征提取模块,处理网络多尺度特征;引入小目标的专用检测头,增强小目标的检测精度。实验结果表明,在参数量仅为基线模型60%的情况下,该模型的检测精度提高了2.4个百分点,平均精度(mAP)提高了2.04个百分点,模型检测效果优于其他经典模型,具备卓越的性能。
针对无人机视角下的目标存在多尺度、目标小、被遮挡与背景复杂等问题,提出了一种基于动态样本注意力尺度序列的YOLOv8改进算法BDAD-YOLO。通过引入BiFormer的思想来改造原模型骨干结构,提高模型对关键信息的关注度,更好地保留目标细粒度细节信息。由于目标存在大小、位置等多变性,传统卷积并不能很好地处理这一情况,因此基于DCN(deformable convolutional network)的思想,设计了一种可以增强对小目标特征提取的C2_DCf模块,从而进一步提高颈部网络中小目标层对特征信息的融合。提出一种基于动态样本的注意力尺度序列融合框架AFD(attention-scale sequence fusion framework based on dynamic samples),使用轻量化动态点采样并通过融合不同尺度的特征图来增强网络提取多尺度信息的能力。使用WIoU损失函数,改善小目标低质量数据对梯度的不利影响,以加快网络收敛速度。实验结果表明,在VisDrone数据集中的val集与test集上平均精度(mAP@0.5)分别提升了4.6个百分点、3.7个百分点,在DOTA数据集上平均精度(mAP@0.5)提升了2.4个百分点,证明了改进算法的有效性和普适性。
暂无评论