针对当前跨模态行人重识别算法大多聚类能力不强、且难以提取高效辨别性特征的问题,提出了一种多粒度跨模态行人重识别算法。首先,在骨干网络Resnet50中加入非局部注意力机制模块,关注长距离像素之间的关系,保留细节信息;其次,采用多分支网络提取不同细粒度特征信息,增强模型的辨别性特征提取能力;最后,联合基于样本的三元组损失和基于中心的三元组损失监督训练,加速模型收敛。所提算法在SYSU-MM01数据集的全搜索模式下Rank-1和mean average precision分别达到62.83%和58.10%,在RegDB数据集的可见光到红外模式下Rank-1和mAP分别达到87.78%和76.22%。
针对当前网络难以应对各种损坏类型的行人图像与易丢失跨维信息的问题,提出了一种损坏图像下基于风格归一化与全局注意力的行人重识别(pedestrain re-identification,ReID)方法。该方法通过平滑极大单元的风格归一化与恢复(smooth maximum unit-style normalization and restitution,SM-SNR)模块中的实例规范化(instance normalization,IN)过滤掉域中的风格变化,同时平滑极大单元(smooth maximum unit,SMU)能使该模块更充分地从删除的信息中提取行人相关特征并将其恢复至网络中,缓解损坏图像带来的风格差异。此外,全局注意力机制(global attention mechanism,GAM)通过关注通道与空间之间的相互作用,以捕获3个维度上的显著行人特征,减少跨维信息的丢失,最终使本模型在面对行人损坏图像时的识别能力得到有效提高,且保留了在干净数据集上的竞争力。实验结果表明,本算法在损坏测试集上的各项指标与目前主流算法对比具有显著的优越性。其中,本模型与2021年的CIL模型使用CUHK03数据集比较的结果为:在Corrupted Eval上,R-1、mAP和mINP分别提高了15.18%、15.75%与11.65%;在Clean Eval上,R-1与mINP仅降低了0.24%、0.75%,mAP提升了0.25%。
暂无评论