针对视频异常事件的时空相关性学习对检测性能存在重要影响的问题,提出基于融合双支特征的带约束损失的视频异常检测方法(dual-branch feature fusion based constrained multi-loss video anomaly detection, DBF-CML-transMIL)。...
详细信息
针对视频异常事件的时空相关性学习对检测性能存在重要影响的问题,提出基于融合双支特征的带约束损失的视频异常检测方法(dual-branch feature fusion based constrained multi-loss video anomaly detection, DBF-CML-transMIL)。该方法考虑多示例学习中片段的显著性和相关性,利用多层线性神经网络学习各片段空间显著性特征,设计级联Transformer融合模块,学习示例间的多层时序相关性;然后利用多损失模型对融合特征进行多Loss监督学习,丰富预测多样性;针对现有top-k的离散性问题,提出带约束机制的滑窗top-k强化异常事件的相关性。在UCF-Crime和ShanghaiTech数据集上的对比试验与消融实验表明,提出方法的异常检测曲线下面积(area under curve,AUC)分别达到83.82%和97.33%;各模块都能有效提升视频异常事件检测的性能。
暂无评论