基于深度残差双单向DLSTM的时空一致视频事件识别

作     者：李永刚 王朝晖 万晓依 董虎胜 龚声蓉 刘纯平 季怡 朱蓉 LI Yong-Gang;WANG Zhao-Hui;WAN Xiao-Yi;DONG Hu-Sheng;GONG Sheng-Rong;LIU Chun-Ping;JI Yi;ZHU Rong

作者机构：苏州大学计算机科学与技术学院江苏苏州215006 嘉兴学院数理与信息工程学院浙江嘉兴314001 常熟理工学院计算机科学与工程学院江苏常熟215500 北京交通大学计算机与信息技术学院北京100044 吉林大学符号计算与知识工程教育部重点实验室长春130012 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2018年第41卷第12期

页      面：2852-2866页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61773272 61170124 61272258 61301299) 教育部科技发展中心"云数融合科教创新"基金(2017B03112) 江苏省自然科学基金(BK20151260 BK20151254) 浙江省自然科学基金(LY15F020039) 江苏省"六大人才高峰"项目(DZXX-027) 吉林大学符号计算与知识工程教育部重点实验室基金项目(93K172016K08) 江苏省研究生科研与实践创新计划项目(KYCX17_2006)资助 

主　　题：事件识别 时空一致 残差网络 LSTM 双单向 DLSTM 深度特征 监控视频 

摘      要：监控视频下的事件识别是近期计算机视觉领域的研究热点之一.然而,自然场景下监控视频往往具有背景复杂、事件区域内对象遮挡严重等特点,使得事件类内差异大、类间差异小,给识别带来了很大的困难.为解决复杂背景下事件识别问题,提出了一种基于深度残差双单向DLSTM(DRDU-DLSTM)的时空一致视频事件识别方法.该方法首先从训练好的时间CNN网络和空间CNN网络获取视频的时空深度特征,经LSTM同步解析后形成时空特征数据联接单元DLSTM,并作为残差网络的输入.双单向传递的DLSTM联接后构成DU-DLSTM层;多个DU-DLSTM层再加一个恒等映射形成残差模块;在此基础上,多层的残差模块堆叠构成了深度残差网络架构.为了进一步优化识别结果,设计了基于双中心Loss的2C-softmax目标函数,在最大化类间距离的同时最小化类内间隔距离.在监控视频数据集VIRAT 1.0和VIRAT 2.0上的实验表明,该文提出的事件识别方法有很好的性能表现和稳定性,识别准确率分别提高了5.1%和7.3%.