基于多径时空特征强化融合的三支流网络行为识别方法

专利申请号：CN202010530501.6

公 开 号：CN111709351B

发 明 人：孔军 邓浩阳 蒋敏 

代 理 人：大连理工大学专利中心梅洪玉;刘秋彤

代理机构：大连理工大学专利中心

专利类型：发明专利

申 请 日：20230505

公 开 日：20200611

专利主分类号：G06V20/40

关 键 词：融合 时空特征 双流 特征融合 多径 网络 双线性算法 融合网络 时间分段 时间信息 网络框架 网络行为 信息利用 行为识别 有效特征 采样层 多尺度 鲁棒性 顶层 多层 降维 内存 注意力 视频 捕捉 支流 时空 压缩 全局 

摘      要：基于多径时空特征强化融合的三支流网络行为识别方法。该方法采用一种基于时空双流网络的网络框架，称为多径时空特征强化融合网络。针对双流网络仅融合顶层时空特征导致的双流信息利用不充分、特征融合阶段位于全局采样层之后导致特征融合交互不够的问题，本发明利用压缩双线性算法，对来自双流网络多层对应时空特征进行降维，然后进行融合，在减少融合特征所需内存的同时，增加融合特征之间的交互，增强融合效果。此外，本发明在融合流中提出多尺度通道‑空间注意力模块，对融合特征中有效特征进行增强，对无效特征进行抑制。最后，本发明还结合时间分段网络TSN的思想对视频中长期时间信息进行捕捉，进一步提高了行为识别模型的鲁棒性。