基于嵌入式平台的多目标实时跟踪系统软件设计与实现

作     者：薛文东 

作者单位：北京工业大学 

学位级别：硕士

导师姓名：吴强

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频采集 多核DSP 核相关滤波 多目标跟踪系统 嵌入式平台 

摘      要：随着计算机视觉技术的发展，越来越多的基于机器视觉的高科技产品应用到人们生活中。在智能安防领域，视频监控系统受到各界的广泛关注，在国计民生领域中发挥着举足轻重的作用。面向视频监控的多目标跟踪技术是计算机视觉领域的重要研究方向。在实际的监控系统场景中，面对的监控目标会同时存在多个，通过该技术实现对视频监控画面中的多个目标同时跟踪，获得各个目标的位置信息。嵌入式技术的发展使得系统得以小型化、低成本化。考虑到系统功耗、成本等实际因素，本文致力于设计一套基于嵌入式平台的多目标跟踪软件系统。 第一，针对视频监控系统面向小型化，低成本的应用需求，设计研发了基于多核DSP嵌入式处理器的多目标跟踪软件系统。提出了将单目标跟踪器与多核DSP的多核并行工作模式相结合来同时跟踪多个目标的解决方案。本文所采用的嵌入式异构硬件平台以FPGAKintex-7和双片多核DSPTMS320C6678作为核心处理器，该系统具有实时在线跟踪，低功耗的特点。 第二，在多目标跟踪系统的算法设计中，本文对核相关滤波算法进行研究并分析其在跟踪过程中的不足，提出了多策略结合的改进核相关滤波跟踪算法。本文算法采用FHOG特征和CN颜色名称特征两种互补特征进行多通道特征融合，增强了模型对目标的表征能力;采用尺度滤波器估计目标尺度实现跟踪窗口的自适应缩放;采用APCE指标对响应图进行置信度度量并采用高置信度的模型更新机制，避免了目标遮挡时核相关滤波器模型被不断污染而最终失效问题;将卡尔曼滤波器与核相关滤波器相结合，利用目标的运动信息建立模型，在目标受到遮挡时进行位置预测;增加了基于归一化互相关匹配算法的目标检测模块，实现了目标丢失后的重定位。最后，经数据集测试，验证了改进算法的有效性。 第三，在嵌入式软件系统搭建中，设计了基于双片多核DSP的多线程调度系统和算法处理系统。采用SYS/BIOS操作系统进行多线程应用程序设计，提高了系统灵活性;基于NDK组件建立TCP/IP协议栈，为上位机提供了可靠的网络通信链路;分别研究了主从模型和数据流模型两种并行编程模型的特点，设计了一套采用Fork-Join处理流程的基于主从模型并以共享内存作为数据交互载体的多核并行计算框架;采用粗细并行粒度相结合的方法设计了基于双片DSP的多目标并行跟踪机制;采用硬件信号量进行核间通信设计了高效的多核同步机制;完成了一系列衔接应用程序与硬件的底层驱动设计以及整个算法的移植优化。 最后，本文对算法和系统进行测试，验证了本文嵌入式系统的功能性和正确性。