面向边缘部署的高分辨率实时语义分割算法

作     者：曾林隆 成苗 张绍兵 曾渝 ZENG Linlong;CHENG Miao;ZHANG Shaobing;ZENG Yu

作者机构：中国科学院成都计算机应用研究所成都610213 中国科学院大学计算机科学与技术学院北京100049 深圳市中钞科信金融科技有限公司广东深圳518206 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第S2期

页      面：159-163页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：边缘计算 图像分割 卷积神经网络 智能计算系统 现场可编程逻辑门阵列 

摘      要：在机器视觉领域经典的任务中,语义分割是计算量较大的一类,使得在边缘计算系统中部署执行分割的卷积神经网络(CNN)比较困难。现场可编程逻辑门阵列(FPGA)是工业视觉传感器中广泛使用的数据流处理硬件,而近年来有研究实现了在FPGA上部署CNN。然而,受限于有限的算力,目前的技术在FPGA上实现高分辨率图像的语义分割时,难以达到可接受的速度和精度。通过分析FPGA上深度学习加速器的特性,提出一种新的分割网络——三分支分割网络(TriSeNet),所提网络能端到端地在边缘加速器上推理高分辨率图像的语义分割任务。将TriSeNet部署到赛灵思Kria K26SOM上推理CityScapes语义分割时取得了75%的平均交并比(mIoU),同时在输入分辨率为512×1 024时,推理速度达到了32 FPS。TriSeNet能高效利用边缘端的计算资源,实现了62.6%的运算器利用率,表明TriSeNet是一种成功适应加速器硬件特点的模型。