基于SK网络的专用硬件电路设计与研究

作     者：杨嘉晨 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：彭琪;谈月华

授予年度：2022年

学科分类：080903[工学-微电子学与固体电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 

主      题：边缘设备 脉动阵列 协处理器 数据复用 稀疏网络 负载均衡 

摘      要：当前随5G物联网时代的到来,节点间的数据传输速度得到了极大地提升。在此基础上大量数据在中心节点和边缘节点设备上的处理速度问题将决定着物联网设备数据传输能力及智能化水平。因此本文所进行的关于SK等新型高精度神经网络专用硬件电路的设计与研究工作就是当前在物联网与智能化结合的大背景下,基于边缘设备算力小、功耗要求低的特点,传统的通用硬件方案并不适合的情况下,针对当前SKnet等新型神经网络结构以及边缘设备中应用越来越广泛的稀疏网络结构,通过构建稀疏网络专用脉动阵列硬件推理结构和SK卷积关键硬件电路以实现更高效、更加适合边缘设备的硬件推理新方案。 文中整体硬件方案是基于脉动阵列结构所设计的,因而权重与数据得到了极大的复用,芯片同内存之间的数据传输压力得到减小。这种特殊的阵列计算结构在加大计算并行度的同时,也通过利用流水线方法提升了架构整体的数据吞吐量;其次利用量化、剪枝技术显著缩小深度神经网络模型大小,使得深度神经网络模型在边缘设备上传输与部署成为可能;针对SKnet中的特殊的全局平均池化和全连接层非线性变换环节本文设计了关键硬件推理结构以减小其在推理速度提升过程中带来的瓶颈问题;神经网络硬件加速推理结构作为协处理器,在设计过程中可以结合大多数神经网络运算特点为其设立协处理器指令,使得协处理器具备一定的可编程性,大大增强了硬件推理结构应用的灵活性,以适用于其他复杂的模型推理任务;最后针对边缘设备中所常用到的稀疏网络模型本文提出了基于权值分组得稀疏网络硬件推理结构,实现了兼顾阵列计算的密集性与最大程度地去除稀疏性所带来的不必要的零计算目标。 通过在ZYNQ XC7Z020 FPGA上实现部署并实际测试得到单个该稀疏神经网络推理结构进行密集推理与70%稀疏推理时峰值吞吐量分别为21GOPS与70GOPS,功耗仅为1.93W,能效比分别为10.9与36.3。在单个稀疏神经网络推理结构实现的基础上,本文又利用ZYNQ-7 ZC706 FPGA集成并部署了四个相同的稀疏网路处理结构用以实现四核并行推理,针对多核稀疏网络处理结构在并行化推理过程中产生的负载不均衡问题,文中提出并采用了基于贪心策略的调度准则对硬件利用加以优化,成功实现了并行化推理的同时进一步提高硬件资源利用效率的目标。最终四核并行稀疏网络推理结构在进行密集推理与70%稀疏推理时峰值吞吐量分别为为84GOPS与336GOPS,总体功耗为3.93W,能效比可达到24.79与99.12。