一种神经网络推理FPGA快速部署方法

专利申请号：CN202310254742.6

公 开 号：CN116258187A

发 明 人：阮爱武 王永庆 王枭 

专利类型：发明专利

申 请 日：20230613

公 开 日：20230316

专利主分类号：G06N3/063

关 键 词：机器学习 蒸馏 神经网络 推理 模型预处理 硬件加速器 快速部署 平台实现 部署 网络 硬件设计难度 灵活性要求 网络类型 能效 关联 

摘      要：本发明公开了一种神经网络推理FPGA快速部署方法，包括模型预处理平台、基于一种机器学习框架的知识蒸馏平台、基于硬件友好型网络的FPGA部署平台和基于以上平台实现的部署流程。通过模型预处理平台实现对多种机器学习框架的支持。通过知识蒸馏，减少网络类型与硬件加速器设计的关联，可很大程度地降低对FPGA硬件加速器的灵活性要求，降低FPGA硬件设计难度。通过基于一种机器学习框架的知识蒸馏平台，可方便地实现知识蒸馏。通过基于硬件友好型网络的FPGA部署平台，可实现硬件友好性网络的快速部署。相较于其他神经网络，硬件友好型网络推理在FPGA上运行具有更高的能效。采用本发明方法，可快速、高质量地实现从机器学习框架级表示的神经网络推理到FPGA的部署。