版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN202310254742.6
公 开 号:CN116258187A
专利类型:发明专利
申 请 日:20230613
公 开 日:20230316
专利主分类号:G06N3/063
关 键 词:机器学习 蒸馏 神经网络 推理 模型预处理 硬件加速器 快速部署 平台实现 部署 网络 硬件设计难度 灵活性要求 网络类型 能效 关联
摘 要:本发明公开了一种神经网络推理FPGA快速部署方法,包括模型预处理平台、基于一种机器学习框架的知识蒸馏平台、基于硬件友好型网络的FPGA部署平台和基于以上平台实现的部署流程。通过模型预处理平台实现对多种机器学习框架的支持。通过知识蒸馏,减少网络类型与硬件加速器设计的关联,可很大程度地降低对FPGA硬件加速器的灵活性要求,降低FPGA硬件设计难度。通过基于一种机器学习框架的知识蒸馏平台,可方便地实现知识蒸馏。通过基于硬件友好型网络的FPGA部署平台,可实现硬件友好性网络的快速部署。相较于其他神经网络,硬件友好型网络推理在FPGA上运行具有更高的能效。采用本发明方法,可快速、高质量地实现从机器学习框架级表示的神经网络推理到FPGA的部署。